Le prototype sortait ses sous-titres dix secondes après la voix, et il lui arrivait d'inventer des phrases que personne n'avait dites. À l'antenne, dix secondes, c'est une éternité : le présentateur a fini sa phrase, la météo est passée, le sous-titre parle encore du sujet d'avant. C'est l'état dans lequel j'ai trouvé le dossier chez une PME qui sous-titre le direct pour de grandes chaînes nationales. Un projet mené avec de l'énergie et de bonnes intentions, qui avait tout d'un projet sérieux sauf un résultat utilisable : trop de retard, trop cher à faire tourner, une base de code que plus personne ne voulait rouvrir.
L'intelligence avait été mise au mauvais endroit
Le projet précédent visait à automatiser ce qu'un opérateur fait à la main : condenser une transcription et la remettre en forme pour qu'elle tienne à l'écran. Le travail avait donc porté sur cette couche d'adaptation, confiée à de l'IA générative.
Le problème était en amont. La transcription qui alimentait cette couche était de qualité médiocre, et rien de ce qui vient après ne rattrape une phrase mal entendue. La diarisation se trompe de locuteur parce que la phrase est fausse. Le découpage découpe une erreur. L'adaptation reformule proprement quelque chose qui n'a pas été dit, et il lui arrive de compléter d'elle-même. Garbage in, garbage out, au sens le plus littéral.
L'effet wahou est un mauvais architecte
Ce choix se comprend. Début 2025, l'IA générative était la chose la plus impressionnante à montrer, dans cette entreprise comme partout ailleurs. Une technologie jeune produit un effet de démonstration immédiat, et cet effet pèse sur les décisions d'architecture bien plus qu'on ne l'admet. La question « qu'est-ce que ça change pour l'utilisateur » arrive après, quand elle arrive.
Une architecture, pourtant, se décide sur des contraintes : ce qui doit tenir en production, ce qui peut tomber, ce qui coûte cher à changer plus tard. La technologie la plus récente n'a aucune raison de se retrouver au point le plus critique de la chaîne, et c'est pourtant là qu'elle atterrit le plus souvent, parce que c'est là qu'elle se voit.
Dans ce projet, la brique générative était posée au bon endroit sur le papier : elle faisait le travail éditorial, celui qui a le plus de valeur. Elle dépendait simplement d'une entrée que personne n'avait qualifiée. Une chaîne ne vaut jamais mieux que son premier maillon.
Changer de méthode avant de changer de technique
Ma première recommandation n'a pas porté sur une technologie. Elle a porté sur la façon de s'y prendre : ne rien reconstruire, monter un petit POC à côté du système existant, et vérifier une seule hypothèse. Est-ce qu'une couche de reconnaissance vocale du marché, bien choisie et bien entourée, suffit à produire quelque chose de propre ?
Refaire cette brique soi-même, à l'échelle d'une PME, est illusoire. Les acteurs spécialisés y consacrent des moyens qu'aucune société de cette taille ne rassemblera. La valeur d'une PME technique se trouve dans ce qu'elle construit autour, pas dans la brique elle-même.
Quatre fournisseurs, une décimale et rien d'utile
Restait à choisir lequel. Quatre solutions en lice, toutes sérieuses, toutes avec une fiche technique impeccable et un taux d'erreur mot affiché à la décimale.
Le taux d'erreur mot est la métrique standard du secteur. Elle compte les mots faux, manqués ou ajoutés, puis divise par le nombre de mots. Simple, comparable, publiée partout. Elle était inutilisable ici, pour une raison très concrète : ma référence de qualité, ce n'étaient pas des transcriptions, c'étaient les sous-titres que l'entreprise avait réellement envoyés en régie. Un sous-titre est deux à trois fois plus court qu'une transcription, parce qu'un téléspectateur lit moins vite que le présentateur ne parle. Comparer mot à mot une transcription brute avec un sous-titre adapté ne produit aucun résultat exploitable.
Un LLM chargé de noter les autres
J'ai donc écrit ce qui compte à l'écran, avec les gens du métier : les noms propres et les chiffres, la ponctuation qui porte le sens, les changements de locuteur, et la gravité de chaque erreur, parce qu'une erreur qui décrédibilise le propos ne pèse pas comme une virgule mal placée. Le retard, lui, se mesure à part.
Pour appliquer cette grille à trente heures de flux réels, il faut noter des milliers de phrases. À la main, c'est un mois de travail pour une équipe qui a déjà une antenne à tenir. J'ai donc utilisé un LLM comme juge, sur cette grille, avec deux garde-fous : les critères sont écrits par des humains et pour l'usage, pas par le juge, et un échantillon de ses notes a été repassé à la main pour vérifier qu'il notait comme leurs opérateurs.
Ce banc d'essai aurait été un projet en soi il y a quelques années. Je l'ai codé en quelques jours, en me faisant assister par l'IA pour le harnais de test, le rejeu des flux et l'agrégation des scores. C'est ce qui rend cette méthode accessible à une PME : construire de quoi vérifier une hypothèse coûte maintenant assez peu pour qu'il n'y ait plus de raison de s'en passer.
Les deux résultats que les fiches techniques ne donnaient pas
Le premier concerne la latence. Le fournisseur qui affichait la meilleure latence théorique est celui qui s'est révélé le plus lent une fois mesuré sur de vrais flux, avec un écart de plus du double. Une latence annoncée par mot dans des conditions de laboratoire ne dit rien du comportement d'un flux continu avec des interruptions.
Le second est plus intéressant. Le classement s'inverse selon l'usage. Pour partir directement à l'antenne sans intervention, ce qui compte est la stabilité : pas d'artefact visible, pas de suite de chiffres absurde, un flux continu. Pour servir de matière première à un opérateur qui adapte, ce qui compte est la richesse : capter finement l'oral, les échanges, les enchaînements, quitte à nettoyer ensuite. Ce ne sont pas les mêmes gagnants. Un benchmark qui rend un seul classement aurait fait prendre la mauvaise décision sur l'un des deux usages.
Un principal, un secours, quatre secondes
Le choix final a retenu un fournisseur principal et un fournisseur de secours, avec bascule automatique : un direct ne prévient pas quand il tombe et un sous-titrage qui s'arrête à l'antenne se voit immédiatement. La latence est descendue à quatre secondes environ, en mode assisté, l'IA proposant et un opérateur validant avant diffusion.
Le problème des phrases inventées, lui, s'est réglé en retirant ce qui les produisait. Le montage retenu enchaîne la reconnaissance vocale et une brique de correction à base de règles métier, sans couche d'adaptation générative. Une transcription peut encore se tromper de mot, elle n'invente plus de propos.
Le vrai travail a commencé après. Les noms propres sont la première douleur du sous-titrage en direct, et c'est là que s'est logée la différenciation : un dictionnaire préparé en amont sur les sujets de l'émission, enrichi en continu depuis les fils d'actualité. Le moteur de reconnaissance, lui, se remplace en changeant une ligne de configuration.
Ce que ça change dans vos choix d'outils
La leçon dépasse le sous-titrage, et je l'applique à chaque choix d'outil depuis.
Un benchmark public vous dit qui est le meilleur en général. Il ne vous dit jamais qui est le meilleur chez vous, sur vos données, avec vos contraintes. Il ne vous dit pas non plus pour lequel de vos usages, alors qu'un même outil peut gagner sur l'un et perdre sur l'autre. Tant que vos critères ne sont pas écrits, c'est la fiche technique du vendeur qui décide à votre place, et elle a été écrite pour vendre.
Quatre questions avant de choisir un outil IA, quel qu'il soit :
- Sur quelles données a-t-il été testé : les vôtres ou celles de la démonstration ?
- Quels sont les trois critères qui comptent pour votre usage, et sont-ils écrits quelque part ?
- Est-ce que vous en avez un seul usage, ou plusieurs qui ne demandent pas la même chose ?
- Que se passe-t-il le jour où il tombe ?
C'est exactement ce que fait le Diagnostic IA & process : un à deux cas d'usage testés sur vos vraies données, avec vos critères, avant de décider. Si vous avez un choix d'outil en cours, écrivez-moi.
