Chez nous, quand on ne sait pas, on dit « p't-être ben qu'oui, p't-être ben qu'non ». Ce n'est pas de l'indécision, c'est de l'honnêteté : on annonce la couleur avant de vous engager. Un modèle de langage, lui, ne fait jamais ça. Il répond. Toujours. Avec exactement le même aplomb qu'il ait raison ou qu'il raconte n'importe quoi.
C'est là tout le problème d'une automatisation IA en production : ce n'est pas qu'elle se trompe. Tout se trompe, un humain aussi. C'est qu'elle se trompe sans prévenir, et à la même vitesse qu'elle a raison. Donc la question n'est pas « faut-il un humain dans la boucle ». C'est : où, exactement, et pourquoi celui-là plutôt qu'un autre.
La bonne question n'est pas le taux d'erreur
On me demande souvent quel pourcentage de fiabilité un agent doit atteindre avant de le laisser tourner seul. C'est la mauvaise question, et elle mène à des mois d'évaluation pour rien. La bonne question tient en une phrase : qu'est-ce que ça coûte quand il se trompe, et est-ce que ça se rattrape ?
Un agent qui classe mal un e-mail, on s'en remet. Un agent qui envoie ce même e-mail à un client, beaucoup moins. Le taux d'erreur est identique dans les deux cas. Le risque n'a rien à voir. Ce qui doit décider du placement de l'humain, c'est le coût de l'erreur et sa réversibilité, pas la confiance qu'on accorde au modèle.
Trois cas, trois placements
En pratique, presque toutes les tâches tombent dans l'une de ces trois cases. Le classement se fait avant d'écrire la moindre ligne de code, pas après.
- — Réversible et sans témoin : laissez tourner. Classer, trier, préparer un brouillon, pré-remplir un champ. Si c'est faux, quelqu'un le corrige en trois secondes et personne à l'extérieur ne l'a vu. Mettre une validation ici, c'est payer un humain pour regarder passer des trains.
- — Irréversible ou engageant : validation avant, systématique. Ce qui part chez un client, ce qui touche à de l'argent, ce qui s'écrit dans un système qu'on ne peut pas déboucler. L'agent prépare, l'humain signe. On ne discute pas ce point : une fois l'e-mail parti, aucun rollback ne le rattrape.
- — Entre les deux : validation après, par échantillon. L'agent agit, et on relit un tirage aléatoire. Pas les cas qu'il a signalés lui-même : un vrai tirage. C'est le seul des trois qui vous apprend quelque chose sur la qualité réelle du système une fois qu'il tourne.
Le piège : la validation qui n'en est plus une
Voilà l'erreur que je vois le plus souvent, et elle est vicieuse parce qu'elle a l'air prudente : par sécurité, on fait tout valider. Chaque sortie, chaque action, un humain qui clique. Ça tient deux semaines.
Ensuite, la personne a trois cents validations par jour, elle en voit passer deux cent quatre-vingt-dix-huit qui sont correctes, et elle valide en diagonale. Elle ne lit plus. Vous avez toujours la case « validation humaine » dans votre schéma, vous avez toujours le coût du poste, mais vous n'avez plus de contrôle. Juste un tampon. Et le jour où l'erreur grave passe, elle passe avec une signature humaine dessus, ce qui est pire que pas de signature du tout.
Une validation ne vaut que si celui qui la fait a le temps et l'envie de dire non. En dessous de ça, elle est décorative. Mieux vaut deux points de contrôle qu'on lit vraiment que quinze qu'on survole.
Ce qu'il faut journaliser dès le premier jour
Vous ne saurez pas à l'avance où l'agent va déraper. Ce qui compte, c'est de pouvoir le constater après coup sans relancer une enquête. Trois choses à écrire dans un journal, dès la mise en service :
- — L'entrée exacte reçue par l'agent, pas un résumé. Sinon un incident sur deux devient irreproductible.
- — La décision prise, et l'action qui en a découlé. Les deux séparément : un agent peut décider juste et agir de travers.
- — Ce qu'un humain a corrigé, et quoi. C'est votre seule mesure honnête de qualité, et elle arrive gratuitement si vous la capturez au moment de la correction.
Sans ça, au premier incident, la seule réponse disponible est « on ne sait pas ce qui s'est passé ». Ça, c'est la fin de la confiance dans le projet, et ça ne se rattrape pas avec un meilleur modèle.
Pour finir
Un agent en production n'est pas un collègue, c'est un outil qui va vite et qui ne doute jamais. Le travail d'intégration ne consiste pas à le rendre parfait, il ne le sera pas, mais à faire en sorte que ses erreurs restent dans la catégorie des choses qu'on rattrape. Placez l'humain là où c'est irréversible, retirez-le là où il ne fait que regarder, et gardez les traces qui permettront de trancher plus tard.
Le reste, c'est de l'outillage. Et si quelqu'un vous promet un agent qui n'a jamais besoin de personne, alors là, p't-être ben qu'non.