Seuil de confiance : quand faire relire par un humain

Un seuil de confiance est la valeur au-dessus de laquelle une donnée extraite passe sans relecture, et au-dessous de laquelle un humain la valide. Il se fixe champ par champ, à partir d'un jeu de test : on regarde, pour chaque score, la proportion de valeurs réellement justes, puis on choisit le seuil selon le prix d'une erreur. Microsoft le formule ainsi : quand l'exactitude compte, le score sert à accepter automatiquement une prédiction ou à la signaler pour relecture humaine. Page mise à jour le 15/11/2026.

Ce que le score veut dire

D'après la documentation d'Azure Document Intelligence, la confiance d'un champ est une probabilité estimée entre 0 et 1 que la prédiction soit correcte : 0,95 signifie « juste environ 19 fois sur 20 ». Ce n'est pas une garantie, et tous les champs ne renvoient pas de score. Plusieurs niveaux coexistent pour un document traité par un modèle personnalisé :

• la confiance du type de document : à quel point le document ressemble à ceux de l'entraînement. Faible, elle indique une variation de modèle de page ;
• la confiance de champ : elle reflète la position de la valeur extraite ;
• la confiance de mot : celle de la transcription de chaque mot ;
• la confiance des cases à cocher : détection et état de chaque case ;
• pour les tableaux, la confiance du tableau, de la ligne et de la cellule.

Un point souvent oublié : la confiance de lecture du texte et celle de l'extraction sont indépendantes. Microsoft recommande de vérifier les deux, car une bonne extraction peut reposer sur un texte mal lu. Pour reconstituer une confiance globale d'un champ, il faut combiner le score du champ et celui de l'OCR sous-jacent.

Les autres services ont leurs propres granularités. Mistral OCR 4.1 annonce des scores de confiance au niveau du bloc de texte, pas du champ annoté. Google précise, pour son analyseur de preuves d'identité, que ses sorties doivent soutenir une relecture humaine et non la remplacer.

Quand il n'y a pas de score

Les sorties structurées d'un grand modèle de langage garantissent un JSON valide et conforme au schéma ; elles ne fournissent pas, par elles-mêmes, une note d'exactitude pour chaque valeur. Il faut alors fabriquer des signaux de doute. Trois méthodes courantes :

1. Les contrôles de cohérence : le total égale-t-il la somme des lignes, HT plus TVA égale-t-il TTC, la date d'échéance suit-elle la date d'émission ? Un contrôle raté vaut un score bas.
2. La double extraction : deux appels avec deux consignes ou deux modèles ; un désaccord sur un champ le fait partir en relecture.
3. La vérification littérale : demandez au modèle de renvoyer l'extrait exact du document d'où vient la valeur, puis vérifiez par recherche de texte que cet extrait existe bien dans la lecture OCR.

Ces signaux se mesurent comme un score : sont-ils vraiment liés aux erreurs sur votre jeu de test ? Voir mesurer la précision champ par champ.

Fixer le seuil avec un jeu de test

1. Extrayez 50 à 100 documents dont vous avez la bonne réponse.
2. Pour chaque champ, rangez les valeurs par score décroissant et relevez le taux de valeurs justes au-dessus de chaque palier : 0,99, 0,95, 0,90, 0,80.
3. Choisissez le palier où le taux de justes atteint ce que vous tolérez, champ par champ : le nom d'un fournisseur et le montant total n'ont pas le même coût d'erreur.
4. Calculez la part de documents qui restent au-dessus du seuil sur tous les champs critiques : c'est votre taux d'automatisation.

Un seuil bas augmente l'automatisation et le risque ; un seuil haut augmente le travail de relecture. Il n'existe pas de bon réglage sans cette mesure sur vos documents. À titre de repère de cible, Microsoft cite 80 % d'exactitude estimée au minimum pour un modèle personnalisé, et une valeur proche de 100 % pour des données financières ou médicales, avec une relecture humaine pour les automatisations critiques.

Que faire d'un champ vide

Un champ optionnel absent peut recevoir une confiance élevée : le modèle est alors sûr qu'il n'y a pas de valeur. Microsoft précise que cette attente dépend de la représentativité de l'entraînement. Une confiance basse sur un champ vide est un doute : une valeur a peut-être été manquée. Dans votre schéma, déclarez ces champs obligatoires mais nullables (voir schéma JSON d'extraction) pour ne pas pousser un grand modèle à inventer.

Organiser la relecture

• Montrez l'original à côté de la valeur : l'écran de relecture affiche le document et surligne la zone d'où vient chaque champ douteux.
• Ne faites relire que les champs douteux, pas tout le document : c'est ce qui fait gagner du temps.
• Tracez les corrections : chaque correction humaine est une donnée précieuse pour affiner consignes, schéma ou modèle.
• Gardez un échantillon aléatoire de documents acceptés automatiquement, relu entièrement, pour surveiller la dérive.

Pour les pièces d'identité, la relecture humaine est une obligation de bon sens plus qu'un réglage : voir pièces d'identité et RGPD. Pour de grands volumes, les règles de relecture se codent dans le flux : voir extraction par lots.