Mesurer la précision d'une extraction, champ par champ

Pour savoir si une extraction est fiable, on la mesure sur vos propres documents : un jeu de test de 50 à 100 pièces dont vous avez saisi la bonne réponse à la main, puis un calcul champ par champ du taux de valeurs justes. Une moyenne globale cache les défauts : un service peut lire le numéro de facture dans 99 % des cas et se tromper sur le total dans 8 % des cas. Cette méthode, mise à jour le 15/11/2026, marche pour n'importe quel outil, spécialisé ou grand modèle de langage.

Précision et confiance : deux choses différentes

La documentation d'Azure Document Intelligence pose la distinction. Le score de confiance mesure « le degré de certitude statistique » que le résultat extrait est correct : une valeur entre 0 et 1 par champ, où 0,95 signifie que la prédiction est probablement juste 19 fois sur 20. La précision estimée d'un modèle personnalisé est calculée à l'entraînement, en testant des combinaisons des données d'entraînement ; elle va de 0 % à 100 %.

Deux conséquences. D'abord, un score de confiance est une estimation du modèle sur lui-même ; seule une comparaison avec la vérité terrain dit s'il est bien calibré. Ensuite, Microsoft précise que les modèles personnalisés neuronaux et génératifs ne fournissent pas de score de précision à l'entraînement : pour eux, la mesure vous revient entièrement. C'est aussi le cas d'un grand modèle de langage appelé avec un schéma. Les sorties structurées d'Anthropic garantissent des types et des champs obligatoires conformes, pas l'exactitude des valeurs.

Étape 1 : constituer le jeu de test

• 50 à 100 documents réels, tirés de votre flux, pas des exemples propres choisis pour la démonstration.
• Toute la variété : scans de travers, photos, documents de plusieurs pages, fournisseurs différents, avoirs.
• Une vérité terrain saisie à la main, de préférence par deux personnes sur un sous-ensemble pour repérer les désaccords : si deux humains divergent, le champ est ambigu et le schéma doit être précisé.
• Séparer deux jeux : l'un pour régler votre schéma et vos consignes, l'autre, jamais regardé, pour la mesure finale. Sinon vous mesurez votre réglage, pas l'outil.

Le schéma doit être découpé finement (un champ par information) : voir schéma JSON d'extraction.

Étape 2 : normaliser avant de comparer

Comparez des valeurs normalisées, sinon vous comptez comme erreurs des différences de forme :

• dates ramenées à AAAA-MM-JJ ;
• montants convertis en nombre décimal, sans symbole ni espace ;
• identifiants sans espaces ni tirets ;
• noms en casse unifiée, en gardant l'original pour vérification.

Gardez à part les écarts qui disparaissent après normalisation : ils indiquent un défaut de consigne, pas de lecture.

Étape 3 : calculer, champ par champ

Pour chaque champ, comptez sur l'ensemble du jeu :

Le taux de valeurs justes est le nombre de justes divisé par le nombre de documents où le champ existe. Les « inventées » sont les plus dangereuses : elles passent les contrôles de format. Elles se comptent à part, et se réduisent en déclarant le champ nullable avec la consigne « null si absent ».

Pour les lignes d'un tableau, mesurez à trois niveaux : le nombre de lignes retrouvé, la valeur de chaque cellule, et la ligne entière (toutes ses cellules justes). Microsoft rappelle la même logique côté confiance : une cellule peut être juste dans une ligne fausse.

Étape 4 : lire les résultats

• Un champ sous le seuil visé (80 % est le minimum que cite Microsoft pour un modèle personnalisé, presque 100 % pour des données financières ou médicales) : améliorez la consigne, la qualité du scan, ou ajoutez ce champ à la relecture humaine.
• Les erreurs groupées : triez-les par fournisseur, par type de scan, par nombre de pages. Elles désignent souvent une seule cause.
• Qualité de lecture ou d'extraction ? Microsoft conseille de regarder les deux niveaux : si la confiance de lecture du texte est faible, il faut améliorer les documents sources ; si celle de l'extraction est faible, vérifiez que les documents sont du même type.

Étape 5 : relier la mesure au seuil de relecture

La mesure sert à fixer la règle : à partir de quel score de confiance une valeur passe sans relecture, et laquelle part en validation. Croisez le score de chaque champ avec son exactitude réelle sur le jeu de test. La méthode est détaillée dans seuil de confiance et validation humaine.

Après la mise en production

Une mesure vaut pour une période. Un nouveau fournisseur, un changement de modèle côté éditeur ou une nouvelle mise en page changent les résultats. Gardez un échantillon de contrôle permanent : par exemple quelques documents par lot relus entièrement, et comparés au résultat automatique. Pour choisir entre deux outils sur la base de ces chiffres, voir LLM ou modèle spécialisé et le comparatif d'API pour les factures.