Guide évaluation · 10 min

Construire un jeu de tests pour une IA métier

Une démonstration réussie ne dit pas comment un système répondra aux demandes ordinaires, ambiguës ou difficiles. Un petit jeu de tests bien conçu rend la qualité observable et aide à détecter une régression après un changement.

Une équipe examine des documents, des graphiques et des notes pour évaluer des réponses.
Illustration générée par IA
À retenir

Le point de départ

Rassemblez des cas réels anonymisés, ajoutez des cas limites et des demandes auxquelles l’IA doit refuser de répondre. Définissez ce qui rend une sortie acceptable, puis comparez les versions avec la même grille et une revue humaine.

  • Cas représentatifs et difficiles
  • Critères observables
  • Comparaison régulière

Créer un référentiel en six étapes

  1. Bibliothèque avec livres et carnet de recherche
    Illustration générée par IA

    1. Délimiter la mission

    Listez les tâches autorisées, les utilisateurs, les formats de réponse et les erreurs les plus coûteuses. Une évaluation de recherche sourcée ne mesure pas les mêmes choses qu’un assistant de support.

  2. Illustration générée par IA

    2. Collecter les exemples

    Prenez des demandes fréquentes et des cas rares mais importants. Retirez les données personnelles et conservez la provenance et la date de chaque exemple.

  3. Classement de documents avec dossiers et liseuse
    Illustration générée par IA

    3. Ajouter des cas adverses

    Incluez les demandes ambiguës, documents contradictoires, entrées vides, langues différentes et instructions malveillantes lorsque ces situations peuvent survenir.

  4. Illustration générée par IA

    4. Écrire une grille

    Notez la justesse, les sources, le respect du format, le refus approprié et le temps de correction. Décrivez des niveaux observables pour éviter un simple ressenti.

  5. Bureau en bois avec ordinateur portable et écran
    Illustration générée par IA

    5. Établir une référence

    Exécutez tous les cas sur la version actuelle. Faites relire un échantillon par deux personnes et résolvez les désaccords de notation avant de comparer une nouvelle version.

  6. Illustration générée par IA

    6. Suivre les régressions

    Relancez les tests après un changement de modèle, de prompt, de corpus ou d’outil. Ajoutez les incidents réels au jeu de tests et retirez les exemples devenus obsolètes.

Mettre la méthode à l’épreuve

Studio de création avec appareil photo et tablette graphique
Illustration générée par IA

Cas pratique

Constituez douze cas anonymisés : six courants, trois ambigus, deux critiques et un que le système doit refuser.

Recherche documentaire avec atlas et livres dans une bibliothèque
Illustration générée par IA

Preuves à conserver

Pour chaque cas, définissez résultat attendu, barème observable, version testée et éventuel désaccord entre évaluateurs.

Illustration générée par IA

Décider

Comparez les versions sur ce lot stable ; ajoutez ensuite les incidents réels sans réécrire rétroactivement les résultats de départ.

Quatre qualités d’un bon jeu

Microphone et casque dans un studio audio
Illustration générée par IA

Représentativité

Les cas reflètent les usages réels et leurs fréquences.

Illustration générée par IA

Couverture des risques

Les erreurs coûteuses et les refus attendus sont présents.

Illustration générée par IA

Reproductibilité

Entrées, versions et barème sont conservés.

Participants comparant des notes de réunion autour d’un téléphone de conférence et d’une tablette.
Illustration générée par IA

Actualisation

Les incidents et changements métier alimentent le jeu.

4 repères

Services à comparer sur les mêmes cas

Utilisez une courte liste de services adaptés à la mission ; le jeu de tests permet de voir leurs écarts sur votre contexte.

Comment cette sélection est-elle produite ?

Ces fiches sont reliées au sujet du guide dans notre catalogue éditorial. Leur présence ne constitue pas un classement ni une mesure de performance sur vos documents. Méthodologie.

Explorer toute la catégorie

Familles d’outils liées

Questions fréquentes

Combien de cas faut-il ?

Commencez avec un petit ensemble diversifié et stable, puis ajoutez les incidents et les cas manquants. La couverture compte plus qu’un nombre arbitraire.

Une note automatique suffit-elle ?

Non. Pour les résultats importants, vérifiez un échantillon manuellement et contrôlez les désaccords entre évaluateurs.

Quand relancer les tests ?

Après tout changement de modèle, de consignes, de données ou d’outil, et régulièrement sur les cas critiques.

Les références ci-dessous approfondissent les concepts et contrôles évoqués. Les scénarios et grilles d’essai restent des propositions éditoriales ; une documentation fournisseur décrit son propre produit, pas un benchmark indépendant.

Sources officielles

Une recherche trouve-t-elle les bons documents ?

Évaluez la recherche avant de juger la réponse générée. Dans un corpus délimité, définissez les documents pertinents pour une question, puis comptez ceux que la recherche retrouve, ceux qu’elle ajoute à tort et ceux qu’elle manque. Comptez chaque document une seule fois et utilisez le même nombre maximal de résultats pour comparer deux systèmes.

Documents pertinents et documents retrouvés Le recoupement représente les documents pertinents retrouvés. Les documents pertinents non retrouvés sont à gauche ; les résultats non pertinents sont à droite. Les surfaces sont schématiques, sans proportion numérique. Manqués Pertinents Non pertinents 231
Les nombres suivent votre saisie ; les surfaces restent schématiques. Valeurs initiales fictives : cinq documents pertinents, dont trois retrouvés, et un résultat non pertinent.
Précision : 75 % · Rappel : 60 % · F1 : 66,7 %

Calcul local dans le navigateur, sans enregistrement. Sans JavaScript, utilisez les formules ci-dessous ; les valeurs affichées restent celles de l’exemple.

Illustration générée par IA
Précision : éviter le bruit
Pertinents retrouvés ÷ tous les documents retrouvés. Ici : 3 ÷ (3 + 1) = 75 %.
Recherche web avec ordinateur et documents annotés
Illustration générée par IA
Rappel : éviter les oublis
Pertinents retrouvés ÷ tous les documents pertinents du corpus. Ici : 3 ÷ (3 + 2) = 60 %.
Ordinateur de bureau ouvert montrant mémoire et ventilation
Illustration générée par IA
F1
2 × pertinents retrouvés ÷ (2 × pertinents retrouvés + non pertinents retrouvés + pertinents manqués). Ici : 6 ÷ 9 ≈ 66,7 %.

Si le dénominateur est nul, le calcul indique « non défini ». Sans inventaire des documents pertinents, le rappel est inconnu : ne le déduisez pas du Web entier. Ces mesures n’évaluent ni la véracité de la réponse ni la gravité d’un document manqué ; une exception décisive oubliée reste bloquante.

Définition des mesures : documentation scikit-learn

Poursuivre avec un autre guide

Garder les preuves de cet essai

Rattachez ces éléments à une décision et à une condition de nouvel essai. Préparer la fiche de décision →