Construire un jeu de tests pour une IA métier
Une démonstration réussie ne dit pas comment un système répondra aux demandes ordinaires, ambiguës ou difficiles. Un petit jeu de tests bien conçu rend la qualité observable et aide à détecter une régression après un changement.

Le point de départ
Rassemblez des cas réels anonymisés, ajoutez des cas limites et des demandes auxquelles l’IA doit refuser de répondre. Définissez ce qui rend une sortie acceptable, puis comparez les versions avec la même grille et une revue humaine.
- Cas représentatifs et difficiles
- Critères observables
- Comparaison régulière
Créer un référentiel en six étapes

Illustration générée par IA 1. Délimiter la mission
Listez les tâches autorisées, les utilisateurs, les formats de réponse et les erreurs les plus coûteuses. Une évaluation de recherche sourcée ne mesure pas les mêmes choses qu’un assistant de support.

Illustration générée par IA 2. Collecter les exemples
Prenez des demandes fréquentes et des cas rares mais importants. Retirez les données personnelles et conservez la provenance et la date de chaque exemple.

Illustration générée par IA 3. Ajouter des cas adverses
Incluez les demandes ambiguës, documents contradictoires, entrées vides, langues différentes et instructions malveillantes lorsque ces situations peuvent survenir.

Illustration générée par IA 4. Écrire une grille
Notez la justesse, les sources, le respect du format, le refus approprié et le temps de correction. Décrivez des niveaux observables pour éviter un simple ressenti.

Illustration générée par IA 5. Établir une référence
Exécutez tous les cas sur la version actuelle. Faites relire un échantillon par deux personnes et résolvez les désaccords de notation avant de comparer une nouvelle version.

Illustration générée par IA 6. Suivre les régressions
Relancez les tests après un changement de modèle, de prompt, de corpus ou d’outil. Ajoutez les incidents réels au jeu de tests et retirez les exemples devenus obsolètes.
Mettre la méthode à l’épreuve

Cas pratique
Constituez douze cas anonymisés : six courants, trois ambigus, deux critiques et un que le système doit refuser.

Preuves à conserver
Pour chaque cas, définissez résultat attendu, barème observable, version testée et éventuel désaccord entre évaluateurs.

Décider
Comparez les versions sur ce lot stable ; ajoutez ensuite les incidents réels sans réécrire rétroactivement les résultats de départ.
Quatre qualités d’un bon jeu

Représentativité
Les cas reflètent les usages réels et leurs fréquences.

Couverture des risques
Les erreurs coûteuses et les refus attendus sont présents.

Reproductibilité
Entrées, versions et barème sont conservés.

Actualisation
Les incidents et changements métier alimentent le jeu.
Services à comparer sur les mêmes cas
Utilisez une courte liste de services adaptés à la mission ; le jeu de tests permet de voir leurs écarts sur votre contexte.
OpenAI Platform
API de modèles
OpenAI · US
Voir le site officielClaude Platform
API de modèles
Anthropic · US
Voir le site officielGoogle Antigravity
agent de développement
Google · US
Voir le site officielMagika
identification du type de fichier
Comment cette sélection est-elle produite ?
Ces fiches sont reliées au sujet du guide dans notre catalogue éditorial. Leur présence ne constitue pas un classement ni une mesure de performance sur vos documents. Méthodologie.
Familles d’outils liées
Questions fréquentes
Combien de cas faut-il ?
Commencez avec un petit ensemble diversifié et stable, puis ajoutez les incidents et les cas manquants. La couverture compte plus qu’un nombre arbitraire.
Une note automatique suffit-elle ?
Non. Pour les résultats importants, vérifiez un échantillon manuellement et contrôlez les désaccords entre évaluateurs.
Quand relancer les tests ?
Après tout changement de modèle, de consignes, de données ou d’outil, et régulièrement sur les cas critiques.
Les références ci-dessous approfondissent les concepts et contrôles évoqués. Les scénarios et grilles d’essai restent des propositions éditoriales ; une documentation fournisseur décrit son propre produit, pas un benchmark indépendant.
Sources officielles
Une recherche trouve-t-elle les bons documents ?
Évaluez la recherche avant de juger la réponse générée. Dans un corpus délimité, définissez les documents pertinents pour une question, puis comptez ceux que la recherche retrouve, ceux qu’elle ajoute à tort et ceux qu’elle manque. Comptez chaque document une seule fois et utilisez le même nombre maximal de résultats pour comparer deux systèmes.
Calcul local dans le navigateur, sans enregistrement. Sans JavaScript, utilisez les formules ci-dessous ; les valeurs affichées restent celles de l’exemple.
- Précision : éviter le bruit
- Pertinents retrouvés ÷ tous les documents retrouvés. Ici : 3 ÷ (3 + 1) = 75 %.
- Rappel : éviter les oublis
- Pertinents retrouvés ÷ tous les documents pertinents du corpus. Ici : 3 ÷ (3 + 2) = 60 %.
- F1
- 2 × pertinents retrouvés ÷ (2 × pertinents retrouvés + non pertinents retrouvés + pertinents manqués). Ici : 6 ÷ 9 ≈ 66,7 %.



Si le dénominateur est nul, le calcul indique « non défini ». Sans inventaire des documents pertinents, le rappel est inconnu : ne le déduisez pas du Web entier. Ces mesures n’évaluent ni la véracité de la réponse ni la gravité d’un document manqué ; une exception décisive oubliée reste bloquante.



