Chaque essai du banc, dans l'ordre où il a eu lieu, une ligne par tentative : 66 tentatives, dont 45 menées à terme. Le tableau se calcule à chaque mise à jour de la page depuis le registre tenu pendant les essais : il ne se recopie pas. Les dossiers confiés aux assistants sont fictifs.
Ce que le banc couvre
Les douze tâches du livre, sur les cinq assistants. Chaque case compte les tentatives menées à terme, puis le nombre de tentatives faites. Les essais de la boucle d'apprentissage et les passes invalides n'y entrent pas. 34 cases sur 60 n'ont aucune tentative menée à terme : ce que le livre dit de ces assistants sur ces tâches n'a pas été éprouvé au banc.
| Tâche du livre | ChatGPT | Claude | Copilot | Gemini | Mistral |
|---|---|---|---|---|---|
| Chapitre 7 · Rapport consolidé depuis vos systèmes métier P4 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 2sur 2 tentatives | 2sur 2 tentatives |
| Chapitre 8 · Fiche compte complète depuis vos sources dispersées P5 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 1sur 2 tentatives | 1sur 1 tentative |
| Chapitre 9 · Du compte-rendu de réunion aux livrables opérationnels P6 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 1sur 1 tentative | 0sur 1 tentative |
| Chapitre 10 · Votre synthèse de veille du lundi en un quart d'heure P7 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 2sur 2 tentatives | 2sur 2 tentatives |
| Chapitre 11 · Détecter et qualifier des prospects à partir de signaux publics P8 et P9 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 2sur 2 tentatives | 2sur 2 tentatives |
| Chapitre 12 · Proposition commerciale structurée en 45 minutes P10 | 1sur 1 tentative | 1sur 1 tentative | 0sur 2 tentatives | 5sur 6 tentatives | 6sur 7 tentatives |
| Chapitre 13 · Appel d'offres : extraire les critères importants en une heure P11 | 0aucune tentative | 1sur 1 tentative | 0aucune tentative | 1sur 5 tentatives | 2sur 6 tentatives |
| Chapitre 14 · Benchmark concurrentiel depuis les sources que vous joignez P12 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 1sur 1 tentative | 1sur 2 tentatives |
| Chapitre 15 · Un tableau de bord de projets qui s'ouvre dans n'importe quel navigateur P13 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 1sur 1 tentative | 1sur 1 tentative |
| Chapitre 16 · Dossier d'accueil personnalisé pour chaque nouvel arrivant P14 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 1sur 1 tentative | 1sur 1 tentative |
| Chapitre 17 · Préparer une négociation difficile en 30 minutes P15 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 1sur 1 tentative | 1sur 1 tentative |
| Chapitre 18 · Tableau de bord de portefeuille depuis vos comptes-rendus P16 | 0aucune tentative | 0aucune tentative | 0aucune tentative | 1sur 3 tentatives | 1sur 1 tentative |
Limites de ce banc
Une case pleine repose sur peu de passes menées à terme : 17 cases sur une seule passe, 7 cases sur deux, une case sur cinq et une case sur six. Une passe est un tirage, pas une moyenne ; là où trois passes ont été faites, le fond est resté stable et la forme du livrable a varié : le même compte a refusé une tâche puis l'a faite un quart d'heure plus tard. Les offres essayées ne se valent pas : ChatGPT en offre gratuite ; Claude en offre payante individuelle (Max) ; Copilot en offre grand public, compte Microsoft personnel ; Gemini en offre payante individuelle (Pro, mode Élevé) ; Mistral en offre gratuite (Vibe Work, mode Rapide). Une différence entre deux assistants peut n'être qu'une différence d'offre. Les tentatives ont été pilotées par un agent IA dans le navigateur de l'auteur. Il a envoyé les pièces, répondu aux questions des assistants et noté les sorties ; une erreur de pilotage au moins est consignée. Les comptes n'étaient pas vierges : la mémoire des conversations était active sur plusieurs d'entre eux ; ce que le compte savait de son titulaire est entré dans plusieurs réponses. Les durées vont de l'envoi à la dernière réponse d'un pilotage : elles ne disent pas le temps d'un lecteur, qui lit, relit et corrige. Le jeu d'essai de la proposition commerciale est adressé à un personnage de la première version du livre, et non à celui du chapitre 12 : une signature qui mélange les deux vient de là. Aucune tentative n'a éprouvé la version du prompt que publie aujourd'hui la page des prompts : chaque prompt a été modifié depuis sa passe.
L'offre utilisée par assistant
Le livre ne nomme aucune offre : elles vivent ici. Une autre offre du même assistant peut se comporter autrement.
| Assistant | Éditeur | Offre essayée | Tentatives | Dates | Réserve |
|---|---|---|---|---|---|
| ChatGPT | OpenAI | gratuite | 2 | 3 novembre 2026 | |
| Claude | Anthropic | payante individuelle (Max) | 5 | 3 novembre 2026 | |
| Copilot | Microsoft | grand public, compte Microsoft personnel | 2 | 3 novembre 2026 | Le protocole du banc demandait un accès d'entreprise, pour mesurer ce que l'on a au bureau. Les passes ont eu lieu sur un compte personnel : elles ne disent pas tout de la version d'entreprise, qui puise selon l'offre souscrite dans la messagerie, les fichiers et les réunions de l'organisation. |
| Gemini | payante individuelle (Pro, mode Élevé) | 27 | 3, 4 et 6 novembre 2026 | ||
| Mistral | Mistral AI | gratuite (Vibe Work, mode Rapide) | 30 | 3, 4, 5 et 6 novembre 2026 |
Les tentatives
Toutes les tentatives ont eu lieu en conversation, aucune dans un projet. 2 tentatives sur 66 sont marquées invalides : faute d'avoir reçu la bonne consigne, elles ne comptent dans aucune mesure de qualité. Leurs observations sur l'outil lui-même, une limite d'envoi par exemple, restent des faits. Les durées sont arrondies. Le constat de chaque ligne s'ouvre sous son issue.
L'issue suit une règle écrite, la même pour les cinq assistants :
- menée à terme : l'assistant a rendu l'essentiel du livrable, en fichier, en texte ou dans le code qu'il montre ; cela ne dit rien de sa qualité, que disent les défauts.
- réussie du premier coup : l'essai de la boucle d'apprentissage a abouti sans retouche.
- arrêt : l'assistant s'est arrêté sans rien produire, en invoquant une règle du prompt.
- échec : un refus, ou rien d'utilisable.
- bloquée : l'outil a empêché l'envoi (limite de l'offre, vérification).
- incident technique : une erreur de l'outil, sans réponse.
- abandonnée : le pilote a arrêté la réponse.
- invalide : la consigne envoyée n'était pas la bonne ; hors de toute mesure.
| No | Date | Assistant | Tâche | Version du prompt | Durée | Livrable constaté | Défauts relevés | Issue |
|---|---|---|---|---|---|---|---|---|
| 1 | 3 novembre 2026 | ChatGPT | P10 | 3 novembre 2026testé sur une version antérieure | environ 1 min | aucun | non mesurés | invalideConstatPasse invalide : l'assistant a reçu un ancien brief à la place de la consigne prévue, elle n'entre dans aucune mesure. Ce qu'elle dit de l'outil reste un fait : l'offre gratuite a refusé toute pièce jointe au-delà de deux, avec « réessayez demain après 07:05 ». |
| 2 | 3 novembre 2026 | Claude | P10 | 3 novembre 2026testé sur une version antérieure | non mesurée | aucun | non mesurés | invalideConstatPasse invalide, sur le même ancien brief. Elle a été arrêtée en cours de production. |
| 3 | 3 novembre 2026 | Claude | P10 | 3 novembre 2026testé sur une version antérieure | environ 5 min | fichier Word annoncé, non mesuré | non mesurés | menée à termeConstatL'assistant a transformé le prompt collé en pièce jointe. Le document compte six parties et 1 322 mots, relus page par page à l'écran sans être téléchargés : le téléchargement était bloqué dans la fenêtre pilotée. Le chiffrage (56 700 € HT) est juste, le dépassement de budget est signalé hors du document, les éléments internes sont écartés. Les cinq contradictions entre les pièces sont relevées, sept informations sont laissées à compléter. L'assistant déclare avoir lu les cinq pièces, ce que rien n'a vérifié. La mémoire du compte était active. |
| 4 | 3 novembre 2026 | Gemini | P10 | 3 novembre 2026testé sur une version antérieure | environ 2 min | fichier Word annoncé, non mesuré | non mesurés | menée à termeConstatL'assistant annonce moins de 600 mots pour un plafond de 3 850 : un document très mince, que personne n'a pu ouvrir, l'aperçu échouant chez l'assistant lui-même. Le chiffrage est juste, le dépassement est signalé. Trois contradictions sur cinq sont relevées ; le budget qui a bougé et le compte des entretiens sont manqués. Le sommaire n'a pas de numéros de page, le nombre de pages est estimé. |
| 5 | 3 novembre 2026 | Claude | P11 (7 PDF dont 1 hors consultation, rectificatif, charte, logo) | 3 novembre 2026testé sur une version antérieure | environ 10 min | fichiers tableur et Word annoncés, non mesurés | non mesurés | menée à termeConstatL'assistant inventorie chaque pièce, avec ses pages imprimées et ses pages numériques, puis écarte le rapport de 2023 étranger à la consultation. Il relève dix contradictions entre les pièces, dont trois dates limites, sans trancher à la place de l'auteur. Il remarque aussi que la date fixée par la demande précède le dossier. Les deux fichiers ont été relus page par page à l'écran, jamais téléchargés. |
| 6 | 3 novembre 2026 | Gemini | P11, essai 1 | 3 novembre 2026testé sur une version antérieure | environ 4 min | aucun | non mesurés | échecConstatRefus après environ quatre minutes de réflexion : « Ce que vous demandez va au-delà de ce que permet ma programmation. Je génère juste du texte. » Relancé dans une conversation neuve (passe suivante). |
| 7 | 3 novembre 2026 | Gemini | P11, essai 2 (conversation neuve, mêmes pièces) | 3 novembre 2026testé sur une version antérieure | environ 4 min | texte à copier | non mesurés | menée à termeConstatRelancé dans une conversation neuve avec les mêmes pièces, l'assistant rend le tableau des critères et la note en texte à copier, en disant ne pas pouvoir produire de fichier. Le même compte avait pourtant produit un fichier Word un quart d'heure plus tôt. Les neuf pièces sont inventoriées, le rapport de 2023 est écarté, l'écart de pondération (95 contre 100) est relevé. Le premier refus était ponctuel : relancer une fois avant de conclure. |
| 8 | 3 novembre 2026 | Mistral | P10 | 3 novembre 2026testé sur une version antérieure | environ 3 min | texte à copier | non mesurés | menée à termeConstatL'assistant a replié le prompt collé en pièce jointe. Faute de pouvoir livrer un fichier Word, il le dit en une phrase et rend environ 1 800 mots à coller. Le chiffrage est juste, le dépassement est signalé hors du document. Un bandeau annonce que l'outil enregistre automatiquement les informations clés des conversations : sur cette offre, la mémoire est active par défaut. |
| 9 | 3 novembre 2026 | Mistral | P11 (7 PDF, charte, logo) | 3 novembre 2026testé sur une version antérieure | environ 2 min | tableau exportable depuis l'outil, non mesuré ; note en texte à copier | non mesurés | menée à termeConstatLe rapport de 2023 est cité comme hors consultation, l'écart de pondération est relevé. Le logo est déclaré inexploitable comme image. La note vient en texte à coller, l'assistant annonçant qu'il ne peut pas produire de fichier Word. |
| 10 | 3 novembre 2026 | Copilot | P10 | 3 novembre 2026testé sur une version antérieure | non mesurée | aucun | non mesurés | bloquéeConstatL'envoi n'a pas abouti. L'outil n'accepte qu'un fichier à la fois ; refuser l'analyse d'images a retiré toutes les pièces ; la quatrième pièce n'a pas été retenue, sans message. Chaque fichier envoyé depuis l'appareil part en copie sur le stockage personnel du compte, ce que l'outil signale. L'envoi a enfin déclenché une vérification anti-robot que le pilote n'avait pas le droit de passer, puis expiré. |
| 11 | 3 novembre 2026 | ChatGPT | P10, sources collées | 3 novembre 2026testé sur une version antérieure | environ 4 min | fichier Word, téléchargé et mesuré | 2 | menée à termeConstatL'offre gratuite a refusé les pièces jointes pour seize heures : le contenu des fichiers a été collé dans le message, comme le livre le propose. Le fichier Word n'a pas été téléchargé pendant la passe pilotée ; l'auteur l'a téléchargé et mesuré le 3 novembre au soir. Il compte six pages composées et 1 181 mots, chaque partie sous son plafond, des montants justes, aucune référence inventée. Trois contradictions sur cinq sont relevées. Deux défauts : dix-neuf espaces ordinaires avant une ponctuation haute et la date réelle du jour mise à la place de celle que fixait le prompt, ce qui fait traiter des échéances à venir comme passées. Le contrôle du nombre de mots s'est arrêté sur la limite d'analyse de l'offre gratuite. L'assistant s'est noté 4 à 5 sur 5. |
| 12 | 3 novembre 2026 | Claude | boucle ch. 12, brouillon, essai 1 | sans objet | environ 1 min | aucun | non mesurés | abandonnéeConstatEssai de la boucle d'apprentissage, sans pièce jointe : la demande seule, en une phrase. Les instructions du compte de l'auteur, qui portent son contexte professionnel, se sont invitées dans la réponse, qui a cessé de traiter la demande. Réponse arrêtée. |
| 13 | 3 novembre 2026 | Claude | boucle ch. 12, brouillon, essai 2 (conversation incognito) | sans objet | environ 1 min | aucun | non mesurés | abandonnéeConstatLa même demande en conversation privée. Ce mode coupe l'historique et la mémoire. Sur ce compte, le 3 novembre, il n'a pas coupé les instructions du compte : elles se sont de nouveau invitées dans la réponse, dès sa première ligne. L'assistant s'est par ailleurs abstenu d'inventer chiffres, références ou prix. Réponse arrêtée. |
| 14 | 3 novembre 2026 | Mistral | boucle ch. 12, brouillon | sans objet | environ 4 min | texte à copier | non mesurés | menée à termeConstatLe brouillon de la boucle, en quatre messages, avec deux questions à choix posées par l'assistant avant d'écrire. Le premier jet est générique et invente des objectifs chiffrés. Le deuxième, nourri des quatre fichiers, est fidèle ; le troisième est trop mince (500 mots) ; le quatrième est conforme (1 730 mots). Les instructions et la mémoire du compte avaient été vérifiées vides. |
| 15 | 3 novembre 2026 | Mistral | boucle ch. 12, reformulation | 3 novembre 2026testé sur une version antérieure | environ 1 min | texte à copier (un prompt de 931 mots) | non mesurés | menée à termeConstatInvité à reformuler la conversation en un prompt propre, l'assistant retrouve l'ossature du prompt du livre en huit sections et signale deux questions ouvertes. Il manque des lignes (intervenants, références, arrêt sur une case non remplie, plafond de pages, date). D'autres sont de trop, tirées de la tâche du jour. |
| 16 | 3 novembre 2026 | Mistral | boucle ch. 12, projet propre (prompt reformulé seul) | sans objet | environ 1 min | texte à copier | non mesurés | réussie du premier coupConstatLe prompt reformulé, lancé seul dans une conversation neuve, réussit du premier coup : 1 623 mots en six parties, chiffrage juste, budget et écart hors du document, aucun élément interne, treize informations laissées à compléter. Trois contradictions sur cinq sont relevées, comme chez les autres assistants sur la même tâche. L'assistant s'est noté 4 ou 5 sur chaque critère. |
| 17 | 3 novembre 2026 | Copilot | P10, second essai | 3 novembre 2026testé sur une version antérieure | non mesurée | aucun | non mesurés | échecConstatSans vérification anti-robot cette fois, l'assistant lit juste : contradictions tranchées selon la règle des sources, chiffrage exact, dépassement signalé. Il refuse pourtant trois fois de produire. Il réclame d'abord logo, immatriculation et adresse au lieu de les laisser à compléter, puis juge les consignes impossibles à tenir ensemble, puis estime le texte trop long pour une seule réponse. Une erreur de pilotage a fait partir le brief seul, avant le prompt ; les trois refus portent sur le prompt complet. Au quatrième message, « procédons partie par partie », la page de garde et la première partie arrivent aussitôt : le découpage contourne le refus, sans livrer le document entier. |
| 18 | 4 novembre 2026 | Gemini | P4 | 4 novembre 2026testé sur une version antérieure | environ 2 min | fichier Word annoncé, non mesuré | 4 | menée à termeConstatLe fichier Word annoncé n'a pu être ni prévisualisé ni téléchargé. Son contenu, relu dans le code que l'assistant a exécuté, est juste sur tous les chiffres et sur les libellés en double. Quatre défauts : un résumé qui parle de maîtrise des dépenses quand les coûts montent de 52,7 %, aucun détail des coûts par équipe, une seule information à compléter annoncée, une longueur estimée à une page quand la visionneuse en affiche deux. L'assistant s'est noté 5 sur 5 partout : sa note ne voit aucun des quatre défauts. La mémoire des discussions passées était active. |
| 19 | 4 novembre 2026 | Mistral | P4 | 4 novembre 2026testé sur une version antérieure | environ 4 min | texte à copier | 2 | menée à termeConstatAvant de calculer, l'assistant rend un constat par fichier, encodages compris, puis pose deux questions à choix ; le pilote a répondu d'appliquer la règle du prompt. Tous les totaux sont justes. Deux défauts : le poste de coût principal est faux, rangé ligne par ligne au lieu d'être cumulé ; une abréviation régionale reste sans rattachement. Les noms des personnes ne sortent qu'à l'écran, jamais dans le document. Le logo en image est déclaré illisible, sa version vectorielle lue à la place. L'assistant s'est noté 2 sur 5 pour la mise en page, ce qui est juste pour un texte à coller. |
| 20 | 4 novembre 2026 | Gemini | P5 | 4 novembre 2026testé sur une version antérieure | environ 3 min | aucun | 1 | arrêtConstatEnvoyé en deux lots, l'outil limitant l'envoi à dix fichiers. L'assistant s'arrête sans rien produire en déclarant vide l'export des commandes, qui en porte seize : c'est la lecture de la pièce qui a échoué, pas le prompt. Ce qu'il a lu est juste, compte-rendu numérisé compris. Il s'est noté 5 sur 5 partout, sur un arrêt dû à un fichier déclaré vide à tort. La mémoire des discussions passées était active ; rien du profil n'apparaît dans la réponse. Relancé en un seul envoi (passe du même jour). |
| 21 | 4 novembre 2026 | Mistral | P5 | 4 novembre 2026testé sur une version antérieure | environ 6 à 7 min | texte à copier | 4 | menée à termeConstatDates et jours restants justes, totaux justes, montant au format anglais relu et signalé, compte-rendu numérisé lu. L'assistant marque d'un astérisque le chiffre d'affaires 2025, avec raison : un courriel l'annonce avant une commande passée plus tard. Quatre défauts : le préavis absent du document, un engagement tenu en retard manqué, le total 2026 donné pour complet, une intention présentée comme un engagement. Marge et prix d'achat restent hors du document. Environ 760 mots, sous le plafond de 1 000. |
| 22 | 4 novembre 2026 | Gemini | P6 | 4 novembre 2026testé sur une version antérieure | environ 2 min | texte à copier | 3 | menée à termeConstatTableau, courriel et brief viennent en texte à copier. Les neuf actions sont reprises, celle qui n'a pas de responsable reste à compléter, les absents sont justes. Trois défauts : une échéance calculée sur le dimanche au lieu du vendredi, un objectif d'adoption présenté comme décidé, quatre sigles ni développés ni signalés. L'assistant s'est noté 4 ou 5 sur chaque critère. La mémoire des discussions passées était active. |
| 23 | 4 novembre 2026 | Gemini | P7 | 4 novembre 2026testé sur une version antérieure | environ 2 min | texte à copier | 1 | menée à termeConstatEnvoyé en deux lots. Cinq cases du prompt étaient restées vides : le prompt demande alors de s'arrêter, l'assistant a produit sans le signaler, c'est le défaut retenu. Pour Mistral, ces cases avaient été remplies avant l'envoi : les deux passes n'ont pas reçu exactement le même prompt. La note tient ses plafonds, borne un chiffre à son périmètre, relève une contradiction entre deux sources, écarte les mentions internes. Aucune recherche sur le web. L'assistant s'est noté 4 ou 5 sur chaque critère. |
| 24 | 4 novembre 2026 | Mistral | P6 | 4 novembre 2026testé sur une version antérieure | environ 7 min | fichiers annoncés, jamais remis | 1 | échecConstatLe tableau d'actions et le brief sont annoncés comme fichiers, mais restent dans l'espace de travail de l'outil : ni lien de téléchargement, ni contenu du tableau dans la réponse. Le repli que prévoit le prompt, donner le tableau dans la réponse, n'est pas appliqué. Seul le courriel arrive. Ce qui se juge du brief, lu dans le code exécuté, est juste. Trois exécutions ont échoué avant la dernière. L'assistant s'est noté 4 ou 5 sur chaque critère, sur un livrable qui n'est pas arrivé. |
| 25 | 4 novembre 2026 | Mistral | P7 | 4 novembre 2026testé sur une version antérieure | environ 3 à 4 min | texte à copier | 2 | menée à termeConstatLa seule recherche sur le web du banc : trois requêtes, une actualité réelle ajoutée et sourcée, une page payante lue en partie, ce que l'assistant dit. Les cases vides du prompt avaient été remplies avant l'envoi. Les huit documents sont représentés, les directives tenues, 700 mots sous le plafond de 900. Deux défauts : un titre qui contredit le résumé sur un chiffre (2,4 contre 2,5 jours), aucune espace insécable. L'assistant s'est noté 2 sur 5 sur deux critères. |
| 26 | 4 novembre 2026 | Gemini | P8 | 4 novembre 2026testé sur une version antérieure | non mesurée | texte à copier | 2 | menée à termeConstatEnvoyé en deux lots, avec la consigne d'attendre le second : l'assistant a répondu dès le premier, sans une des pages, puis a refait sa réponse au second. C'est celle-ci qui est jugée, avec un classement défendable. Source sans date écartée, contradiction tranchée pour le site de l'entreprise, aucun nom, courriel ni téléphone dans les tableaux. Deux défauts : un compte réduit à un seul de ses deux signaux, des angles d'approche qui présentent l'offre comme une réponse certaine. L'assistant s'est noté 5 sur 5 partout. |
| 27 | 4 novembre 2026 | Gemini | P9, à la suite du P8 dans la même conversation | 4 novembre 2026testé sur une version antérieure | environ 4 min | texte à copier | 2 | menée à termeConstatLancé dans la conversation du P8 : l'assistant a repris les trois comptes de sa propre réponse au lieu de ceux préparés pour cette passe, et a écarté le fichier joint en le disant. Les pièges propres à cette passe ne se sont pas présentés : elle ne dit rien d'eux. Cinq parties dans l'ordre, fiches de 719 à 748 mots, anciennetés justes, aucun nom de personne. Deux défauts : un calcul interdit, une partie sous son plancher dans les trois fiches. La partie finale suggère aussi des voies de renseignement discutables, comme interroger discrètement des grossistes. L'assistant s'est noté 5 sur 5 partout. |
| 28 | 4 novembre 2026 | Gemini | P12 | 4 novembre 2026testé sur une version antérieure | environ 2 à 3 min | texte à copier | 5 | menée à termeConstatLes onze PDF ont été regroupés en un par concurrent pour tenir en un envoi ; l'assistant cite tous les noms d'origine. Inventaire avant rédaction, contradictions laissées en limites, tarifs gardés dans leur monnaie, aucune formulation interdite, dates des captures lues dans l'image. Cinq défauts : des faits d'une plaquette sans date écrits comme établis, une trace de la note interne dans le document, des interprétations qui ajoutent des éléments neufs, une comparaison de tarifs sans leurs dates, une citation retouchée. L'assistant s'est noté 4 ou 5 sur chaque critère, et annonce « J'en ai trouvé 0 » sans dire où il a cherché. |
| 29 | 4 novembre 2026 | Mistral | P8 | 4 novembre 2026testé sur une version antérieure | environ 1 à 2 min | texte à copier | 2 | menée à termeConstatLe pilote a ajouté en fin de prompt une phrase sur l'absence d'accès au web : le prompt reçu n'était pas tout à fait celui du livre, ni celui de Gemini. Aucune recherche faite. Signaux datés, contradiction signalée, source sans date écartée, aucune donnée personnelle reprise. Deux défauts : une ligne à cinq champs qui décale les colonnes du tableau, une adresse coupée par une espace alors que l'assistant affirme toutes les adresses complètes. L'assistant s'est noté 4 ou 5 sur chaque critère. |
| 30 | 4 novembre 2026 | Mistral | P9, à la suite du P8 dans la même conversation | 4 novembre 2026testé sur une version antérieure | environ 1 à 2 min | texte à copier | 4 | menée à termeConstatLancé à la suite du P8, sur les tableaux de la conversation : les pièges préparés pour cette passe ne se sont pas présentés. Les trois comptes viennent dans l'ordre, anciennetés justes, montant au format anglais recopié et signalé. Quatre défauts : des fiches sous le plancher de 600 mots quand l'assistant affirme les fourchettes tenues, huit « Je déduis » au lieu de la troisième personne, des fautes de langue, aucune espace insécable. La charte jointe est celle d'une consultante, pour un commercial salarié : l'assistant ne l'a pas relevé. Il s'est noté de 3 à 5 selon les critères. |
| 31 | 4 novembre 2026 | Mistral | P10, essai 1 | 4 novembre 2026testé sur une version antérieure | environ 6 min | aucun | sans objet | incident techniqueConstatPremier essai. L'assistant tente de fabriquer le fichier Word par des commandes, constate qu'aucun outil n'est disponible, puis s'arrête au bout de près de six minutes sur une erreur de l'outil (« Code d'erreur : 6100 »), sans rien rendre. Relancé une fois en conversation neuve (passe suivante). |
| 32 | 4 novembre 2026 | Mistral | P10, essai 2 (conversation neuve) | 4 novembre 2026testé sur une version antérieure | environ 2 à 3 min | texte à copier | 2 | menée à termeConstatSecond essai, en conversation neuve. Le texte à coller compte 1 238 mots, chaque partie sous son plafond. Chiffrage juste, dépassement signalé hors du document, éléments internes écartés. Pour la première fois au banc, le budget qui a bougé est relevé. Deux défauts : les douze entretiens annoncés pour treize personnes recopiés sans le voir, une coquille. L'assistant dit n'avoir pas regardé le logo en image ; il s'est noté de 2 à 5 selon les critères. |
| 33 | 4 novembre 2026 | Gemini | P13 | 4 novembre 2026testé sur une version antérieure | non mesurée | texte à copier (code de la page) | 3 | menée à termeConstatLa page vient en code à copier, sans nom de fichier. Tout ce qui se calcule est juste : sept projets, retards en tête, statut requalifié sur sa date et dit, leurre écarté sans reprendre ses chiffres, données confidentielles absentes. Trois défauts : la section des sources désigne la personne visée par un paragraphe confidentiel, le logo vectoriel joint n'est pas intégré, le nom du fichier n'est pas donné. Plafonds tenus. L'assistant s'est noté 4 ou 5 sur chaque critère. |
| 34 | 4 novembre 2026 | Gemini | P14 | 4 novembre 2026testé sur une version antérieure | environ 2 à 3 min | texte à copier | 4 | menée à termeConstatLa signature porte le nom du titulaire du compte, alors que la case du nom était restée vide et qu'aucune pièce ne le contient : il vient du compte ou de sa mémoire, qui était active. Le portable personnel d'une collègue est recopié dans l'annuaire, alors que l'assistant affirme le contraire. Un jugement sur une personne reste, adouci ; des sigles reçoivent des définitions inventées. La date ambiguë de prise de poste est citée telle quelle, sans que l'ambiguïté soit dite. Les volumes annoncés sont sous-estimés. L'assistant s'est noté 5 sur 5 partout, sur un livret qui porte quatre défauts. |
| 35 | 4 novembre 2026 | Gemini | P15 | 4 novembre 2026testé sur une version antérieure | environ 3 à 4 min | texte à copier | 6 | menée à termeConstatL'assistant a rempli seul des cases que l'auteur devait remplir, lignes rouges et concessions, en le disant pour les secondes. Le chiffrage est juste, sur la bonne base. Six défauts : l'offre concurrente plus chère jamais opposée à la demande du client, la contrepartie attendue retournée en objection, l'échéance du contrat jamais située, un pied de page repris d'une charte qui n'est pas celle de la consultante, des arrondis en chaîne, une section au-delà de son budget qu'il annonce en dessous. Le taux retenu figure trois fois dans la fiche tenue en main, ce qui expose sa source. L'assistant s'est noté de 3 à 5 selon les critères. |
| 36 | 4 novembre 2026 | Mistral | P11 avec les deux pièges (cahier des charges numérisé sans texte, rapport de 2023 hors consultation) | 4 novembre 2026testé sur une version antérieure | non mesurée | texte à copier | 3 | menée à termeConstatPremier tour : le cahier des charges est un scan sans texte ; l'assistant s'arrête comme le prompt le demande et réclame une version lisible. Second tour, avec cette version : dates limites gardées sans trancher, jours restants exacts, instruction cachée dans une annexe citée et non exécutée, contradictions entre pièces relevées. Trois défauts : une citation déformée (« en cours de l'identité » pour « en cours de validité ») reprise trois fois, une référence mal lue sur le scan, un écart de points mal posé. L'assistant passe dix-neuf minutes à fabriquer un fichier Word à la main, sans jamais le remettre, puis rend le texte. |
| 37 | 4 novembre 2026 | Mistral | P12 | 4 novembre 2026testé sur une version antérieure | sans objet | aucun | non mesurés | bloquéeConstatL'envoi est refusé : « Vous avez atteint votre limite de messages. Votre limite sera réinitialisée dans 2 heures. » La limite de l'offre gratuite tombe après une journée de passes, dont une de vingt minutes. Rejoué le 5 novembre. |
| 38 | 4 novembre 2026 | Gemini | P16, essai 1 | 4 novembre 2026testé sur une version antérieure | non mesurée | aucun | sans objet | échecConstatRefus en une ligne, sans motif : « Je ne suis qu'un modèle de langage. Je ne peux pas vous aider à ce sujet. » Les onze pièces avaient été réunies en cinq pour tenir en un envoi. |
| 39 | 4 novembre 2026 | Gemini | P16, essai 2 (conversation neuve, mêmes pièces) | 4 novembre 2026testé sur une version antérieure | non mesurée | aucun | sans objet | incident techniqueConstatDeuxième essai, en conversation neuve avec les mêmes pièces : la génération démarre, puis la page revient à une conversation vide, sans réponse ni conversation enregistrée. |
| 40 | 4 novembre 2026 | Gemini | P16, essai 3 (conversation neuve, mêmes pièces) | 4 novembre 2026testé sur une version antérieure | environ 1 à 2 min | texte à copier | 5 | menée à termeConstatTroisième essai. La note et le tableau viennent en texte à copier. L'écart entre projets déclarés et comptes-rendus reçus est annoncé avant rédaction, les statuts déclarés sont justes, les données interdites écartées. Cinq défauts : deux statuts tirés d'une absence de retard, la mention « déduit » dans les cellules du tableau, des informations à compléter ajoutées là où rien ne manque, un jugement interne écarté sans le dire, des phrases plus longues que leur plafond et annoncées plus courtes. L'assistant s'est noté 4 ou 5 sur chaque critère. |
| 41 | 4 novembre 2026 | Gemini | P5, essai 2 (conversation neuve, un lot) | 4 novembre 2026testé sur une version antérieure | environ 2 à 3 min | fichier Word annoncé, non mesuré | 5 | menée à termeConstatRelance en un seul envoi, les huit courriels réunis en un PDF. L'export est lu cette fois, les totaux sont justes, le montant au format anglais converti et signalé. L'astérisque sur le chiffre d'affaires 2025 est juste, pour la même raison que chez Mistral. Cinq défauts : le préavis absent, trois engagements manqués sans le dire, l'annexe du périmètre ignorée, le total 2026 donné pour complet, des sections sans fichier ni date. Le fichier n'a pu être ni prévisualisé ni téléchargé ; l'assistant annonce 450 mots quand le code en montre 600. Il s'est noté 4 ou 5 sur chaque critère. |
| 42 | 5 novembre 2026 | Mistral | P13 | 4 novembre 2026testé sur une version antérieure | environ 2 min | page HTML téléchargeable, non téléchargée | 1 | menée à termeConstatLa page est produite dans un panneau d'où elle se télécharge ; elle ne l'a pas été, son texte a été relevé à l'écran. Tout ce qui se calcule est juste, leurre et données confidentielles écartés, statut requalifié et dit. Le logo en image, pourtant visible en vignette dans le message, est déclaré absent : la version vectorielle est intégrée à la place, ce qui est dit. Un défaut : un projet sans action ouverte compté comme inconnu, ce qui fausse le total annoncé. L'assistant s'est noté 4 ou 5 sur chaque critère. |
| 43 | 5 novembre 2026 | Mistral | P14 | 4 novembre 2026 ou 5 novembre 2026testé sur une version antérieure | environ 3 min | texte à copier | 1 | menée à termeConstatAvant d'écrire, l'assistant pose deux questions à choix sur les cases restées vides. Pour le signataire, sa première proposition est le nom du titulaire du compte, tiré du profil et non des pièces. Le pilote répond d'appliquer la règle du prompt : les deux cases restent à compléter. Planning, sigles, montant au format anglais, données personnelles écartées : juste. Un défaut : la date ambiguë de prise de poste est vue et dite à l'écran, mais le livret imprime le 14 octobre sans la forme d'origine. L'assistant annonce 2 100 mots pour 1 630 relevés. |
| 44 | 5 novembre 2026 | Mistral | P15 | 4 novembre 2026 ou 5 novembre 2026testé sur une version antérieure | environ 2 min | texte à copier | 4 | menée à termeConstatChiffrage juste sur l'avenant, variante calculée sans additionner les taux, contrepartie attendue demandée par écrit, lignes rouges laissées à compléter (« je n'en ai inventé aucune »). Quatre défauts : l'offre concurrente plus chère jamais opposée au client, une échéance déduite et une sortie décidée sans appui, une révision du contrat présentée comme une divergence, quatre sections au-delà de leur budget. L'assistant s'est noté de 3 à 5 selon les critères. |
| 45 | 5 novembre 2026 | Mistral | P16 | 4 novembre 2026 ou 5 novembre 2026testé sur une version antérieure | environ 7 min | fichiers annoncés, sans lien de téléchargement ; texte lisible dans le code montré | 2 | menée à termeConstatLes deux fichiers sont assemblés à la main dans l'espace de travail de l'outil, sans lien de téléchargement ; le texte de la note se lit dans le code exécuté. L'écart entre projets déclarés et comptes-rendus reçus est annoncé avant rédaction, une contradiction sur un montant est relevée, les données interdites sont écartées. Deux défauts : deux statuts tirés d'une absence de retard et le logo « redessiné à l'identique » alors que le prompt interdit de le modifier. Le logo en image, visible en vignette, était déclaré absent. L'assistant s'est noté 4 ou 5 sur chaque critère. |
| 46 | 5 novembre 2026 | Mistral | P12, relance après la limite de messages | 4 novembre 2026testé sur une version antérieure | environ 10 min | fichier Word annoncé, sans lien de téléchargement ; texte intégral rendu | 2 | menée à termeConstatRejoué le lendemain de la limite de messages. Le fichier Word est assemblé à la main dans l'espace de travail de l'outil, sans lien de téléchargement ; le texte intégral est rendu en secours, environ 2 600 mots. Captures lues et datées, note interne écartée sans trace, contradictions laissées en limites, tarifs gardés dans leur monnaie, aucune tournure interdite. Deux défauts : l'inventaire arrive après la rédaction au lieu d'avant, le nom du fichier est raccourci. L'assistant s'est noté 4 ou 5 sur chaque critère. |
| 47 | 6 novembre 2026 | Gemini | P10, version longue, passe 1 (prompt collé dans le message) | 6 novembre 2026testé sur une version antérieure | environ 2 min | fichier Word annoncé, non mesuré | non mesurés | menée à termeConstatLe prompt collé tel qu'un lecteur le ferait passe sans difficulté : l'assistant produit un fichier Word en moins de deux minutes. Les espaces insécables et le surlignage jaune des mentions à compléter sont bien posés dans le fichier, mais la langue française n'y est pas déclarée, et la citation en exergue porte un tiret cadratin. Le document est très mince, environ 400 mots pour un plafond de 3 850. Le chiffrage (56 700 € HT) est juste et son dépassement du budget est signalé hors du document. Les fichiers retenus pour la demande et pour les notes sont nommés. La contradiction sur le nombre de chefs d'équipe est relevée ; celles sur l'effectif et le nombre d'ateliers ne le sont pas. Les trois affirmations à contester sont rendues, avec leur fichier. La signature mêle le nom du persona et la société de la charte : c'est la consigne du banc qui les associe, la demande du client restant adressée à un autre nom. |
| 48 | 6 novembre 2026 | Gemini | P10, version longue, passe 2, essais a et b (prompt joint en fichier) | 6 novembre 2026testé sur une version antérieure | non mesurée | aucun | sans objet | incident techniqueConstatDeux fois de suite, l'assistant réfléchit plus de sept minutes sans rien rendre, puis la conversation disparaît. Le troisième essai, dans une conversation neuve avec les mêmes pièces, aboutit en deux minutes (ligne suivante). |
| 49 | 6 novembre 2026 | Gemini | P10, version longue, passe 2, essai c (prompt joint en fichier) | 6 novembre 2026testé sur une version antérieure | environ 2 min | texte à coller, environ une page | non mesurés | menée à termeConstatMême prompt et mêmes pièces que la passe 1, mais l'assistant dit cette fois ne pas savoir produire de fichier et rend le texte à coller. Il annonce des espaces insécables et renvoie le surlignage au lecteur. Le chiffrage est juste et le dépassement est signalé. La partie des conditions ajoute quatre mentions à compléter (démarrage, délai de livraison, pénalités, frais de déplacement) : le prompt interdit d'inventer ces clauses, il ne demande pas de les annoncer. La contradiction sur le nombre de chefs d'équipe n'est pas relevée, et le document parle de trois chefs partis sur sept. Les trois affirmations à contester sont rendues. |
| 50 | 6 novembre 2026 | Gemini | P10, version longue, passe 3 (prompt joint en fichier) | 6 novembre 2026testé sur une version antérieure | environ 1 min | texte à coller, environ deux pages | non mesurés | menée à termeConstatLe document le plus complet des trois passes. Le chiffrage est juste, le dépassement est signalé, le sommaire est posé sans numéros et l'assistant le dit. Deux contradictions sont relevées : sept ou huit chefs d'équipe, et une demande adressée à un autre nom que celui qui signe. Un détail de la partie interne des notes passe dans le document, sous la forme d'une fonction nommée. Les douze entretiens annoncés listent treize personnes. Les espaces sont déclarés ordinaires. Les trois affirmations à contester sont rendues. |
| 51 | 6 novembre 2026 | Gemini | P11 avec les deux pièges, version longue, passe 1 | 6 novembre 2026testé sur une version antérieure | environ 2 min | aucun | non mesurés | arrêtConstatL'assistant s'arrête comme il le doit : le cahier des charges est numérisé sans texte, il demande une version lisible et ne produit ni tableau de dépouillement ni note. Il le dit pourtant « lu en partie » au lieu de « non lu ». Il déclare avoir lu en entier l'ancien rapport avant de l'écarter. Les nombres de pages sont faux d'une unité sur cinq pièces (il compte sans la page de garde). Il calcule deux dates (questions et validité des offres), ce que le prompt ne permet pas. La somme des pondérations du lot 1 (95) et les douze jours restants sont justes. |
| 52 | 6 novembre 2026 | Gemini | P11 avec les deux pièges, version longue, passe 2 | 6 novembre 2026testé sur une version antérieure | environ 2 min | aucun | non mesurés | arrêtConstatArrêt correct, et cette fois le cahier des charges est déclaré non lu, illisible. L'ancien rapport est toujours dit lu en entier avant d'être écarté. Les nombres de pages restent faux d'une unité. Les douze jours restants et la somme 95 sont justes ; la date limite des questions est donnée avec son article. Les trois points à contester sont déclarés sans objet, aucun document n'ayant été produit. |
| 53 | 6 novembre 2026 | Gemini | P11 avec les deux pièges, version longue, passe 3 | 6 novembre 2026testé sur une version antérieure | environ 2 min | aucun | non mesurés | arrêtConstatArrêt correct, et c'est la seule des trois passes où l'ancien rapport est écarté sans être lu. Les nombres de pages sont encore faux d'une unité. Le compte des jours restants avant la remise, rendu aux deux passes précédentes, manque ici. L'assistant signale comme instruction cachée une phrase de la charte qui s'adresse à son auteur (« laissez une ligne vide si vous ne savez pas »). |
| 54 | 6 novembre 2026 | Gemini | P4, version courte | 6 novembre 2026testé sur une version antérieure | environ 3 min | fichier Word annoncé, non mesuré | non mesurés | menée à termeConstatLa version courte suffit à faire produire un fichier Word, avec le constat par fichier demandé avant tout calcul : séparateurs, séparateur décimal différent dans l'enquête de satisfaction, un montant au point décimal dans les ventes. Les rapprochements de libellés sont annoncés un par un. Le chiffre d'affaires (95 980 €) compte pourtant ce montant ambigu comme 1 250 €, que l'assistant cite lui-même parmi les trois points à contester. Il soustrait les coûts (119 230 €) des ventes et présente un déficit de 23 250 €, que rien ne demandait. Ni espaces insécables ni langue déclarée dans le script. |
| 55 | 6 novembre 2026 | Gemini | P7, version courte | 6 novembre 2026testé sur une version antérieure | non mesurée | texte à coller | non mesurés | menée à termeConstatLa note retient neuf actualités, toutes publiées entre le 24 septembre et le 2 octobre, alors qu'elle doit couvrir les sept jours précédant le 6 novembre : aucune n'est dans la fenêtre, et l'assistant ne le signale pas. Il écarte les notes de lecture et la charte comme des instructions venues d'une pièce, en invoquant la règle qui protège contre les instructions cachées : la règle a été prise trop au mot, et la note perd la mise en forme et les priorités de son auteur. Les adresses de la semaine sont déclarées inaccessibles, sans recherche sur le web. Les dates manquantes sont bien marquées à compléter, chaque actualité cite sa pièce, et la liste des écartés donne un motif par élément. Signée du nom donné dans le prompt. |
| 56 | 6 novembre 2026 | Gemini | P10, version courte | 6 novembre 2026testé sur une version antérieure | environ 2 min | texte à coller | non mesurés | menée à termeConstatLa version courte tient l'essentiel : chiffrage juste, dépassement du budget signalé hors du document, conditions commerciales reprises sans ajout, partie interne des notes laissée de côté, sept ou huit chefs d'équipe relevé. Elle perd ce que la version longue cadre : l'effectif du site web (85) entre dans le document contre celui du client (80), la phase 3 affirme une présence sur site que les notes laissent ouverte, et l'assistant demande les noms de famille des intervenants. Les trois affirmations à contester sont rendues, dont l'écart d'effectif. |
| 57 | 6 novembre 2026 | Mistral | P10, version longue collée, passe 1 sur 3 | 6 novembre 2026testé sur une version antérieure | environ 6 min | fichier annoncé, non téléchargeable depuis la conversation | 1 | menée à termeConstatLe prompt collé est replié par l’interface en un seul encart de texte. L'assistant annonce un fichier Word fabriqué dans son espace de travail, sans lien pour le télécharger : le document ne se lit pas, seul le compte rendu à l'écran. Chiffrage juste, dépassement du budget signalé hors document, trois contradictions relevées, et pour la première fois la date limite du client, passée au jour de la passe. Le défaut qu'on voit encore : douze entretiens annoncés pour treize personnes. |
| 58 | 6 novembre 2026 | Mistral | P10, version longue en pièce jointe, passe 2 sur 3 | 6 novembre 2026testé sur une version antérieure | environ 7 min | texte à copier (fichier annoncé, non remis) | 3 | menée à termeConstatMême prompt, conversation neuve, joint en fichier. L'assistant dit avoir fabriqué le fichier Word mais ne peut pas le remettre, et donne le texte entier. Le chiffrage et les trois contradictions sont les mêmes qu'à la première passe, le budget qui a bougé est relevé cette fois, la date limite passée ne l'est plus. Trois défauts : les douze entretiens pour treize personnes, des phrases qui renvoient aux échanges alors que la proposition doit se lire seule, la date limite non signalée. |
| 59 | 6 novembre 2026 | Mistral | P10, version longue en pièce jointe, passe 3 sur 3 | 6 novembre 2026testé sur une version antérieure | environ 1 min | texte à copier | 4 | menée à termeConstatTroisième passe, la plus rapide : une minute, sans tenter de fichier. Mêmes chiffres, mêmes contradictions, le budget qui a bougé relevé. Le texte est le plus long des trois et le moins soigné : deux coquilles, une phrase qui promet un résultat, des renvois aux échanges, et les treize personnes interrogées comptées douze en toutes lettres. |
| 60 | 6 novembre 2026 | Mistral | P4, version courte collée | 6 novembre 2026testé sur une version antérieure | environ 1 min | texte à copier | 1 | menée à termeConstatLa version courte tient l'essentiel en une minute : constat par fichier avant calcul, totaux justes, rapprochements annoncés un par un. Elle ne porte pas la règle qui interdisait de fondre deux libellés de coaching voisins, et l'assistant les a fondus, en le disant. Il relève aussi que la consigne sur le nom du fichier se contredit avec son propre exemple. |
| 61 | 6 novembre 2026 | Mistral | P7, version courte collée | 6 novembre 2026testé sur une version antérieure | environ 2 à 3 min | texte à copier | 2 | menée à termeConstatAvec la date de la passe, toutes les pièces jointes sortaient de la semaine couverte. L'assistant l'a vu et a demandé quoi faire ; on lui a répondu de s'en tenir à la semaine. La note ne porte donc que des actualités trouvées sur le web, chacune datée, et chaque pièce écartée avec son motif. Il a repéré les consignes glissées dans les notes de lecture et refusé de les suivre. Défaut : trois sources sur cinq sont données par un identifiant de dépêche, pas par une adresse qu'on peut ouvrir. |
| 62 | 6 novembre 2026 | Mistral | P10, version courte collée | 6 novembre 2026testé sur une version antérieure | environ 1 min | texte à copier | 3 | menée à termeConstatLa version courte rend en moins d'une minute un texte de même fond que la longue : mêmes chiffres, mêmes contradictions, dates passées signalées, éléments internes écartés. Elle perd ce que la longue détaille : les phrases renvoient aux échanges, la date de démarrage souhaitée entre dans le document, et l'absence de références devient une case à remplir. |
| 63 | 6 novembre 2026 | Mistral | P11 avec les deux pièges, version longue, passe 1 sur 3 | 6 novembre 2026testé sur une version antérieure | sans objet | aucun | sans objet | bloquéeConstatLe message n'est pas parti : l'offre gratuite a atteint sa limite au septième message de la matinée, et annonce un retour dans deux heures. Les trois passes ont été refaites l'après-midi, après la remise à zéro. |
| 64 | 6 novembre 2026 | Mistral | P11 avec les deux pièges, version longue, passe 1 sur 3 | 6 novembre 2026testé sur une version antérieure | environ 1 min | aucun | non mesurés | arrêtConstatL'assistant s'arrête comme il le doit : le cahier des charges est numérisé sans texte, il demande une version lisible et ne produit aucun des deux fichiers. L'ancien rapport est écarté sans être lu. Il donne pourtant une référence lue sur l'image du scan, fausse d'une lettre (RVV pour AVV), après avoir écrit qu'il ne tirerait rien des pages. La date limite, les douze jours restants et la somme 95 sont justes ; la date des questions est calculée, ce que le prompt ne permet pas, et dite « à compter du » quand le règlement dit « au plus tard ». Deux articles sont renvoyés à la mauvaise page. L'écart des sous-critères (50 sur cent points) manque. |
| 65 | 6 novembre 2026 | Mistral | P11 avec les deux pièges, version longue, passe 2 sur 3 | 6 novembre 2026testé sur une version antérieure | environ 1 min | aucun | non mesurés | arrêtConstatLa meilleure des trois passes. L'assistant écarte l'ancien rapport sans l'ouvrir, s'arrête sur le cahier des charges illisible et dit pourquoi : un relevé bâti sur cinq pièces sur six aurait l'air complet. Il relève les deux sommes qui ne tombent pas juste, 95 pour le lot 1 et 50 pour une valeur technique notée sur cent, avec des pages imprimées justes et les douze jours restants. Seule faute : il cite une référence lue sur l'image du scan, fausse d'une lettre, alors qu'il vient d'écrire qu'une page déchiffrée à l'image ne se cite pas. |
| 66 | 6 novembre 2026 | Mistral | P11 avec les deux pièges, version longue, passe 3 sur 3 | 6 novembre 2026testé sur une version antérieure | environ 1 min | aucun | non mesurés | arrêtConstatArrêt correct, ancien rapport ni lu ni utilisé. L'assistant tutoie, quand les deux passes précédentes vouvoyaient. Il écrit ne pas avoir déchiffré le scan et en cite pourtant la référence, fausse d'une lettre. Il ne donne ni la date limite ni les sommes des pondérations, que les deux autres passes donnaient. Il signale en revanche deux choses que les autres taisent : la mention d'essai fictif portée par les pièces, qu'il refuse de suivre comme une instruction, et une charte au nom d'un cabinet de conseil quand l'utilisatrice se présente chez un fabricant de filtration, qu'il demande de confirmer avant de composer la note à son nom. |
Historique des corrections
Une grille de notation corrigée en cours de banc s'applique à toutes les passes qu'elle concerne, chez tous les assistants. Chaque correction est consignée ici avec les passes qu'elle a fait renoter ou reclasser.
- Grille du P5 (fiche compte) révisée le 4 novembre 2026 : l'astérisque sur le chiffre d'affaires 2025, que le corrigé tenait pour faux, est justifié par les sources (un courriel annonce le total avant une commande passée plus tard). Passes concernées : no 21 (Mistral, notée ainsi), no 41 (Gemini, notée ainsi).
- Grille du P6 (compte-rendu de réunion) révisée le 4 novembre 2026 : le calcul attendait trois fichiers, la version testée du prompt n'en produit plus que deux ; ce contrôle est neutralisé, le reste est noté sur ses critères. Passes concernées : no 22 (Gemini, notée ainsi), no 24 (Mistral, notée ainsi).
- Grille du P7 (veille) révisée le 4 novembre 2026 : deux attendus contredisaient le prompt testé ; une actualité publiée hors de la semaine reste écartée, une adresse inaccessible va en sources non exploitables ; aucun des deux n'est plus un défaut. Passes concernées : no 23 (Gemini, renotée le 6 novembre 2026, 3 défauts ramenés à 1), no 25 (Mistral, notée ainsi).
- Grille du P9 (fiches de prospects) révisée le 4 novembre 2026 : ses attendus portaient sur des tableaux préparés qu'une passe enchaînée au P8 ne reçoit pas ; les deux passes sont jugées sur les seules règles du prompt. Passes concernées : no 27 (Gemini, notée ainsi), no 30 (Mistral, notée ainsi).
- Grille du P12 (benchmark) révisée le 4 novembre 2026 : le corrigé donnait les trois captures pour non datées, or chacune porte sa date dans l'image. Passes concernées : no 28 (Gemini, notée ainsi), no 46 (Mistral, notée ainsi).
- Grille du P16 (portefeuille) révisée le 4 novembre 2026 : les attendus de statut suivaient l'ancienne version du prompt ; les passes sont jugées sur la version testée. Passes concernées : no 40 (Gemini, notée ainsi), no 45 (Mistral, notée ainsi).
- Issues relues le 6 novembre 2026 selon les règles écrites en tête du tableau, passes reclassées : no 24 (menée à terme devient échec : aucun livrable utilisable), no 26 (« incident de lots » devient menée à terme : la réponse jugée est celle du second envoi), no 27 (« sortie du P8 réutilisée » devient menée à terme, la réserve passant au constat), no 38 (menée à terme devient échec : un refus sans livrable).
- Tentatives ajoutées le 6 novembre 2026, jusque-là rangées dans la note de la passe suivante : no 31, no 39.
- Livrables relus le 6 novembre 2026 : « téléchargé et mesuré » n'est écrit que pour un fichier ouvert et mesuré, soit 1 passe sur 66. Un fichier que l'assistant annonce sans qu'il ait été ouvert est « annoncé, non mesuré », et les pièces que l'assistant déclare avoir lues ne valent pas preuve.
- Colonne « version du prompt » ajoutée le 6 novembre 2026 : la date du prompt éprouvé, tirée de l'historique des modifications de son fichier ; deux dates quand cet historique ne permet pas de trancher.
Ce que ces tentatives établissent, capacité par capacité, se lit sur la page Capacités observées.
📅 Registre arrêté au 6 novembre 2026, 66 tentatives. Le banc complet du livre l'enrichira : cette page se met à jour avec lui.