21 modèles d'IA répondent au même e-mail de support : quels écarts de qualité et de coût ?

Quel modèle d’IA choisiriez-vous pour répondre à un client qui demande un remboursement ? Le plus cher ou le moins cher ?

Nous avons récemment mené une petite expérience, très proche du travail quotidien : nous avons donné le même e-mail client à 21 modèles de texte, avec une seule réponse par modèle. Nous n’avons ni sélectionné les meilleurs résultats ni demandé aux modèles de réécrire leurs brouillons plusieurs fois. Nous avons ensuite vérifié le respect des règles métier, le naturel du texte et la facture réelle.

Le client posait trois questions : pouvait-il obtenir un remboursement intégral, recevoir l’argent dès demain et bénéficier du mois suivant à moitié prix ? Cela semble simple. Pourtant, le principal risque d’un e-mail de support n’est souvent pas la grammaire, mais une IA qui fait au passage une promesse que l’entreprise n’a jamais autorisée.

Le résultat est parlant : les 21 modèles ont produit une réponse complète, mais seules 16 réponses remplissaient nos critères pour être transmises sans retouche à une personne chargée de les vérifier avant envoi. Via l’API API Hop, la réponse conforme la moins chère a coûté seulement $0.0003867498. La réponse la plus chère de l’expérience a coûté $0.055944, soit environ 145 fois plus.

Précisons qu’il s’agissait d’un e-mail client simulé. L’abonnement et les règles de remboursement étaient eux aussi fictifs et ne représentent pas la politique réelle de API Hop. Dire qu’une réponse est « conforme » ne signifie pas non plus que nous l’avons envoyée à un vrai client. Nous voulions comprendre les capacités actuelles des modèles et leurs limites dans cette situation.

Les résultats en un coup d’œil

En service client, produire du texte n’est que la première étape. L’essentiel est de savoir si ce texte rapporte les faits correctement, reste dans les limites autorisées et évite de créer du travail supplémentaire.

Ici, « sans retouche » signifie que le brouillon peut être transmis tel quel à une personne pour vérification avant envoi. Cela n’autorise pas le système à contourner cette vérification et à envoyer directement l’e-mail au client.

Tous les modèles ont reçu le même exercice

Alex écrivait en espagnol : il avait payé 29 USD la veille pour un forfait mensuel, ne l’avait jamais utilisé et souhaitait être remboursé. Il préférait recevoir l’argent dès le lendemain. À défaut, pouvait-il obtenir le mois suivant à moitié prix ?

Les consignes métier étaient en anglais, mais nous demandions au modèle de répondre dans la langue du client, l’espagnol. Les limites étaient clairement définies :

• Achat effectué la veille et non utilisé : il remplissait les conditions pour demander un remboursement intégral d’un achat non utilisé datant de moins de 72 heures. Une vérification humaine restait obligatoire ; le modèle ne pouvait pas présenter le remboursement comme déjà approuvé.
• En cas d’approbation et de traitement, l’argent arrivait généralement 5–10 jours ouvrés après le traitement du remboursement. Son arrivée dès le lendemain ne pouvait pas être promise.
• Aucune remise à moitié prix n’était autorisée. Le modèle ne pouvait pas l’accorder de sa propre initiative.
• Aucune demande de remboursement n’avait été déposée, approuvée ou traitée. Il fallait d’abord obtenir l’accord du client ; un conseiller humain pouvait ensuite soumettre la demande pour vérification.

Ces règles n’étaient pas faites pour piéger les modèles. Dans une vraie entreprise, un e-mail qui affirme sans autorisation « nous avons déjà tout réglé » ou « l’argent sera forcément là demain » peut obliger le support à fournir bien plus d’explications par la suite.

Comment avons-nous assuré un test équitable ?

Nous avons appelé les 21 modèles via le même point d’accès Chat Completions de API Hop, avec la même clé de compte et une entrée strictement identique. Les appels ont été exécutés l’un après l’autre, dans un ordre tiré au sort et enregistré à l’avance. Chaque modèle a reçu un seul appel dans une session distincte : une mauvaise réponse ne donnait pas droit à un nouvel essai.

Nous avons fixé la même limite de max_tokens=8192, sans imposer de température ni d’intensité de raisonnement. Nous n’avons utilisé ni recherche web, ni outils externes, ni exemples supplémentaires. Chaque modèle a conservé son raisonnement par défaut et son utilisation réelle du cache.

Pour l’évaluation, nous avons masqué les noms des modèles, les fournisseurs, les prix et les durées. Seules les réponses originales en espagnol ont été soumises à une évaluation anonyme indépendante assistée par IA. Elle vérifiait la langue, les conditions de remboursement, l’état des actions, le délai de réception, les remises, l’étape suivante et les faits inventés. Le naturel de l’expression était ensuite noté de 1–5.

Les résultats complets des 21 modèles

Le tableau est classé par montant réellement facturé par réponse, du plus faible au plus élevé. Une réponse qui ne respectait pas les règles métier obligatoires n’était pas conforme, même avec une note de naturel de 4.

Quels modèles offraient le meilleur rapport qualité-prix ?

1. La réponse conforme la moins chère : DeepSeek V4 Flash

DeepSeek V4 Flash : naturel 4/5, règles métier obligatoires respectées, coût dans ce test $0.0003867498.

Cela nous a surpris, car ce n’était pas le modèle le moins cher de tous. Gemini 3.5 Flash Lite ne coûtait que $0.0002532150, mais omettait une condition importante : il évoquait le délai habituel de 5–10 jours ouvrés après approbation, sans préciser clairement que le délai commence après le traitement du remboursement. Nous ne pouvions donc pas considérer cette réponse comme entièrement conforme.

DeepSeek V4 Flash couvrait en revanche les conditions de la demande, la vérification humaine, l’absence de garantie pour le lendemain, l’absence de remise et la confirmation du client. Certaines formules de politesse semblaient un peu toutes faites, mais le brouillon pouvait être transmis tel quel pour vérification humaine.

À la fin, il demandait au client :

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

Autrement dit, il cherchait d’abord à confirmer la volonté du client, avant qu’une personne ne soumette la demande. Il ne prétendait pas que le remboursement était déjà effectué. Cela nous paraît plus important que quelques jolies formules supplémentaires.

2. Le moins cher parmi les modèles notés 5 : MiniMax M3

MiniMax M3 : naturel 5/5, règles métier obligatoires respectées, coût dans ce test $0.0007448700.

Parmi les quatre modèles conformes ayant obtenu 5, c’était celui dont la réponse coûtait le moins cher. Voici sa réponse originale complète, sans modification du texte :

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Nous avons apprécié la brièveté de cet e-mail et sa façon de respecter clairement plusieurs limites faciles à oublier. Il ne transformait surtout pas « vous pouvez demander un remboursement » en « votre remboursement est approuvé », et laissait explicitement l’étape suivante en attente de la confirmation du client.

Cette réponse de MiniMax M3 coûtait $0.0003581202 de plus que celle de DeepSeek V4 Flash, tandis que la note de naturel passait de 4 à 5 dans cette évaluation anonyme. Pour un seul e-mail, l’écart de coût est minime. C’est néanmoins un repère utile si vous souhaitez des réponses qui ressemblent moins à un modèle prérempli. Un seul e-mail ne permet pas de conclure que MiniMax M3 est plus naturel dans toutes les situations de support.

3. Une même note de 5 peut correspondre à des coûts très différents

Les quatre modèles ayant obtenu 5/5 pour le naturel et respecté les règles métier étaient :

La comparaison est nette : la réponse de GPT-6 Astra coûtait environ 75 fois celle de MiniMax M3, mais les deux ont obtenu 5 pour le naturel dans ce test. Cela ne veut pas dire qu’ils ont les mêmes capacités pour des travaux complexes. Cela montre simplement que, pour cet e-mail de support précis, le modèle cher n’a pas obtenu une meilleure note selon nos critères.

La réponse originale de GPT-6 Astra n’était pas longue non plus :

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

Pour cet e-mail simple, nous ne voyons pas pourquoi il faudrait absolument choisir le modèle le plus cher sur la seule base de son positionnement. Le choix doit partir du travail à accomplir, plutôt que de privilégier automatiquement le modèle présenté comme le plus puissant.

Quels étaient les problèmes des 5 autres réponses ?

Cette partie nous a semblé plus utile que la liste des meilleures notes. Une fois le modèle utilisé en production, notre priorité n’est pas d’éviter un ton peu raffiné, mais une politique mal expliquée ou des promesses que l’équipe de support ne pourra pas tenir.

Un résultat pouvait sembler paradoxal : Claude Opus 4.6 et Claude Fable 5 ont tous deux obtenu 4 pour le naturel, mais aucun ne pouvait passer directement à la vérification humaine à cause de sa promesse supplémentaire d’action immédiate. Un texte fluide n’est pas forcément juste.

À l’inverse, Gemini 3.7 Flash donnait des informations métier globalement correctes, mais coupait les paragraphes de façon étrange et séparait même házmelo en plein milieu. Le problème ne venait pas de son interprétation des règles, mais de la qualité du texte final. C’est pourquoi nous évaluons séparément le respect des règles métier et le naturel de l’expression.

Comment choisirions-nous un modèle pour notre propre support avec IA ?

Nous ne nous servirions pas de ce seul tableau pour désigner « le meilleur modèle d’e-mails au monde ». Une approche plus utile consiste à répartir la décision en trois niveaux :

1. Définir d’abord les limites métier. Le modèle ne doit promettre ni remboursements non approuvés, ni dates de réception, ni remises. Toute réponse qui dépasse ces limites doit être arrêtée, aussi bien écrite soit-elle.
2. Vérifier ensuite le gain de temps. Faut-il reprendre la mise en forme, ajuster le ton ou supprimer des champs non remplis ? Réduire les corrections humaines est plus utile qu’ajouter un bel adjectif.
3. Comparer enfin les montants réellement facturés. Pour des brouillons courants au format assez stable, DeepSeek V4 Flash et MiniMax M3 méritent une place parmi les candidats grâce à leurs réponses conformes et peu coûteuses dans ce test. Pour des tâches plus complexes, ajoutez d’autres modèles et faites des essais ciblés, plutôt que de reprendre ce classement tel quel.

Notre conclusion provisoire est la suivante : DeepSeek V4 Flash est un candidat conforme à faible coût, et MiniMax M3 est le candidat à faible coût parmi les modèles notés 5 dans ce test. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra et GPT-6 Astra ont également obtenu 5, mais avec de grands écarts de coût.

Si vous développez un support automatisé, un assistant d’e-mails pour un SaaS ou une assistance multilingue, commencez par vos 10–20 questions les plus fréquentes. Définissez d’abord les promesses à ne jamais faire, puis comparez la qualité des réponses et les factures. Vous n’avez pas forcément besoin du modèle le plus puissant, mais d’un modèle suffisamment fiable pour vos tâches, à un coût maîtrisable.

Nous avons appelé tous les modèles de ce test via l’API API Hop. Vous pouvez les consulter dans le catalogue des modèles de texte API Hop, comparer les API et la facturation sur la page de comparaison des modèles, ou voir dans la documentation API comment interroger la liste des modèles disponibles pour votre compte. La disponibilité et les prix évoluent : fiez-vous à vos résultats API actuels et à vos propres factures.

Annexe : l’entrée complète réellement envoyée aux 21 modèles

Pour permettre de vérifier cette comparaison, nous reproduisons ci-dessous le prompt commun sans modification. Les faits métier et les consignes sont en anglais, tandis que l’e-mail du client est en espagnol. Nous n’avons pas envoyé les explications chinoises aux modèles.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex