21 modelli AI rispondono alla stessa email di assistenza: quanto cambiano qualità e costi?

Se doveste rispondere all’email di un cliente che chiede un rimborso, quale modello AI scegliereste? Il più costoso o il più economico?

Di recente abbiamo fatto un piccolo esperimento, molto vicino al lavoro quotidiano: abbiamo dato la stessa email a 21 modelli di testo, chiedendo a ciascuno una sola risposta. Non abbiamo scelto i risultati migliori né fatto riscrivere le bozze più volte. Dopo la generazione, abbiamo verificato il rispetto delle regole aziendali, la naturalezza del testo e il conto effettivo.

Il cliente chiedeva tre cose: un rimborso completo, l’arrivo del denaro entro domani e uno sconto della metà sul mese successivo. Sembra semplice. Ma il rischio maggiore nelle email di assistenza spesso non è la grammatica: è che il modello faccia, quasi senza pensarci, una promessa che l’azienda non ha mai autorizzato.

Il risultato è interessante: tutti i 21 modelli hanno prodotto una risposta completa, ma solo 16 risposte erano abbastanza buone da passare invariate a una persona per la revisione prima dell’invio. Tramite l’API API Hop, la risposta idonea meno costosa è venuta appena $0.0003867498. La più costosa dell’esperimento è venuta $0.055944: circa 145 volte tanto.

Una precisazione: si trattava di un’email cliente simulata. Anche il prodotto in abbonamento e le regole di rimborso erano inventati per l’esperimento e non rappresentano la vera politica di rimborso di API Hop. Definire una risposta “idonea” non significa neppure che l’abbiamo inviata a un cliente reale. Volevamo capire capacità e limiti attuali dei modelli in questa situazione.

Che cosa abbiamo osservato

Nell’assistenza clienti, generare testo è solo il primo passo. Conta soprattutto che il testo riporti correttamente i fatti, non superi i limiti di autorità e non richieda altro lavoro.

Qui “senza modifiche” significa che la bozza può passare invariata a una persona per la revisione prima dell’invio. Non significa che il sistema possa saltare il controllo umano e inviarla direttamente al cliente.

Abbiamo dato lo stesso compito a tutti i modelli

Alex scriveva in spagnolo: il giorno prima aveva pagato 29 USD per un piano mensile, non lo aveva mai usato e voleva un rimborso. Avrebbe preferito ricevere il denaro l’indomani. In alternativa, chiedeva il mese successivo a metà prezzo.

Le istruzioni aziendali erano in inglese, ma chiedevamo al modello di rispondere nella lingua del cliente, lo spagnolo. I limiti erano espliciti:

• Acquisto effettuato ieri e mai utilizzato: soddisfaceva i requisiti per richiedere il rimborso completo previsti per acquisti non utilizzati entro 72 ore. Serviva comunque una revisione umana; il modello non poteva dire che il rimborso fosse già approvato.
• In caso di approvazione ed elaborazione, il denaro arrivava di norma 5–10 giorni lavorativi dopo l’elaborazione del rimborso. Non si poteva promettere l’arrivo entro domani.
• Nessuno sconto a metà prezzo era autorizzato. Il modello non poteva offrirlo di propria iniziativa.
• Nessuna richiesta di rimborso era stata inviata, approvata o elaborata. Bisognava prima chiedere il consenso del cliente; solo dopo un operatore umano poteva presentare la richiesta per la revisione.

Queste regole non servivano a mettere in difficoltà i modelli. Nella realtà, un’email che dice senza autorizzazione “abbiamo già risolto” oppure “il denaro arriverà sicuramente domani” può lasciare all’assistenza molte più spiegazioni da dare.

Come abbiamo reso equo il test?

Abbiamo chiamato i 21 modelli tramite lo stesso endpoint Chat Completions di API Hop, con la stessa chiave di account e un input identico. Le chiamate sono state eseguite una dopo l’altra, seguendo un ordine casuale salvato in anticipo. Ogni modello ha ricevuto una sola chiamata in una sessione separata: una risposta scadente non dava diritto a un secondo tentativo.

Abbiamo impostato per tutti il limite max_tokens=8192, senza imporre temperatura o intensità di ragionamento. Non abbiamo usato ricerca web, strumenti esterni o esempi aggiuntivi. Ogni modello ha mantenuto il comportamento di ragionamento predefinito e il proprio utilizzo effettivo della cache.

Per la valutazione abbiamo nascosto nomi dei modelli, fornitori, prezzi e tempi. Solo le risposte originali in spagnolo sono passate a una valutazione anonima indipendente assistita dall’AI. Sono stati verificati lingua, requisiti per il rimborso, stato delle operazioni, tempi di accredito, sconti, passo successivo ed eventuali fatti inventati. Alla naturalezza è stato poi assegnato un voto da 1–5.

I risultati completi dei 21 modelli

La tabella è ordinata per costo effettivo della singola risposta, dal più basso al più alto. Una risposta che non superava i controlli aziendali obbligatori non era idonea, anche con 4 punti di naturalezza.

Quali modelli convenivano di più?

1. La risposta idonea più economica: DeepSeek V4 Flash

DeepSeek V4 Flash: naturalezza 4/5, controlli aziendali obbligatori superati, costo nel test $0.0003867498.

Ci ha sorpreso, perché non era il modello meno costoso in assoluto. Gemini 3.5 Flash Lite costava solo $0.0002532150, ma ometteva una condizione importante: citava i consueti 5–10 giorni lavorativi dopo l’approvazione, senza chiarire che il conteggio parte dopo l’elaborazione del rimborso. Per questo non potevamo considerare la risposta pienamente idonea.

DeepSeek V4 Flash copriva invece i requisiti, la revisione umana, l’impossibilità di garantire l’arrivo entro domani, l’assenza dello sconto e la conferma del cliente. Qualche formula di cortesia sembrava un po’ standard, ma nel complesso la bozza poteva passare invariata alla revisione umana.

Alla fine chiedeva al cliente:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

In sostanza, chiedeva prima conferma al cliente e solo dopo prevedeva l’invio della richiesta da parte di un operatore. Non sosteneva che il rimborso fosse già stato eseguito. Per noi questo conta più di qualche frase gentile in più.

2. Il più economico nel gruppo da 5 punti: MiniMax M3

MiniMax M3: naturalezza 5/5, controlli aziendali obbligatori superati, costo nel test $0.0007448700.

Tra i quattro modelli idonei con 5 punti, era quello con il costo più basso per risposta. Ecco il testo originale completo, senza modifiche:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Di questa email ci è piaciuto che fosse breve e rispettasse chiaramente vari limiti facili da trascurare. Soprattutto, non trasformava “puoi richiedere un rimborso” in “il rimborso è approvato” e lasciava esplicitamente il passo successivo in attesa della conferma del cliente.

Rispetto a DeepSeek V4 Flash, questa risposta di MiniMax M3 costava $0.0003581202 in più e, in questa valutazione anonima, la naturalezza passava da 4 a 5 punti. La differenza economica per una singola email è minima, ma è un riferimento utile se volete risposte meno simili a un modello preconfezionato. Una sola email non basta per affermare che MiniMax M3 sia più naturale in ogni situazione di assistenza.

3. Lo stesso voto di 5 può avere costi molto diversi

I quattro modelli con naturalezza 5/5 e regole aziendali rispettate erano:

Il confronto è immediato: la risposta di GPT-6 Astra costava circa 75 volte quella di MiniMax M3, ma entrambi hanno ottenuto 5 punti di naturalezza in questo test. Non significa che abbiano le stesse capacità nei lavori complessi. Significa soltanto che, per questa specifica email di assistenza, il modello costoso non ha ottenuto un voto più alto secondo i nostri criteri.

Anche la risposta originale di GPT-6 Astra era breve:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

Per un’email così semplice, non vediamo perché insistere sul modello più costoso solo per il suo posizionamento. La scelta dovrebbe partire dal lavoro da svolgere, non dall’idea di usare automaticamente il modello presentato come il più potente.

Quali problemi avevano le altre 5 risposte?

Questa parte ci è sembrata più utile dell’elenco dei voti massimi. Quando il modello viene usato davvero, il rischio principale non è un tono poco ricercato: è riportare male le regole o fare promesse che l’assistenza non può mantenere.

Un dato sembrava controintuitivo: Claude Opus 4.6 e Claude Fable 5 avevano entrambi 4 punti di naturalezza, ma non potevano passare direttamente alla revisione umana per la promessa aggiuntiva di un’azione immediata. Scorrevole non significa corretto.

Al contrario, Gemini 3.7 Flash riportava informazioni aziendali sostanzialmente giuste, ma divideva i paragrafi in modo strano e spezzava persino házmelo a metà. Non era un errore di valutazione delle regole, bensì un problema di qualità della bozza finale. Ecco perché distinguiamo rispetto delle regole aziendali e naturalezza dell’espressione.

Come sceglieremmo un modello per la nostra assistenza AI?

Non useremmo questa tabella da sola per proclamare “il miglior modello al mondo per le email”. È più utile dividere la scelta in tre livelli:

1. Prima definire i limiti aziendali. Il modello non deve promettere rimborsi non approvati, date di accredito o sconti. Le risposte che oltrepassano questi limiti vanno fermate, per quanto siano ben scritte.
2. Poi verificare se fa risparmiare tempo. Bisogna sistemare il formato, correggere il tono o eliminare segnaposto non compilati? Ridurre le modifiche manuali conta più di un aggettivo elegante in più.
3. Infine confrontare gli addebiti reali. Per bozze quotidiane con un formato abbastanza stabile, DeepSeek V4 Flash e MiniMax M3 sono candidati interessanti grazie ai risultati idonei ed economici di questo test. Per lavori più complessi, aggiungete altri modelli e fate prove mirate, anziché trasferire questa classifica tale e quale.

La nostra conclusione provvisoria è questa: DeepSeek V4 Flash è un candidato idoneo a basso costo; MiniMax M3 è quello a basso costo nel gruppo da 5 punti di questo test. Anche ChatGPT-5.6 Sol, ChatGPT-5.6 Terra e GPT-6 Astra hanno ottenuto 5 punti, ma con costi molto diversi.

Se sviluppate automazione dell’assistenza, un assistente email SaaS o supporto multilingue, consigliamo di partire dalle vostre 10–20 domande più frequenti. Scrivete prima nelle regole di valutazione quali promesse non devono mai essere fatte, poi confrontate risposte e fatture. Non serve per forza il modello più potente: serve un modello abbastanza affidabile per il vostro lavoro, a un costo gestibile.

Abbiamo chiamato tutti i modelli del test tramite l’API API Hop. Potete consultarli nel catalogo dei modelli di testo API Hop, confrontare API e fatturazione nella pagina di confronto dei modelli oppure leggere nella documentazione API come interrogare i modelli disponibili per il vostro account. Disponibilità e prezzi cambiano: fate riferimento ai vostri risultati API e alle vostre fatture aggiornate.

Appendice: l’input completo inviato ai 21 modelli

Per rendere verificabile il confronto, riportiamo qui sotto il prompt comune esattamente com’era. I fatti aziendali e le istruzioni sono in inglese, mentre l’email del cliente è in spagnolo. Non abbiamo inviato ai modelli le spiegazioni in cinese.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex