21 modeli AI odpowiada na ten sam e-mail klienta: jak różnią się jakość i koszt?

Gdyby trzeba było odpowiedzieć klientowi na e-mail z prośbą o zwrot pieniędzy, który model AI wybierzesz? Najdroższy czy najtańszy?

Niedawno przeprowadziliśmy mały eksperyment, bliski codziennej pracy: przekazaliśmy ten sam e-mail klienta 21 modelom tekstowym i każdy odpowiedział tylko raz. Nie wybieraliśmy najlepszych wyników ani nie prosiliśmy modeli o wielokrotne poprawianie tekstu. Po wygenerowaniu odpowiedzi sprawdziliśmy ich zgodność z zasadami firmy, a następnie naturalność języka i rzeczywisty rachunek.

Klient pytał o trzy rzeczy: czy może otrzymać pełny zwrot, czy pieniądze mogą dotrzeć jutro i czy w przyszłym miesiącu może zapłacić połowę ceny. Brzmi prosto, ale największy problem w e-mailach obsługi klienta często nie dotyczy gramatyki. Pojawia się wtedy, gdy model mimochodem składa obietnicę, na którą firma w ogóle nie wyraziła zgody.

Wynik był ciekawy: wszystkie 21 modeli przygotowało pełną odpowiedź, ale tylko 16 tekstów można było bez zmian przekazać człowiekowi do sprawdzenia przed wysłaniem. Przy użyciu API API Hop najtańsza odpowiedź spełniająca kryteria kosztowała zaledwie $0.0003867498. Najdroższy e-mail w tym teście kosztował $0.055944, czyli około 145 razy więcej.

Najpierw ważne wyjaśnienie: to symulowany e-mail klienta. Usługę subskrypcyjną i zasady zwrotu również wymyśliliśmy na potrzeby eksperymentu. Nie są to rzeczywiste zasady zwrotów API Hop. „Spełnia kryteria” nie oznacza też, że wysłaliśmy wiadomość prawdziwemu klientowi. Chcieliśmy jedynie poznać obecne możliwości i ograniczenia modeli w tej sytuacji.

Najważniejsze wyniki eksperymentu

W obsłudze klienta samo wygenerowanie tekstu to dopiero początek. Naprawdę liczy się to, czy tekst przedstawia fakty poprawnie, nie wykracza poza uprawnienia i nie wymaga ponownej pracy.

„Bez poprawek” oznacza tutaj możliwość przekazania niezmienionego tekstu człowiekowi do sprawdzenia przed wysłaniem. Nie oznacza zgody na pominięcie człowieka i automatyczne wysłanie wiadomości do klienta.

Każdy model dostał to samo zadanie

Alex napisał po hiszpańsku, że wczoraj zapłacił 29 dolarów za plan miesięczny, ale jeszcze ani razu nie skorzystał z usługi i chce zwrotu. Najlepiej, żeby pieniądze dotarły jutro. Jeśli to niemożliwe, czy w przyszłym miesiącu może dostać połowę ceny?

Informacje o zasadach firmy podaliśmy modelom po angielsku, ale poprosiliśmy o odpowiedź w języku klienta, czyli po hiszpańsku. Granice były jasno określone:

• Zakup wczoraj, usługa nieużywana: klient może złożyć wniosek o pełny zwrot zgodnie z zasadą nieużywanego zakupu dokonanego w ciągu ostatnich 72 godzin. Wniosek musi jednak sprawdzić człowiek. Nie wolno twierdzić, że zwrot został już zatwierdzony.
• Po zatwierdzeniu i przetworzeniu zwrotu pieniądze zwykle docierają w ciągu 5–10 dni roboczych od przetworzenia zwrotu. Nie można obiecać ich na jutro.
• Nie ma zgody na obniżenie ceny o połowę. Model nie może sam obiecać rabatu.
• Żaden wniosek o zwrot nie został jeszcze złożony, zatwierdzony ani przetworzony. Najpierw trzeba zapytać klienta o zgodę, a dopiero potem pracownik może przekazać wniosek do rozpatrzenia.

Te zasady nie miały utrudniać modelom zadania. W prawdziwej firmie nieuprawnione „już wszystko załatwiliśmy” albo „pieniądze na pewno dotrą jutro” może sprawić, że pracownik później poświęci więcej czasu na wyjaśnienia.

Jak zadbaliśmy o uczciwe porównanie?

Wywołaliśmy kolejno 21 modeli przez ten sam interfejs Chat Completions w API Hop, używając tego samego klucza konta i dokładnie tego samego wejścia. Kolejność została wcześniej losowo ustalona i zapisana. Każdy model otrzymał jedno wywołanie w osobnej sesji. Nie ponawialiśmy próby z powodu słabej odpowiedzi.

Dla wszystkich ustawiliśmy limit max_tokens=8192. Nie narzucaliśmy temperatury ani poziomu rozumowania, nie używaliśmy wyszukiwania w sieci, zewnętrznych narzędzi ani dodatkowych przykładów. Każdy model zachował swoje domyślne zachowanie rozumowania i rzeczywiste wykorzystanie pamięci podręcznej.

Przed oceną ukryliśmy nazwy modeli, dostawców, ceny i czas wykonania. Same oryginalne teksty hiszpańskie trafiły do niezależnej, anonimowej oceny wspomaganej przez AI. Sprawdzano kolejno język, prawo do złożenia wniosku o zwrot, stan działań, czas dotarcia pieniędzy, rabat, następny krok i zmyślone fakty. Następnie przyznawano naturalności języka ocenę 1–5.

Pełne wyniki 21 modeli

Wyniki są ułożone od najniższej do najwyższej rzeczywistej opłaty za pojedyncze wywołanie. Odpowiedź, która nie spełniła obowiązkowych zasad firmy, nie zaliczała testu, nawet jeśli dostała 4 za naturalność.

Co najbardziej się opłaca? Ciekawe wyniki

1. Najtańsza odpowiedź spełniająca kryteria: DeepSeek V4 Flash

DeepSeek V4 Flash: naturalność 4/5, obowiązkowe zasady firmy spełnione, koszt tej próby $0.0003867498.

To nas zaskoczyło, bo nie był to najtańszy model w całym teście. Tańszy Gemini 3.5 Flash Lite kosztował tylko $0.0002532150, ale pominął ważny warunek. Podał, że po zatwierdzeniu zwykle potrzeba 5–10 dni roboczych, lecz nie wyjaśnił jasno, że czas liczy się od przetworzenia zwrotu. Dlatego nie mogliśmy uznać jego odpowiedzi za w pełni poprawną.

DeepSeek V4 Flash uwzględnił prawo do złożenia wniosku, ocenę przez człowieka, brak gwarancji pieniędzy na jutro, brak rabatu w wysokości połowy ceny i konieczność potwierdzenia przez klienta. W tekście było trochę szablonowych uprzejmości, ale całość nadawała się do przekazania bez zmian człowiekowi do sprawdzenia.

Na końcu model zapytał klienta:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

Chodzi o potwierdzenie zamiaru klienta, a dopiero potem złożenie wniosku przez pracownika. Model nie twierdzi, że zwrot już załatwiono. To naszym zdaniem ważniejsze niż kilka ładnych zdań grzecznościowych.

2. Najtańszy w grupie z oceną 5: MiniMax M3

MiniMax M3: naturalność 5/5, obowiązkowe zasady firmy spełnione, koszt tej próby $0.0007448700.

Spośród czterech modeli, które spełniły kryteria i dostały 5, ten miał najniższą opłatę za wywołanie. Poniżej pełna oryginalna odpowiedź, bez zmiany sformułowań:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Podoba nam się, że e-mail jest krótki, ale jasno wyznacza granice, przy których łatwo o błąd. W szczególności nie zmienia „można wnioskować o zwrot” w „zwrot został zatwierdzony”, a na końcu wyraźnie uzależnia kolejny krok od potwierdzenia klienta.

W porównaniu z DeepSeek V4 Flash ten e-mail MiniMax M3 kosztował o $0.0003581202 więcej, a w tej anonimowej ocenie naturalność wzrosła z 4 do 5. Dla jednej wiadomości różnica jest niewielka, ale stanowi użyteczną wskazówkę, jeśli chcesz mniej szablonowych odpowiedzi. Na podstawie jednego e-maila nie możemy twierdzić, że MiniMax M3 pisze naturalniej w każdej sytuacji obsługi klienta.

3. Ta sama ocena 5 może oznaczać bardzo różne koszty

Cztery modele z naturalnością 5/5 i zgodnością z zasadami firmy to:

Porównanie jest czytelne: e-mail GPT-6 Astra kosztował około 75 razy więcej niż MiniMax M3, a oba modele dostały w tej próbie 5 za naturalność. Nie oznacza to, że mają takie same możliwości w skomplikowanych zadaniach. Pokazuje jedynie, że w tym konkretnym zadaniu obsługi klienta droższy model nie uzyskał wyższej oceny według naszych kryteriów.

Oryginalna odpowiedź GPT-6 Astra też nie jest długa:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

W przypadku tak prostego e-maila nie widzimy powodu, by upierać się przy najdroższym modelu tylko ze względu na jego pozycjonowanie. Model należy wybierać pod kątem pracy, a nie automatycznie dlatego, że uchodzi za najmocniejszy.

Co dokładnie było nie tak z pozostałymi 5 odpowiedziami?

Ten fragment jest naszym zdaniem nawet bardziej przydatny niż lista modeli z najwyższą oceną. Po wdrożeniu modelu najbardziej chcemy uniknąć nie tyle „zbyt mało wyszukanego stylu”, ile błędnego przedstawienia zasad lub składania w imieniu obsługi obietnic niemożliwych do spełnienia.

Zauważyliśmy coś nieoczywistego: Claude Opus 4.6 i Claude Fable 5 oba dostały 4 za naturalność, ale żaden nie nadawał się do przekazania od razu człowiekowi do sprawdzenia, bo dodatkowo obiecywał „natychmiastowe działanie”. Płynny język nie oznacza poprawnej treści.

Z kolei informacje o zasadach firmy w Gemini 3.7 Flash były zasadniczo poprawne, ale podział akapitów dziwny. Model przeciął nawet słowo házmelo w połowie. Problem nie dotyczył oceny zasad, lecz jakości gotowego tekstu. Dlatego rozpatrujemy osobno zgodność z zasadami firmy i naturalność języka.

Jak wybralibyśmy model do własnej obsługi klienta AI?

Nie wybieralibyśmy „najlepszego na świecie modelu do e-maili” tylko na podstawie tej tabeli. Praktyczniej jest podzielić cel na trzy poziomy:

1. Najpierw określ nieprzekraczalne zasady firmy. Model nie może obiecywać niezatwierdzonych zwrotów, terminów wpływu pieniędzy ani nieuprawnionych rabatów. Każdą odpowiedź naruszającą te granice należy zatrzymać, choćby miała świetny styl.
2. Potem sprawdź, czy oszczędza czas. Czy trzeba poprawiać układ, ton lub usuwać niewypełnione pola? Mniej ręcznych poprawek jest warte więcej niż kolejny ładny przymiotnik.
3. Na końcu porównaj rzeczywiste opłaty. Do codziennych szkiców o dość stałej formie można włączyć do testów DeepSeek V4 Flash i MiniMax M3, bo w tej próbie były tanie i spełniły kryteria. Przy bardziej złożonych zadaniach dodaj inne modele i przetestuj je osobno, zamiast kopiować tę kolejność.

Nasz wstępny wniosek: DeepSeek V4 Flash to tani kandydat spełniający kryteria, a MiniMax M3 to tani kandydat w grupie z oceną 5 w tym teście. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra i GPT-6 Astra również uzyskały 5, ale ich koszty bardzo się różnią.

Jeśli tworzysz automatyzację obsługi klienta, asystenta e-mail dla SaaS lub wsparcie wielojęzyczne, radzimy zacząć od własnych 10–20 najczęstszych pytań. Najpierw zapisz w kryteriach oceny, czego absolutnie nie wolno obiecywać, a potem porównaj jakość odpowiedzi i rachunki. Niekoniecznie potrzebujesz najmocniejszego modelu. Potrzebujesz modelu wystarczająco niezawodnego w twoich zadaniach, którego koszt da się kontrolować.

Wszystkie modele w tym teście wywołaliśmy przez API API Hop. Modele znajdziesz w katalogu modeli tekstowych API Hop, interfejsy i informacje o opłatach porównasz na stronie porównania modeli, a w dokumentacji API sprawdzisz, jak pobrać listę modeli aktualnie dostępnych dla twojego konta. Dostępność i ceny mogą się zmieniać. Kieruj się bieżącymi odpowiedziami API oraz własnymi rachunkami.

Dodatek: pełne wejście faktycznie wysłane do 21 modeli

Aby można było zweryfikować porównanie, poniżej zamieszczamy wspólny prompt bez zmian. Zwróć uwagę, że fakty o zasadach firmy i instrukcje są po angielsku, a e-mail klienta po hiszpańsku. Nie wysyłaliśmy modelom chińskiego opisu.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex