21 модель ИИ ответила на одно письмо в поддержку: как различаются качество и стоимость?

Какую модель ИИ вы выбрали бы, чтобы ответить клиенту на просьбу вернуть деньги? Самую дорогую или самую дешёвую?

Недавно мы провели небольшой эксперимент, близкий к повседневной работе: передали одно и то же письмо клиента 21 текстовой модели, и каждая ответила только один раз. Мы не выбирали лучшие попытки и не просили модели многократно переписывать текст. После генерации проверили соблюдение правил обслуживания, естественность языка и реальные списания.

В письме было три вопроса: можно ли вернуть всю сумму, поступят ли деньги завтра и можно ли получить скидку в половину стоимости на следующий месяц. Задача кажется простой. Но в письмах поддержки главная опасность часто не в грамматике, а в том, что модель ненароком даёт обещание, на которое компания не давала разрешения.

Результат оказался интересным: все 21 модель подготовили ответ, но только 16 ответов можно было без правок передать человеку на проверку перед отправкой. При использовании API API Hop самый дешёвый подходящий ответ стоил $0.0003867498, а самый дорогой ответ в этом тесте — $0.055944. Разница составляет примерно 145 раз.

Сразу уточним: мы использовали вымышленное письмо клиента. Подписка и правила возврата тоже придуманы для эксперимента и не отражают настоящую политику API Hop. «Подходящий ответ» в этой статье не означает, что мы отправили письмо реальному клиенту. Мы хотели выяснить, что модели умеют в таком сценарии и где проходят их ограничения.

Основные результаты эксперимента

Для поддержки сгенерировать текст — лишь первый шаг. Важно, правильно ли изложены факты, не вышла ли модель за пределы полномочий и придётся ли переделывать ответ.

Здесь «без правок» означает, что текст можно как есть передать человеку на проверку перед отправкой. Это не разрешение автоматически отправлять письмо клиенту, минуя человека.

Все модели получили одну и ту же задачу

Клиент Alex написал на испанском, что вчера купил месячный тариф за 29 долларов, ещё не пользовался сервисом и хочет вернуть деньги. Желательно получить их уже завтра. Если это невозможно, он просит скидку в половину стоимости на следующий месяц.

Описание правил обслуживания было на английском, но отвечать нужно было на языке клиента, то есть на испанском. Ограничения мы тоже задали явно:

• Вчерашняя покупка без использования соответствует условиям для подачи заявки на полный возврат: покупка сделана в пределах 72 часов и ещё не использована. Заявку должен проверить человек; нельзя утверждать, что возврат уже одобрен.
• Если возврат одобрен и обработан, деньги обычно поступают через 5–10 рабочих дней после обработки. Обещать поступление завтра нельзя.
• Скидка в половину стоимости не разрешена; модель не может предложить её самостоятельно.
• Ни одна заявка на возврат ещё не подана, не одобрена и не обработана. Сначала нужно получить подтверждение клиента, после чего сотрудник поддержки сможет подать заявку на рассмотрение.

Эти правила нужны не для того, чтобы усложнить моделям задачу. В реальной работе фразы «мы уже всё оформили» или «деньги точно будут завтра», написанные без оснований, могут обернуться долгими объяснениями со стороны поддержки.

Как мы обеспечили одинаковые условия?

Мы последовательно вызвали 21 модель через один и тот же интерфейс Chat Completions в API Hop, с одним ключом аккаунта и совершенно одинаковым вводом. Порядок случайным образом определили и сохранили заранее. Каждая модель получила ровно один вызов в отдельном диалоге; плохой ответ не был поводом повторять попытку.

Для всех установили предел max_tokens=8192. Температуру и интенсивность рассуждений принудительно не задавали. Поиск в интернете, внешние инструменты и дополнительные примеры не использовали. Каждая модель сохранила стандартный режим рассуждений и фактическое использование кеша.

Перед оценкой мы скрыли названия моделей, поставщиков, цену и время выполнения. Только испанский оригинал передали на независимую анонимную оценку с помощью ИИ. Проверяли язык, право подать заявку на возврат, состояние действий, сроки поступления, скидку, следующий шаг и выдуманные факты. Естественность текста оценивали по шкале 1–5.

Полные результаты 21 модели

Результаты расположены по фактической стоимости одного ответа, от меньшей к большей. Если ответ не прошёл обязательную проверку правил, мы не считали его подходящим даже при естественности 4 балла.

Какой ответ оказался выгоднее?

1. Самый дешёвый подходящий ответ: DeepSeek V4 Flash

DeepSeek V4 Flash: естественность 4/5, правила соблюдены, стоимость в этом тесте — $0.0003867498.

Нас удивило, что это не самая дешёвая модель среди всех участников. Gemini 3.5 Flash Lite стоила ещё меньше, $0.0002532150, но упустила важное условие. Она указала срок 5–10 рабочих дней после одобрения, не объяснив ясно, что отсчёт начинается после обработки возврата. Поэтому полностью подходящим этот ответ мы признать не могли.

DeepSeek V4 Flash указал право подать заявку, необходимость проверки человеком, отсутствие гарантии поступления завтра и скидки в половину стоимости, а также шаг с подтверждением клиента. Вежливые фразы местами были немного шаблонными, но в целом текст уже можно было без правок передать человеку на проверку.

В конце модель спросила клиента:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

Смысл в том, чтобы сначала подтвердить желание клиента, а затем подготовить подачу заявки сотрудником, а не объявлять возврат уже выполненным. Для нас это важнее, чем ещё несколько красивых вежливых фраз.

2. Самый дешёвый ответ среди получивших 5 баллов: MiniMax M3

MiniMax M3: естественность 5/5, правила соблюдены, стоимость в этом тесте — $0.0007448700.

Из четырёх подходящих моделей с оценкой 5 эта оказалась самой дешёвой за один ответ. Ниже приведён её полный исходный ответ без изменений формулировок:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Нам понравилось, что письмо короткое, но ясно обозначает границы, в которых легко ошибиться. В частности, «можно подать заявку на возврат» не превратилось в «возврат уже одобрен», а следующий шаг явно оставлен до подтверждения клиента.

По сравнению с DeepSeek V4 Flash этот ответ MiniMax M3 стоил на $0.0003581202 больше и получил 5 баллов за естественность вместо 4 в этой анонимной оценке. Для одного письма разница невелика, но это полезный ориентир, если хочется менее шаблонных ответов. По одному письму нельзя заключить, что MiniMax M3 звучит естественнее во всех сценариях поддержки.

3. Одинаковые 5 баллов могут стоить очень по-разному

Вот четыре модели с естественностью 5/5 и правильным изложением правил:

Наглядное сравнение: ответ GPT-6 Astra стоил примерно в 75 раз дороже ответа MiniMax M3, но обе модели получили 5 баллов за естественность. Это не значит, что их возможности одинаковы в сложных задачах. Это лишь означает, что в этом конкретном письме поддержки дорогая модель не получила более высокую оценку по нашим критериям.

Исходный ответ GPT-6 Astra тоже короткий:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

В таком простом письме мы не видим причины выбирать самую дорогую модель только из-за её позиционирования. Модель стоит подбирать под задачу, а не автоматически выбирать ту, которую называют самой мощной.

Что именно было не так с остальными 5 ответами?

Эта часть кажется нам полезнее списка отличников. Когда модель работает с реальными обращениями, важнее всего предотвратить не «недостаточно изысканный тон», а неверное изложение правил или обещания, которые поддержка не сможет выполнить.

Есть и неочевидный результат: Claude Opus 4.6 и Claude Fable 5 обе получили 4 балла за естественность, но обе нельзя было без изменений передать на проверку человеку из-за лишнего обещания «немедленного» действия. Беглый язык не равен правильному ответу.

У Gemini 3.7 Flash ситуация обратная: сведения в основном верные, но переносы выглядят странно. Модель даже разорвала слово házmelo посередине. Это ошибка не в понимании правил, а в качестве готового текста. Поэтому мы отдельно рассматриваем соблюдение правил обслуживания и естественность языка.

Что выбрали бы мы для собственной поддержки с ИИ?

Мы не стали бы по одной таблице выбирать «лучшую в мире модель для писем». Практичнее разделить решение на три уровня:

1. Сначала определить обязательные ограничения. Модель не должна обещать неутверждённые возвраты, даты поступления денег или скидки. Ответ, нарушающий эти границы, нужно остановить независимо от красоты текста.
2. Затем проверить, экономит ли ответ время. Нужно ли менять оформление, исправлять тон или удалять незаполненные поля? Сократить ручные правки полезнее, чем добавить красивое прилагательное.
3. Наконец, сравнить реальные списания. Для повседневных черновиков с относительно устойчивым форматом можно рассмотреть недорогие DeepSeek V4 Flash и MiniMax M3, прошедшие этот тест. Для более сложных задач стоит отдельно проверить и другие модели, а не переносить этот рейтинг без изменений.

Наш промежуточный вывод: DeepSeek V4 Flash — недорогой кандидат с подходящим ответом, а MiniMax M3 — самый дешёвый кандидат среди получивших 5 баллов в этом тесте. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra и GPT-6 Astra тоже получили 5 баллов, но их стоимость сильно различалась.

Если вы разрабатываете автоматизацию поддержки, помощника для писем в SaaS или многоязычную поддержку, советуем начать с 10–20 самых частых вопросов ваших клиентов. Сначала внесите в критерии оценки обещания, которые нельзя давать ни при каких условиях, затем сравните качество ответов и счета. Вам не обязательно нужна самая мощная модель. Нужна достаточно надёжная для вашей задачи модель с управляемыми расходами.

Все модели в этом тесте мы вызывали через API API Hop. Посмотрите каталог текстовых моделей API Hop, сравните интерфейсы и оплату на странице сравнения моделей или откройте документацию API, чтобы узнать, как получить список доступных вашему аккаунту моделей. Доступность и цены меняются: ориентируйтесь на текущие результаты своего API и реальные счета.

Приложение: полный ввод, отправленный 21 модели

Чтобы результаты можно было проверить, ниже публикуем общий промпт без изменений. Обратите внимание: факты об обслуживании и инструкции даны на английском, а письмо клиента — на испанском. Китайские пояснения моделям не отправлялись.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex