21 modelos de IA responden al mismo correo de soporte: ¿cuánto cambian la calidad y el coste?

Si tuvieras que responder a un cliente que pide un reembolso, ¿qué modelo de IA elegirías? ¿El más caro o el más barato?

Hace poco hicimos un experimento pequeño, pero muy cercano al trabajo diario: dimos el mismo correo de un cliente a 21 modelos de texto y dejamos que cada uno respondiera una sola vez. No escogimos los mejores resultados ni pedimos a los modelos que revisaran sus borradores una y otra vez. Después comprobamos las respuestas frente a las reglas del negocio, su naturalidad y la factura real.

El cliente preguntaba tres cosas: si podía recibir un reembolso completo, si el dinero llegaría mañana y si podía tener el mes siguiente a mitad de precio. Parece sencillo. Pero el mayor riesgo de un correo de soporte no suele ser la gramática, sino que el modelo haga, casi de pasada, una promesa que la empresa nunca ha autorizado.

El resultado fue interesante: los 21 modelos generaron una respuesta completa, pero solo 16 respuestas cumplían nuestro criterio para pasar sin cambios a una persona que las revisara antes del envío. A través de la API de API Hop, la respuesta apta más barata costó solo $0.0003867498. La más cara del experimento costó $0.055944, unas 145 veces más.

Una aclaración: se trataba de un correo de cliente simulado. El producto de suscripción y las reglas de reembolso también se inventaron para el experimento; no representan la política real de reembolsos de API Hop. Decir que una respuesta es «apta» tampoco significa que la enviáramos a un cliente real. Queríamos conocer las capacidades y los límites actuales de los modelos en este escenario.

Qué encontramos en el experimento

En atención al cliente, generar texto es solo el primer paso. Lo importante es que diga los hechos correctamente, no se atribuya facultades que no tiene y no obligue a rehacer el trabajo.

Aquí, «sin cambios» significa que el borrador puede pasar tal cual a una persona para su revisión antes del envío. No significa que el sistema pueda saltarse la revisión humana y enviarlo directamente al cliente.

Todos los modelos recibieron la misma tarea

Alex escribió en español: ayer había pagado 29 USD por un plan mensual, no lo había usado y quería un reembolso. Prefería tener el dinero mañana. Si no era posible, preguntaba por un descuento de la mitad para el mes siguiente.

Las instrucciones del negocio estaban en inglés, pero pedimos al modelo que respondiera en el idioma del cliente, el español. Los límites también eran explícitos:

• Compra de ayer y sin uso: cumplía los requisitos para solicitar un reembolso completo por una compra no utilizada dentro del plazo de 72 horas. Aun así, requería revisión humana; no se podía decir que el reembolso ya estuviera aprobado.
• Si se aprobaba y procesaba, el dinero solía llegar 5–10 días hábiles después de procesar el reembolso. No se podía prometer que llegaría mañana.
• No había autorización para ofrecer un descuento de la mitad. El modelo no podía concederlo por su cuenta.
• No se había enviado, aprobado ni procesado ninguna solicitud de reembolso. Primero había que pedir la confirmación del cliente y, después, un agente humano podía presentar la solicitud para revisión.

Estas reglas no pretendían poner trampas a los modelos. En un negocio real, un correo que diga sin autorización «ya lo hemos resuelto» o «seguro que tienes el dinero mañana» puede dejar al equipo de soporte mucho más trabajo de explicación.

¿Cómo hicimos que la prueba fuera justa?

Llamamos a los 21 modelos a través del mismo endpoint Chat Completions de API Hop, con la misma clave de cuenta y exactamente la misma entrada. Las llamadas se hicieron una tras otra, en un orden aleatorio guardado de antemano. Cada modelo recibió una sola llamada en una sesión independiente: una mala respuesta no daba lugar a un segundo intento.

Fijamos el mismo límite de max_tokens=8192, sin imponer temperatura ni intensidad de razonamiento. Tampoco usamos búsquedas web, herramientas externas o ejemplos adicionales. Cada modelo mantuvo su comportamiento de razonamiento predeterminado y su uso real de la caché.

Para evaluar, ocultamos nombres de modelos, proveedores, precios y tiempos. Solo las respuestas originales en español pasaron a una evaluación anónima independiente asistida por IA. Se revisaron idioma, requisitos del reembolso, estado de las acciones, plazo de llegada, descuentos, siguiente paso y posibles hechos inventados. Después se puntuó la naturalidad del 1–5.

Resultados completos de los 21 modelos

La tabla está ordenada por cargo real por respuesta, de menor a mayor. Una respuesta que no superara las comprobaciones obligatorias de negocio no se consideraba apta, aunque lograra 4 puntos de naturalidad.

¿Qué modelos ofrecieron mejor relación entre calidad y precio?

1. La respuesta apta más barata: DeepSeek V4 Flash

DeepSeek V4 Flash: naturalidad 4/5, comprobaciones obligatorias de negocio superadas, coste en esta prueba $0.0003867498.

Nos sorprendió, porque no era el modelo más barato de todos. Gemini 3.5 Flash Lite costó menos, $0.0002532150, pero omitió una condición importante: mencionó el plazo habitual de 5–10 días hábiles después de la aprobación sin explicar claramente que el plazo empieza después de procesar el reembolso. Por eso no pudimos considerar su respuesta plenamente apta.

DeepSeek V4 Flash sí cubrió los requisitos, la revisión humana, la imposibilidad de garantizar la llegada mañana, la ausencia de descuento y la confirmación del cliente. Algunas fórmulas de cortesía sonaban un poco a plantilla, pero el borrador podía pasar tal cual a revisión humana.

Al final preguntaba al cliente:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

Es decir, pedía primero confirmar la intención del cliente y luego preparaba el envío de la solicitud por parte de una persona, en lugar de afirmar que el reembolso ya estaba hecho. Nos parece más importante que añadir un par de frases amables.

2. El más barato del grupo de 5 puntos: MiniMax M3

MiniMax M3: naturalidad 5/5, comprobaciones obligatorias de negocio superadas, coste en esta prueba $0.0007448700.

Entre los cuatro modelos aptos que obtuvieron 5 puntos, fue el de menor cargo por respuesta. Esta es su respuesta original completa, sin modificar la redacción:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Nos gustó que el correo fuera breve y, aun así, dejara claros varios límites fáciles de pasar por alto. En especial, no convirtió «puedes solicitar un reembolso» en «tu reembolso está aprobado», y dejó el siguiente paso expresamente pendiente de la confirmación del cliente.

Esta respuesta de MiniMax M3 costó $0.0003581202 más que la de DeepSeek V4 Flash, mientras que su naturalidad pasó de 4 a 5 puntos en esta evaluación anónima. La diferencia económica es mínima para un solo correo, pero resulta útil si buscas respuestas que suenen menos a plantilla. No podemos concluir, por un único correo, que MiniMax M3 sea más natural en todos los escenarios de soporte.

3. La misma puntuación de 5 puede tener costes muy distintos

Los cuatro modelos con naturalidad de 5/5 y que respetaron las reglas del negocio fueron:

La comparación es clara: la respuesta de GPT-6 Astra costó unas 75 veces más que la de MiniMax M3, pero ambos empataron con 5 puntos de naturalidad en esta prueba. No significa que tengan las mismas capacidades para trabajos complejos. Solo indica que, en esta tarea concreta de soporte, el modelo caro no obtuvo una puntuación superior con nuestros criterios.

La respuesta original de GPT-6 Astra tampoco era larga:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

Para este correo sencillo, no vemos motivo para insistir en el modelo más caro basándonos solo en su posicionamiento. La elección debería responder al trabajo que hay que hacer, no a escoger automáticamente el modelo que se presenta como el más potente.

¿Qué problemas tenían las otras 5 respuestas?

Esta parte nos pareció más útil que la lista de puntuaciones máximas. Cuando el modelo entra en uso real, lo que más queremos evitar no es un tono poco sofisticado, sino que explique mal una política o haga promesas que el equipo de soporte no pueda cumplir.

Algo parecía contradictorio: Claude Opus 4.6 y Claude Fable 5 obtuvieron ambos 4 puntos de naturalidad, pero ninguno podía pasar directamente a revisión humana por la promesa adicional de actuar de inmediato. Fluidez no equivale a corrección.

Con Gemini 3.7 Flash ocurrió lo contrario. La información del negocio era básicamente correcta, pero los párrafos se cortaban de forma extraña e incluso partía házmelo por la mitad. El problema no era su interpretación de las reglas, sino la calidad del borrador final. Por eso evaluamos por separado el cumplimiento de las reglas del negocio y la naturalidad de la expresión.

¿Cómo elegiríamos un modelo para nuestro propio soporte con IA?

No usaríamos esta tabla, por sí sola, para nombrar al «mejor modelo del mundo para correos». Es más práctico dividir la decisión en tres niveles:

1. Primero, definir los límites del negocio. El modelo no debe prometer reembolsos no aprobados, fechas de llegada ni descuentos. Hay que frenar cualquier respuesta que cruce esas líneas, por bien escrita que esté.
2. Después, comprobar si ahorra tiempo. ¿Hay que rehacer el formato, corregir el tono o borrar marcadores sin completar? Reducir las correcciones humanas es más útil que añadir otro adjetivo elegante.
3. Por último, comparar los cargos reales. Para borradores cotidianos con un formato bastante estable, DeepSeek V4 Flash y MiniMax M3 merecen entrar en la selección por sus respuestas aptas y baratas en esta prueba. Si el trabajo es más complejo, conviene añadir otros modelos y hacer pruebas específicas, no trasladar esta clasificación sin más.

Nuestra conclusión provisional es: DeepSeek V4 Flash es un candidato apto de bajo coste, y MiniMax M3 es la opción de bajo coste del grupo de 5 puntos de esta prueba. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra y GPT-6 Astra también lograron 5 puntos, pero con costes muy diferentes.

Si desarrollas automatización de soporte, un asistente de correo para SaaS o atención multilingüe, recomendamos empezar por tus 10–20 preguntas más frecuentes. Escribe primero qué promesas nunca deben hacerse y, después, compara la calidad de las respuestas y las facturas. No necesitas necesariamente el modelo más potente, sino uno lo bastante fiable para tus tareas y con un coste que puedas controlar.

Llamamos a todos los modelos de esta prueba mediante la API de API Hop. Puedes consultarlos en el directorio de modelos de texto de API Hop, comparar API y facturación en la página de comparación de modelos o leer en la documentación de la API cómo consultar los modelos disponibles para tu cuenta. La disponibilidad y los precios cambian: toma como referencia tus resultados actuales de la API y tus propias facturas.

Apéndice: la entrada completa que enviamos a los 21 modelos

Para que la comparación pueda revisarse, reproducimos a continuación el prompt común tal como se usó. Los hechos del negocio y las instrucciones están en inglés, mientras que el correo del cliente está en español. No enviamos a los modelos las explicaciones en chino.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex