Nếu cần trả lời email xin hoàn tiền của khách hàng, bạn sẽ chọn mô hình AI nào? Mô hình đắt nhất hay rẻ nhất?
Gần đây, chúng tôi làm một thử nghiệm nhỏ nhưng khá sát với công việc hằng ngày: gửi cùng một email khách hàng cho 21 mô hình văn bản, mỗi mô hình chỉ trả lời một lần. Chúng tôi không chọn ra bản đẹp nhất, cũng không yêu cầu mô hình sửa đi sửa lại. Sau khi tạo câu trả lời, chúng tôi đối chiếu với quy định nghiệp vụ, rồi xem độ tự nhiên và chi phí thực tế.
Trong email, khách hàng hỏi ba điều: có được hoàn tiền toàn bộ không, tiền có về vào ngày mai không và tháng sau có được giảm một nửa giá không. Nghe có vẻ đơn giản, nhưng lỗi dễ gặp nhất trong email chăm sóc khách hàng thường không nằm ở ngữ pháp. Đó là khi mô hình vô tình đưa ra lời hứa mà công ty chưa hề cho phép.
Kết quả khá thú vị: cả 21 mô hình đều trả lời đầy đủ, nhưng chỉ 16 bản đạt tiêu chuẩn không cần sửa và có thể chuyển nguyên văn cho nhân viên duyệt trước khi gửi. Qua API của API Hop, câu trả lời đạt yêu cầu rẻ nhất chỉ tốn $0.0003867498; email đắt nhất trong lần thử này tốn $0.055944, chênh lệch khoảng 145 lần.
Cần nói rõ: đây là email khách hàng giả lập. Gói thuê bao và quy định hoàn tiền cũng được đặt ra cho thử nghiệm, không phải chính sách hoàn tiền thực tế của API Hop. “Đạt yêu cầu” trong bài cũng không có nghĩa là chúng tôi đã gửi email cho khách hàng thật. Chúng tôi chỉ muốn tìm hiểu giới hạn hiện tại của các mô hình trong tình huống này.
Kết quả chính của thử nghiệm
| Chỉ số | Kết quả thực tế |
|---|---|
| Số mô hình tham gia | 21 |
| Nhận được câu trả lời đầy đủ | 21/21 |
| Vượt qua toàn bộ kiểm tra nghiệp vụ bắt buộc | 18/21 |
| Đúng nghiệp vụ, độ tự nhiên ít nhất 4 điểm, chuyển cho nhân viên duyệt mà không cần sửa | 16/21 |
| Độ tự nhiên 5/5 và đúng nghiệp vụ | 4 |
| Không vượt qua kiểm tra nghiệp vụ bắt buộc | 3 |
| Đúng nghiệp vụ nhưng vẫn cần sửa cách diễn đạt hoặc trình bày | 2 |
| Tổng chi phí thực tế của 21 lượt tạo câu trả lời chính | $0.1786551603 |
Với chăm sóc khách hàng, tạo được văn bản mới chỉ là bước đầu. Điều quan trọng là nội dung có đúng sự thật không, có vượt quá thẩm quyền không và có cần làm lại không.
Ở đây, “không cần sửa” có nghĩa là có thể chuyển nguyên văn cho nhân viên duyệt trước khi gửi, không phải cho phép hệ thống bỏ qua con người và gửi thẳng cho khách hàng.
Mọi mô hình đều nhận cùng một đề bài
Khách hàng Alex viết bằng tiếng Tây Ban Nha, cho biết hôm qua vừa trả 29 USD cho một gói tháng nhưng chưa sử dụng lần nào và muốn được hoàn tiền. Alex muốn nhận tiền ngay ngày mai; nếu không được thì tháng sau có thể giảm một nửa giá không?
Chúng tôi cung cấp thông tin nghiệp vụ bằng tiếng Anh nhưng yêu cầu mô hình trả lời bằng ngôn ngữ của khách hàng, tức tiếng Tây Ban Nha. Giới hạn nghiệp vụ cũng được nêu rõ:
- Mua hôm qua và chưa sử dụng: đủ điều kiện gửi yêu cầu hoàn tiền toàn bộ theo quy định mua trong vòng 72 giờ và chưa sử dụng, nhưng phải được nhân viên xét duyệt; không được nói rằng yêu cầu đã được chấp thuận.
- Nếu yêu cầu được chấp thuận và khoản hoàn tiền được xử lý, tiền thường về sau khi xử lý từ 5–10 ngày làm việc; không được hứa tiền về ngày mai.
- Không có ưu đãi giảm một nửa giá nào được cho phép; không được tự ý đồng ý giảm giá.
- Hiện chưa có yêu cầu hoàn tiền nào được gửi, chấp thuận hay xử lý; trước tiên phải hỏi ý kiến khách hàng, sau đó nhân viên mới gửi yêu cầu để xét duyệt.
Những quy tắc này không nhằm làm khó mô hình. Trong thực tế, nếu email tự ý nói “chúng tôi đã xử lý xong cho bạn” hoặc “chắc chắn ngày mai tiền sẽ về”, nhân viên có thể phải mất nhiều thời gian hơn để giải thích về sau.
Chúng tôi làm gì để so sánh công bằng?
Chúng tôi lần lượt gọi 21 mô hình qua cùng API Chat Completions của API Hop, dùng cùng khóa tài khoản và đầu vào hoàn toàn giống nhau, theo thứ tự ngẫu nhiên đã lưu trước. Mỗi mô hình chỉ được gọi một lần trong phiên riêng, không thử lại chỉ vì câu trả lời chưa tốt.
Chúng tôi đặt cùng giới hạn max_tokens=8192, không ép giá trị nhiệt độ hay mức suy luận, không dùng tìm kiếm web, công cụ bên ngoài hoặc ví dụ bổ sung. Mỗi mô hình giữ cách suy luận mặc định và mức sử dụng bộ nhớ đệm thực tế của mình.
Khi đánh giá, chúng tôi ẩn tên mô hình, nhà cung cấp, giá và thời gian chạy. Chỉ bản gốc tiếng Tây Ban Nha được đưa vào đánh giá ẩn danh độc lập có AI hỗ trợ: kiểm tra lần lượt ngôn ngữ, điều kiện yêu cầu hoàn tiền, trạng thái xử lý, thời gian tiền về, giảm giá, bước tiếp theo và việc bịa thông tin, sau đó chấm độ tự nhiên từ 1–5 điểm.
Kết quả đầy đủ của 21 mô hình
Bảng được sắp theo chi phí thực tế của mỗi lượt gọi, từ thấp đến cao. Câu trả lời không vượt qua kiểm tra nghiệp vụ bắt buộc sẽ không được tính là đạt yêu cầu, dù độ tự nhiên được 4 điểm.
| Mô hình | Kiểm tra nghiệp vụ bắt buộc | Độ tự nhiên | Chuyển cho nhân viên duyệt, không cần sửa | Chi phí mỗi lượt (USD) |
|---|---|---|---|---|
gemini-3.5-flash-lite | Không đạt | 4/5 | Cần sửa nhẹ | $0.0002532150 |
deepseek-v4-flash | Đạt | 4/5 | Có | $0.0003867498 |
gemini-3.7-flash | Đạt | 2/5 | Cần sửa nhiều | $0.0004511625 |
minimax-m3 | Đạt | 5/5 | Có | $0.0007448700 |
gpt-5.6-sol | Đạt | 5/5 | Có | $0.0013320000 |
gemini-4-argon | Đạt | 4/5 | Có | $0.0016960000 |
gemini-3.6-flash | Đạt | 4/5 | Có | $0.0023092875 |
gemini-3.8-flash | Đạt | 4/5 | Có | $0.0024049125 |
claude-sonnet-5 | Đạt | 3/5 | Cần sửa nhẹ | $0.0030723000 |
deepseek-v4-pro | Đạt | 4/5 | Có | $0.0052549130 |
claude-sonnet-5-5 | Đạt | 4/5 | Có | $0.0056155000 |
claude-opus-4-6 | Không đạt | 4/5 | Cần sửa nhẹ | $0.0057062500 |
claude-opus-4-8 | Đạt | 4/5 | Có | $0.0070647500 |
claude-opus-4-7 | Đạt | 4/5 | Có | $0.0077220000 |
claude-opus-5 | Đạt | 4/5 | Có | $0.0080382500 |
claude-opus-5-5 | Đạt | 4/5 | Có | $0.0096030000 |
gpt-5.6-terra | Đạt | 5/5 | Có | $0.0112116000 |
kimi-k3 | Đạt | 4/5 | Có | $0.0144354000 |
claude-fable-5 | Không đạt | 4/5 | Cần sửa nhẹ | $0.0151415000 |
claude-fable-5-1 | Đạt | 4/5 | Có | $0.0202675000 |
gpt-6-astra | Đạt | 5/5 | Có | $0.0559440000 |
Mô hình nào đáng tiền nhất? Kết quả khá thú vị
1. Câu trả lời đạt yêu cầu rẻ nhất: DeepSeek V4 Flash
DeepSeek V4 Flash: độ tự nhiên 4/5, vượt qua kiểm tra nghiệp vụ bắt buộc, chi phí lần này $0.0003867498.
Điều này khiến chúng tôi khá bất ngờ: đây không phải mô hình rẻ nhất trong toàn bộ thử nghiệm. Gemini 3.5 Flash Lite rẻ hơn, chỉ tốn $0.0002532150, nhưng bỏ sót một điều kiện quan trọng. Nó nói thường cần 5–10 ngày làm việc sau khi được chấp thuận, nhưng không nêu rõ rằng thời gian được tính từ khi khoản hoàn tiền đã được xử lý. Vì vậy, chúng tôi không thể xem đó là câu trả lời hoàn toàn đạt yêu cầu.
DeepSeek V4 Flash nêu đủ điều kiện yêu cầu hoàn tiền, xét duyệt của nhân viên, việc không thể đảm bảo tiền về ngày mai, không có ưu đãi giảm một nửa giá và bước xác nhận của khách hàng. Câu trả lời hơi có nét xã giao theo mẫu, nhưng nhìn chung đã có thể chuyển nguyên văn cho nhân viên duyệt.
Cuối email, mô hình hỏi khách hàng:
¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.
Ý là xác nhận mong muốn của khách hàng trước, rồi mới để nhân viên gửi yêu cầu, chứ không khẳng định đã hoàn tiền xong. Chúng tôi cho rằng điều này quan trọng hơn vài câu chào hỏi bóng bẩy.
2. Rẻ nhất trong nhóm 5 điểm: MiniMax M3
MiniMax M3: độ tự nhiên 5/5, vượt qua kiểm tra nghiệp vụ bắt buộc, chi phí lần này $0.0007448700.
Trong bốn mô hình đạt yêu cầu và được 5 điểm, đây là mô hình có chi phí mỗi lượt thấp nhất. Dưới đây là toàn bộ câu trả lời gốc, không chỉnh sửa lời văn:
Hola, Alex:
Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.
Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.
¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.
Saludos,
Equipo de atención al clienteĐiều chúng tôi thích ở email này là nó ngắn nhưng nói rõ những giới hạn dễ bị hiểu sai. Đặc biệt, nó không biến “có thể yêu cầu hoàn tiền” thành “đã được chấp thuận hoàn tiền”, và ở cuối vẫn để khách hàng xác nhận trước khi thực hiện bước tiếp theo.
So với DeepSeek V4 Flash, email này của MiniMax M3 tốn thêm $0.0003581202, trong khi độ tự nhiên ở lần đánh giá ẩn danh này tăng từ 4 lên 5 điểm. Với một email, chênh lệch này rất nhỏ, nhưng có giá trị tham khảo nếu bạn muốn câu trả lời bớt máy móc. Chúng tôi không thể dựa vào một email để kết luận MiniMax M3 tự nhiên hơn trong mọi tình huống chăm sóc khách hàng.
3. Cùng đạt 5 điểm nhưng chi phí có thể rất khác
Bốn mô hình có độ tự nhiên 5/5 và đúng nghiệp vụ là:
| Mô hình | Độ tự nhiên | Chi phí lần này | Ước tính 1,000 email theo mức sử dụng lần này |
|---|---|---|---|
| MiniMax M3 | 5/5 | $0.0007448700 | $0.7448700 |
| ChatGPT-5.6 Sol | 5/5 | $0.0013320000 | $1.3320000 |
| ChatGPT-5.6 Terra | 5/5 | $0.0112116000 | $11.2116000 |
| GPT-6 Astra | 5/5 | $0.0559440000 | $55.9440000 |
Một so sánh rất rõ: email của GPT-6 Astra tốn khoảng 75 lần MiniMax M3, nhưng cả hai đều được 5 điểm về độ tự nhiên trong lần thử này. Điều đó không có nghĩa là chúng có năng lực ngang nhau với công việc phức tạp. Nó chỉ cho thấy rằng, với đúng đề bài email chăm sóc khách hàng này, mô hình đắt hơn không đạt điểm cao hơn theo tiêu chí của chúng tôi.
Câu trả lời gốc của GPT-6 Astra cũng không dài:
Hola, Alex:
Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.
Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.
¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?
Gracias y un saludo.Với email đơn giản này, chúng tôi không thấy lý do gì để nhất quyết chọn mô hình đắt nhất chỉ vì vị thế của nó. Nên chọn mô hình theo công việc cần làm, thay vì mặc nhiên chọn vì nó được xem là mạnh nhất.
Cụ thể, 5 câu trả lời còn lại có vấn đề gì?
Chúng tôi thấy phần này còn hữu ích hơn danh sách điểm tối đa. Khi đưa mô hình vào sử dụng thật, điều cần tránh nhất không phải là “giọng văn chưa đủ hay”, mà là nói sai chính sách hoặc thay nhân viên hứa những điều không thể thực hiện.
| Mô hình | Vấn đề | Vì sao cần sửa |
|---|---|---|
| Gemini 3.5 Flash Lite | Chưa nêu đầy đủ mốc bắt đầu tính thời gian tiền về | Không nói rõ 5–10 ngày làm việc được tính sau khi xử lý khoản hoàn tiền; dù độ tự nhiên là 4/5, vẫn không vượt qua kiểm tra nghiệp vụ bắt buộc. |
| Claude Opus 4.6 | Tự ý hứa xử lý ngay | Câu trả lời viết un agente la tramitará de inmediato (nhân viên sẽ xử lý ngay); thông tin nghiệp vụ gốc không cho phép hứa thời gian như vậy. |
| Claude Fable 5 | Tự ý hứa gửi yêu cầu ngay | Câu trả lời viết uno de nuestros agentes la enviará de inmediato (một nhân viên sẽ gửi ngay); điều này cũng vượt quá thông tin được cung cấp. |
| Gemini 3.7 Flash | Xuống dòng nghiêm trọng và còn chỗ trống ở chữ ký | Nội dung đáp ứng quy định nghiệp vụ, nhưng các từ tiếng Tây Ban Nha bị tách thành nhiều dòng và còn [Tu Nombre/Equipo de Soporte], nên cần chỉnh sửa nhiều. |
| Claude Sonnet 5 | Một số cách diễn đạt tiếng Tây Ban Nha còn gượng | Vượt qua kiểm tra nghiệp vụ bắt buộc, nhưng cách liên kết thời gian với tình trạng “chưa sử dụng” trong ya que fue dentro de las 72 horas sin uso chưa tự nhiên, cần sửa nhẹ câu văn. |
Có một điểm hơi trái với trực giác: Claude Opus 4.6 và Claude Fable 5 đều được 4 điểm về độ tự nhiên, nhưng đều không thể chuyển thẳng cho nhân viên duyệt vì đã tự ý hứa “xử lý ngay”. Trôi chảy không đồng nghĩa với chính xác.
Ngược lại, Gemini 3.7 Flash đưa thông tin nghiệp vụ về cơ bản là đúng, nhưng xuống đoạn rất lạ, thậm chí tách đôi từ házmelo. Vấn đề không nằm ở cách hiểu nghiệp vụ mà ở chất lượng bản hoàn chỉnh. Đó cũng là lý do chúng tôi tách việc tuân thủ quy định nghiệp vụ khỏi độ tự nhiên của cách diễn đạt.
Nếu tự xây dựng AI chăm sóc khách hàng, chúng tôi sẽ chọn thế nào?
Chúng tôi sẽ không chỉ dựa vào bảng này để chọn “mô hình viết email giỏi nhất thế giới”. Cách thiết thực hơn là chia mục tiêu thành ba lớp:
- Trước hết, xác định giới hạn nghiệp vụ. Không cho phép mô hình hứa hoàn tiền chưa được duyệt, hẹn ngày tiền về hoặc đưa ưu đãi chưa được phép. Câu trả lời vượt các giới hạn này phải bị chặn, dù văn phong hay đến đâu.
- Tiếp theo, xem có tiết kiệm thời gian không. Chẳng hạn, có cần sửa bố cục, chỉnh giọng văn hay xóa chỗ trống chưa điền không? Giảm công sửa của nhân viên hữu ích hơn việc thêm một tính từ đẹp.
- Cuối cùng, đối chiếu chi phí thực tế. Với bản nháp thường ngày có định dạng tương đối ổn định, có thể đưa DeepSeek V4 Flash và MiniMax M3, hai lựa chọn rẻ và đạt yêu cầu lần này, vào danh sách thử. Nếu nghiệp vụ phức tạp hơn, hãy bổ sung mô hình khác và thử riêng, thay vì áp nguyên thứ hạng này.
Kết luận tạm thời của chúng tôi là: DeepSeek V4 Flash là ứng viên chi phí thấp đạt yêu cầu; MiniMax M3 là ứng viên chi phí thấp trong nhóm 5 điểm lần này. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra và GPT-6 Astra cũng được 5 điểm, nhưng chi phí chênh lệch rất lớn.
Nếu bạn đang làm tự động hóa chăm sóc khách hàng, trợ lý email SaaS hoặc hỗ trợ đa ngôn ngữ, chúng tôi khuyên bạn bắt đầu từ 10–20 câu hỏi thường gặp nhất của chính mình. Hãy ghi rõ những điều tuyệt đối không được hứa vào quy tắc đánh giá trước, rồi mới so sánh chất lượng câu trả lời và hóa đơn. Bạn không nhất thiết cần mô hình mạnh nhất, mà cần mô hình đủ đáng tin cậy cho công việc của mình, với chi phí kiểm soát được.
Chúng tôi gọi tất cả mô hình trong thử nghiệm qua API API Hop. Bạn có thể xem mô hình trong danh mục mô hình văn bản API Hop, so sánh API và thông tin tính phí ở trang so sánh mô hình, hoặc đọc tài liệu API để biết cách truy vấn các mô hình hiện có cho tài khoản của mình. Danh sách mô hình và giá có thể thay đổi; hãy căn cứ vào API trực tiếp và hóa đơn của chính bạn.
Phụ lục: toàn bộ đầu vào thực tế gửi cho 21 mô hình
Để có thể kiểm tra lại phép so sánh này, chúng tôi giữ nguyên lời nhắc chung bên dưới. Lưu ý: thông tin nghiệp vụ và chỉ dẫn bằng tiếng Anh, còn email khách hàng bằng tiếng Tây Ban Nha. Chúng tôi không gửi phần giải thích tiếng Trung cho mô hình.
Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.
Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.
[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.
[CUSTOMER EMAIL]
Subject: Solicitud de reembolso
Hola,
Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.
¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?
Gracias por la ayuda,
Alex