21 AI मॉडल से एक ही ग्राहक सेवा ईमेल का जवाब लिया: गुणवत्ता और लागत में कितना अंतर?

किसी ग्राहक के रिफंड वाले ईमेल का जवाब देना हो, तो आप कौन-सा AI मॉडल चुनेंगे? सबसे महंगा या सबसे सस्ता?

हाल ही में हमने एक छोटा-सा प्रयोग किया, जो रोजमर्रा के काम से काफी मिलता-जुलता है: ग्राहक का एक ही ईमेल 21 टेक्स्ट मॉडल को दिया और हर मॉडल से सिर्फ एक बार जवाब लिया। हमने सबसे अच्छा दिखने वाला जवाब नहीं चुना और न ही बार-बार मसौदा सुधरवाया। जवाब बनने के बाद पहले उसे कारोबार के नियमों से मिलाया, फिर भाषा की सहजता और असली बिल देखा।

ईमेल में ग्राहक ने तीन बातें पूछी थीं: क्या पूरा पैसा वापस मिल सकता है, क्या वह कल तक खाते में आ सकता है, और क्या अगले महीने आधी कीमत पर सेवा मिल सकती है? सुनने में आसान लगता है, लेकिन ग्राहक सेवा के ईमेल में सबसे बड़ा जोखिम अक्सर व्याकरण नहीं होता। समस्या तब होती है जब मॉडल अनजाने में ऐसा वादा कर देता है जिसकी कंपनी ने अनुमति ही नहीं दी है।

नतीजा दिलचस्प था: सभी 21 मॉडल ने पूरा जवाब दिया, लेकिन सिर्फ 16 जवाब ऐसे थे जिन्हें बिना बदलाव के भेजने से पहले इंसानी समीक्षा के लिए दिया जा सकता था। API Hop API पर सबसे सस्ते योग्य जवाब की लागत केवल $0.0003867498 थी। इस प्रयोग का सबसे महंगा ईमेल $0.055944 का पड़ा, यानी लगभग 145 गुना अंतर।

पहले यह स्पष्ट कर दें: यह ग्राहक का काल्पनिक ईमेल था। सदस्यता वाला उत्पाद और रिफंड के नियम भी प्रयोग के लिए बनाए गए थे। वे API Hop की वास्तविक रिफंड नीति नहीं हैं। यहां “योग्य” कहने का मतलब यह भी नहीं है कि हमने ईमेल किसी असली ग्राहक को भेज दिया। हम सिर्फ यह देखना चाहते थे कि इस स्थिति में आज के मॉडल कहां तक सक्षम हैं।

पहले प्रयोग के मुख्य नतीजे देखें

ग्राहक सेवा में शब्द लिख देना सिर्फ पहला कदम है। असल सवाल यह है कि क्या उनमें तथ्य सही हैं, क्या मॉडल ने अपने अधिकार से बाहर कोई बात कही है, और क्या दोबारा काम करना पड़ेगा।

यहां “बिना संशोधन” का मतलब है जवाब को जस का तस भेजने से पहले किसी व्यक्ति की समीक्षा के लिए देना। इसका मतलब यह नहीं है कि सिस्टम इंसानी समीक्षा छोड़कर सीधे ग्राहक को भेज सकता है।

हमने सभी मॉडल को एक ही सवाल दिया

Alex ने स्पेनिश में लिखा कि कल ही मासिक प्लान के लिए 29 अमेरिकी डॉलर दिए थे, लेकिन अभी एक बार भी सेवा इस्तेमाल नहीं की और पैसे वापस चाहिए। बेहतर होगा कि पैसे कल ही मिल जाएं; अगर ऐसा न हो सके, तो क्या अगले महीने आधी कीमत मिल सकती है?

हमने मॉडल को कारोबार की जानकारी अंग्रेजी में दी, लेकिन ग्राहक की भाषा, यानी स्पेनिश में जवाब देने को कहा। सीमाएं भी साफ थीं:

• खरीद कल हुई और सेवा इस्तेमाल नहीं हुई: 72 घंटे के भीतर हुई, इस्तेमाल न की गई खरीद के लिए पूरा रिफंड मांगने की पात्रता है। लेकिन इंसानी समीक्षा जरूरी है; यह नहीं कहा जा सकता कि रिफंड मंजूर हो चुका है।
• रिफंड मंजूर होने और उसकी प्रक्रिया पूरी होने पर पैसे आम तौर पर प्रक्रिया पूरी होने के 5–10 कार्यदिवस बाद पहुंचते हैं। कल पैसे आने का वादा नहीं किया जा सकता।
• आधी कीमत की छूट की अनुमति नहीं है। मॉडल खुद से छूट देने का वादा नहीं कर सकता।
• अभी तक रिफंड का कोई अनुरोध भेजा, मंजूर या प्रोसेस नहीं किया गया है। पहले ग्राहक की सहमति पूछनी है; उसके बाद ग्राहक सेवा कर्मचारी अनुरोध समीक्षा के लिए भेज सकता है।

इन नियमों का मकसद मॉडल को उलझाना नहीं था। असली काम में अगर ईमेल बिना आधार कह दे कि “हमने आपका काम कर दिया है” या “कल पैसे जरूर आ जाएंगे”, तो बाद में कर्मचारी को समझाने में और समय लग सकता है।

तुलना निष्पक्ष रखने के लिए हमने क्या किया?

हमने API Hop के एक ही Chat Completions API, एक ही खाते की कुंजी और बिल्कुल एक जैसे इनपुट से 21 मॉडल को बारी-बारी कॉल किया। क्रम पहले से यादृच्छिक रूप से तय करके सहेजा गया था। हर मॉडल की अलग बातचीत में केवल एक कॉल हुई; जवाब खराब होने पर दोबारा मौका नहीं दिया गया।

सबके लिए सीमा max_tokens=8192 रखी गई। हमने temperature या तर्क करने की तीव्रता तय नहीं की और न ही वेब खोज, बाहरी टूल या अतिरिक्त उदाहरण इस्तेमाल किए। हर मॉडल का डिफॉल्ट तर्क करने का तरीका और वास्तविक कैश उपयोग जस का तस रहा।

मूल्यांकन से पहले हमने मॉडल का नाम, प्रदाता, कीमत और लगा समय छिपा दिया। केवल मूल स्पेनिश जवाब AI की मदद से स्वतंत्र, मॉडल की पहचान छिपाकर किए गए मूल्यांकन में दिया गया। इसमें भाषा, रिफंड मांगने की पात्रता, कार्रवाई की स्थिति, पैसे पहुंचने का समय, छूट, अगला कदम और गढ़े हुए तथ्यों की जांच हुई। फिर भाषा की सहजता को 1–5 अंक दिए गए।

सभी 21 मॉडल के पूरे नतीजे

तालिका हर कॉल के वास्तविक शुल्क के अनुसार, कम से ज्यादा क्रम में है। कारोबार के अनिवार्य नियमों में असफल जवाब को योग्य नहीं माना गया, भले ही सहजता में उसे 4 अंक मिले हों।

किसमें पैसे का सबसे अच्छा उपयोग हुआ? नतीजा दिलचस्प है

1. सबसे सस्ता योग्य जवाब: DeepSeek V4 Flash

DeepSeek V4 Flash: सहजता 4/5, अनिवार्य कारोबारी जांच में सफल, इस बार की लागत $0.0003867498।

यह हमें हैरान करने वाला लगा, क्योंकि यह सभी मॉडल में सबसे सस्ता नहीं था। उससे सस्ते Gemini 3.5 Flash Lite की लागत सिर्फ $0.0002532150 थी, लेकिन उसने एक जरूरी शर्त छोड़ दी। उसने मंजूरी के बाद आम तौर पर 5–10 कार्यदिवस लगने की बात कही, पर साफ नहीं बताया कि गिनती रिफंड की प्रक्रिया पूरी होने के बाद शुरू होती है। इसलिए हम उसे पूरी तरह योग्य नहीं मान सकते थे।

DeepSeek V4 Flash ने रिफंड मांगने की पात्रता, इंसानी समीक्षा, कल पैसे आने की गारंटी न होना, आधी कीमत की छूट उपलब्ध न होना और ग्राहक की पुष्टि का कदम, सभी बातें शामिल कीं। कुछ औपचारिक वाक्य तैयार नमूने जैसे लगे, लेकिन कुल मिलाकर जवाब बिना बदलाव इंसानी समीक्षा के लिए दिया जा सकता था।

अंत में उसने ग्राहक से पूछा:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

इसका मतलब था पहले ग्राहक की इच्छा की पुष्टि करना, फिर कर्मचारी से अनुरोध भेजवाना। यह दावा नहीं किया गया कि रिफंड पूरा हो गया है। हमारे हिसाब से यह कुछ सुंदर औपचारिक पंक्तियां जोड़ने से ज्यादा जरूरी है।

2. 5 अंक वाले समूह में सबसे सस्ता: MiniMax M3

MiniMax M3: सहजता 5/5, अनिवार्य कारोबारी जांच में सफल, इस बार की लागत $0.0007448700।

5 अंक पाने वाले चार योग्य मॉडल में इसका प्रति कॉल शुल्क सबसे कम था। नीचे इसका पूरा मूल जवाब है; हमने शब्द नहीं बदले हैं:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

इस ईमेल की एक बात हमें पसंद आई: छोटा होने के बावजूद इसने उन सीमाओं को साफ किया जहां गलती होना आसान है। खास तौर पर इसने “रिफंड मांग सकते हैं” को “रिफंड मंजूर हो गया है” नहीं बनाया, और अंत में अगला कदम उठाने से पहले ग्राहक की पुष्टि स्पष्ट रूप से मांगी।

DeepSeek V4 Flash की तुलना में MiniMax M3 के इस ईमेल की लागत $0.0003581202 ज्यादा थी, जबकि इस पहचान-रहित मूल्यांकन में सहजता के अंक 4 से बढ़कर 5 हुए। एक ईमेल के लिए यह अंतर छोटा है, लेकिन अगर आप चाहते हैं कि जवाब कम बनावटी या नमूने जैसे लगें, तो यह उपयोगी संकेत है। केवल इस एक ईमेल से हम यह दावा नहीं कर सकते कि ग्राहक सेवा की हर स्थिति में MiniMax M3 की भाषा ज्यादा सहज होगी।

3. समान 5 अंक पाने वाले मॉडल की लागत बहुत अलग हो सकती है

सहजता में 5/5 पाने और कारोबारी नियमों पर खरे उतरने वाले चार मॉडल ये थे:

तुलना साफ है: GPT-6 Astra के इस ईमेल की लागत MiniMax M3 से लगभग 75 गुना थी, लेकिन इस बार सहजता में दोनों को 5 अंक मिले। इसका मतलब यह नहीं है कि जटिल कामों में उनकी क्षमता समान है। इससे सिर्फ इतना पता चलता है कि ग्राहक सेवा के इस खास ईमेल में महंगे मॉडल को हमारे मानदंडों पर ज्यादा अंक नहीं मिले।

GPT-6 Astra का मूल जवाब भी लंबा नहीं था:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

इस आसान ईमेल के लिए हमें केवल मॉडल की बाजार में स्थिति के आधार पर सबसे महंगा विकल्प चुनने पर अड़े रहने का कोई कारण नहीं दिखता। मॉडल का चुनाव काम के अनुसार होना चाहिए, न कि सिर्फ इसलिए कि उसे सबसे शक्तिशाली कहा जाता है।

बाकी 5 जवाबों में असल समस्या क्या थी?

हमारे लिए यह हिस्सा पूरे अंक पाने वालों की सूची से भी ज्यादा उपयोगी है। मॉडल को असली काम में लगाने के बाद सबसे जरूरी बचाव “भाषा पर्याप्त प्रभावशाली नहीं है” से नहीं, बल्कि गलत नीति बताने या कर्मचारी की ओर से ऐसा वादा करने से है जो पूरा नहीं हो सकता।

एक बात अपेक्षा के उलट थी: Claude Opus 4.6 और Claude Fable 5 दोनों को सहजता में 4 अंक मिले, लेकिन दोनों को सीधे इंसानी समीक्षा के लिए नहीं दिया जा सकता था, क्योंकि उन्होंने अतिरिक्त रूप से “तुरंत कार्रवाई” का वादा किया था। भाषा का धाराप्रवाह होना, सही होने के बराबर नहीं है।

दूसरी ओर, Gemini 3.7 Flash की कारोबारी जानकारी मूल रूप से सही थी, लेकिन अनुच्छेद अजीब तरह टूटे थे। यहां तक कि házmelo शब्द भी बीच से टूट गया था। गलती कारोबारी निर्णय में नहीं, तैयार मसौदे की गुणवत्ता में थी। इसी वजह से हमने कारोबारी नियमों का पालन और भाषा की सहजता अलग-अलग देखे।

अगर हम खुद AI ग्राहक सेवा बनाएं, तो कैसे चुनेंगे?

हम केवल इस तालिका से “दुनिया का सबसे अच्छा ईमेल मॉडल” नहीं चुनेंगे। ज्यादा उपयोगी तरीका है लक्ष्य को तीन हिस्सों में बांटना:

1. पहले कारोबार की अनिवार्य सीमाएं तय करें। मॉडल को बिना मंजूर रिफंड, पैसे पहुंचने की तारीख या छूट का वादा न करने दें। इन सीमाओं को तोड़ने वाला जवाब रोकना चाहिए, चाहे भाषा कितनी भी अच्छी हो।
2. फिर देखें कि समय बचता है या नहीं। क्या रूपरेखा ठीक करनी पड़ेगी, लहजा बदलना होगा या खाली छोड़ी गई जगहें हटानी होंगी? इंसान का सुधार में लगने वाला समय कम होना, सुंदर विशेषण जुड़ने से ज्यादा उपयोगी है।
3. अंत में वास्तविक शुल्क देखें। रोजमर्रा के, लगभग तय रूप वाले मसौदों के लिए इस बार सस्ते और योग्य रहे DeepSeek V4 Flash और MiniMax M3 को विकल्पों में रख सकते हैं। काम ज्यादा जटिल हो, तो अन्य मॉडल जोड़कर उस काम का अलग परीक्षण करें। इस सूची का क्रम सीधे लागू न करें।

हमारा शुरुआती निष्कर्ष है: DeepSeek V4 Flash कम लागत वाला योग्य विकल्प है। MiniMax M3 इस बार 5 अंक वाले समूह में कम लागत का विकल्प है। ChatGPT-5.6 Sol, ChatGPT-5.6 Terra और GPT-6 Astra को भी 5 अंक मिले, लेकिन उनकी लागत में बड़ा अंतर है।

अगर आप ग्राहक सेवा को स्वचालित बना रहे हैं, SaaS ईमेल सहायक बना रहे हैं या कई भाषाओं में सहायता दे रहे हैं, तो हम अपने सबसे आम 10–20 सवालों से शुरू करने की सलाह देंगे। पहले मूल्यांकन के नियमों में लिखें कि किन बातों का वादा बिल्कुल नहीं करना है, फिर जवाब की गुणवत्ता और बिल की तुलना करें। आपको जरूरी नहीं कि सबसे शक्तिशाली मॉडल चाहिए। आपको अपने काम में पर्याप्त भरोसेमंद और नियंत्रित लागत वाला मॉडल चाहिए।

इस परीक्षण में हमने सभी मॉडल को API Hop API से कॉल किया। आप API Hop टेक्स्ट मॉडल सूची में मॉडल देख सकते हैं, मॉडल तुलना पेज पर API और शुल्क की जानकारी की तुलना कर सकते हैं, या API दस्तावेज से जान सकते हैं कि आपके खाते में उपलब्ध मॉडल कैसे पूछे जाते हैं। उपलब्धता और कीमतें बदल सकती हैं; अपने खाते के मौजूदा API और बिल को आधार बनाएं।

परिशिष्ट: 21 मॉडल को वास्तव में दिया गया पूरा इनपुट

इस तुलना को दोबारा जांचा जा सके, इसलिए नीचे साझा प्रॉम्प्ट जस का तस दिया है। ध्यान दें: कारोबारी तथ्य और निर्देश अंग्रेजी में हैं, जबकि ग्राहक का ईमेल स्पेनिश में है। हमने चीनी भाषा वाला विवरण मॉडल को नहीं दिया था।

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex