طلبنا من 21 نموذج ذكاء اصطناعي الرد على رسالة خدمة العملاء نفسها: كيف اختلفت الجودة والتكلفة؟

إذا أردت الرد على رسالة من عميل يطلب استرداد أمواله، فأي نموذج ذكاء اصطناعي ستختار؟ الأغلى أم الأرخص؟

أجرينا مؤخرا تجربة صغيرة، لكنها قريبة من العمل اليومي: أعطينا رسالة العميل نفسها إلى 21 نموذجا نصيا، وطلبنا من كل نموذج الرد مرة واحدة فقط. لم ننتق أفضل النتائج، ولم نطلب من النماذج تنقيح المسودة مرارا. بعد توليد الردود، قارناها بقواعد العمل، ثم نظرنا إلى طبيعية اللغة والفاتورة الفعلية.

سأل العميل في الرسالة عن ثلاثة أمور: هل يمكن استرداد المبلغ كاملا، وهل يمكن وصوله غدا، وهل يمكن الحصول على نصف السعر للشهر المقبل؟ قد يبدو الأمر سهلا، لكن الخطأ الأكثر خطورة في رسائل خدمة العملاء ليس غالبا خطأ لغويا. إنه أن يقدم النموذج، دون انتباه، وعدا لم تسمح به الشركة أصلا.

كانت النتيجة لافتة: أكملت النماذج الـ21 جميعها الرد، لكن 16 ردا فقط استوفى معيار تسليمه كما هو إلى موظف لمراجعته قبل الإرسال، دون الحاجة إلى تعديل. عبر واجهة API Hop، بلغت تكلفة أرخص رد مستوف للشروط $0.0003867498 فقط، بينما بلغت تكلفة أغلى رسالة في هذه التجربة $0.055944، بفارق يقارب 145 ضعفا.

للتوضيح أولا: هذه رسالة عميل افتراضية، كما أن خدمة الاشتراك وقواعد الاسترداد أعدت خصيصا للتجربة، ولا تمثل سياسة الاسترداد الفعلية لدى API Hop. وعبارة «مستوف للشروط» لا تعني أننا أرسلنا الرسالة إلى عميل حقيقي. أردنا فقط معرفة حدود قدرة النماذج الحالية في هذا الموقف.

أبرز ما توصلت إليه التجربة

في خدمة العملاء، القدرة على توليد نص ليست سوى الخطوة الأولى. الأهم هو: هل يعرض النص الحقائق بصورة صحيحة؟ هل يتجاوز الصلاحيات؟ وهل يحتاج إلى إعادة العمل عليه؟

المقصود هنا بعبارة «دون تعديل» هو إمكانية تسليم النص كما هو إلى شخص لمراجعته قبل الإرسال، وليس السماح للنظام بتجاوز المراجعة البشرية وإرساله مباشرة إلى العميل.

أعطينا كل النماذج المهمة نفسها

كتب العميل Alex بالإسبانية أنه دفع أمس 29 دولارا مقابل خطة شهرية، لكنه لم يستخدم الخدمة مطلقا ويريد استرداد المبلغ. ويفضل وصول المال غدا؛ وإن تعذر ذلك، فهل يمكنه الحصول على نصف السعر للشهر المقبل؟

قدمنا معلومات العمل للنموذج بالإنجليزية، لكننا طلبنا منه الرد بلغة العميل، أي الإسبانية. وحددنا الحدود بوضوح:

• الشراء تم أمس ولم تستخدم الخدمة: تنطبق أهلية تقديم طلب استرداد كامل على شراء تم خلال آخر 72 ساعة ولم تستخدم الخدمة بعده، لكن الطلب يتطلب مراجعة بشرية. لا يجوز القول إن الاسترداد قد تمت الموافقة عليه.
• إذا تمت الموافقة على الاسترداد ومعالجته، يصل المال عادة خلال 5–10 أيام عمل بعد معالجة الاسترداد. لا يجوز ضمان وصوله غدا.
• لا يوجد خصم مصرح به بنصف السعر؛ لا يجوز للنموذج أن يعد به من تلقاء نفسه.
• لم يقدم أو يعتمد أو يعالج أي طلب استرداد حتى الآن. يجب أولا سؤال العميل عن موافقته، ثم يمكن لموظف خدمة العملاء تقديم الطلب للمراجعة.

لم نضع هذه القواعد لتعجيز النماذج. في العمل الفعلي، إذا قالت رسالة دون سند «لقد أنجزنا الأمر لك» أو «سيصل المال غدا بالتأكيد»، فقد يضطر الموظف إلى قضاء وقت أطول في التوضيح لاحقا.

كيف حافظنا على عدالة المقارنة؟

استدعينا النماذج الـ21 بالتتابع عبر واجهة Chat Completions نفسها في API Hop، وبمفتاح الحساب نفسه ومدخل مطابق تماما، وفق ترتيب عشوائي محفوظ مسبقا. استدعي كل نموذج مرة واحدة في جلسة مستقلة، ولم نكرر المحاولة بسبب ضعف الرد.

استخدمنا الحد نفسه max_tokens=8192، ولم نفرض قيمة لدرجة الحرارة أو مستوى الاستدلال، ولم نستخدم بحث الويب أو أدوات خارجية أو أمثلة إضافية. احتفظ كل نموذج بسلوكه الافتراضي في الاستدلال وباستخدامه الفعلي للتخزين المؤقت.

عند التقييم، أخفينا أسماء النماذج والموردين والأسعار والوقت المستغرق. ثم قدمنا النصوص الإسبانية الأصلية وحدها إلى تقييم مستقل مجهول الهوية بمساعدة الذكاء الاصطناعي. فحص التقييم اللغة، وأهلية طلب الاسترداد، وحالة الإجراءات، وموعد وصول المال، والخصم، والخطوة التالية، واختلاق الحقائق، ثم منح طبيعية التعبير درجة من 1–5.

النتائج الكاملة للنماذج الـ21

رتبنا النتائج من الأقل إلى الأعلى بحسب الرسوم الفعلية لكل استدعاء. أي رد لا يجتاز فحوص قواعد العمل الإلزامية لا يعد مستوفيا للشروط، حتى لو حصل على 4 في طبيعية اللغة.

أي نموذج قدم أفضل قيمة؟ النتائج مثيرة للاهتمام

1. أرخص رد مستوف للشروط: DeepSeek V4 Flash

DeepSeek V4 Flash: طبيعية اللغة 4/5، واجتياز فحوص قواعد العمل الإلزامية، وتكلفة هذه المحاولة $0.0003867498.

فاجأنا ذلك، لأنه لم يكن أرخص نموذج في التجربة كلها. كان Gemini 3.5 Flash Lite أقل تكلفة، إذ بلغ $0.0002532150 فقط، لكنه أغفل شرطا مهما: ذكر أن المدة المعتادة هي 5–10 أيام عمل بعد الموافقة، دون أن يوضح أن احتساب المدة يبدأ بعد معالجة الاسترداد. لذلك لم نستطع اعتباره مستوفيا للشروط بالكامل.

أما DeepSeek V4 Flash فغطى أهلية طلب الاسترداد، والمراجعة البشرية، وعدم ضمان الوصول غدا، وعدم توفر خصم بنصف السعر، وخطوة تأكيد العميل. احتوى على بعض عبارات المجاملة الجاهزة، لكن الرد إجمالا كان قابلا للتسليم كما هو للمراجعة البشرية.

وسأل العميل في النهاية:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

المعنى هو تأكيد رغبة العميل أولا، ثم ترتيب تقديم الطلب بواسطة موظف، لا الادعاء بأن الاسترداد قد اكتمل. نرى أن ذلك أهم من إضافة بعض عبارات المجاملة المنمقة.

2. الأرخص في مجموعة 5 نقاط: MiniMax M3

MiniMax M3: طبيعية اللغة 5/5، واجتياز فحوص قواعد العمل الإلزامية، وتكلفة هذه المحاولة $0.0007448700.

كان الأقل رسوما لكل استدعاء بين النماذج الأربعة المستوفية للشروط التي حصلت على 5 نقاط. فيما يلي رده الأصلي الكامل، دون تعديل الصياغة:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

ما أعجبنا في هذه الرسالة هو قصرها مع توضيح الحدود التي يسهل الخطأ فيها. فلم تحول «يمكن طلب استرداد» إلى «تمت الموافقة على الاسترداد»، وجعلت الخطوة التالية في النهاية متوقفة بوضوح على تأكيد العميل.

مقارنة بـDeepSeek V4 Flash، كلفت رسالة MiniMax M3 هذه $0.0003581202 إضافية، وارتفعت درجة طبيعية اللغة في هذا التقييم المجهول من 4 إلى 5. الفرق ضئيل لرسالة واحدة، لكنه مفيد إذا كنت تريد ردودا أقل شبها بالقوالب الجاهزة. لا نستطيع بناء على رسالة واحدة الجزم بأن MiniMax M3 أكثر طبيعية في جميع مواقف خدمة العملاء.

3. الدرجة نفسها، 5 نقاط، لا تعني التكلفة نفسها

النماذج الأربعة التي حصلت على 5/5 في طبيعية اللغة مع صحة قواعد العمل هي:

المقارنة واضحة: بلغت تكلفة رسالة GPT-6 Astra نحو 75 ضعف تكلفة MiniMax M3، لكن كليهما حصل على 5 نقاط في طبيعية اللغة في هذه التجربة. لا يعني ذلك أن قدراتهما متساوية في المهام المعقدة. بل يعني فقط أن النموذج الأغلى لم يحصل على درجة أعلى وفق معاييرنا في مهمة خدمة العملاء المحددة هذه.

ورد GPT-6 Astra الأصلي ليس طويلا أيضا:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

لا نرى في هذه الرسالة البسيطة سببا للإصرار على اختيار الأغلى لمجرد مكانة النموذج. ينبغي اختيار النموذج وفقا للمهمة، لا اختياره تلقائيا لأنه يوصف بأنه الأقوى.

ما المشكلات تحديدا في الردود الـ5 الأخرى؟

نرى أن هذا الجزء أكثر فائدة من قائمة أصحاب الدرجة الكاملة. فعند تشغيل نموذج في خدمة فعلية، ما نريد تجنبه أكثر ليس «أسلوبا غير راق بما يكفي»، بل شرح سياسة بشكل خاطئ، أو إطلاق وعود باسم موظف الخدمة لا يمكن الوفاء بها.

لاحظنا أمرا قد يخالف التوقع: Claude Opus 4.6 وClaude Fable 5 حصلا كلاهما على 4 نقاط في طبيعية اللغة، لكن لم يكن أي منهما جاهزا للتسليم مباشرة للمراجعة البشرية بسبب الوعد الإضافي بـ«المعالجة الفورية». سلاسة الكلام لا تعني صحته.

وعلى العكس، كانت معلومات العمل في رد Gemini 3.7 Flash صحيحة في الأساس، لكن تقسيم الفقرات كان غريبا، بل إنه شطر كلمة házmelo من وسطها. لم تكن المشكلة في الحكم المتعلق بقواعد العمل، بل في جودة المسودة النهائية. ولهذا نفصل بين الالتزام بقواعد العمل وطبيعية التعبير.

كيف سنختار إذا بنينا خدمة عملاء بالذكاء الاصطناعي بأنفسنا؟

لن نختار «أفضل نموذج لرسائل البريد في العالم» اعتمادا على هذا الجدول وحده. الأسلوب العملي هو تقسيم الهدف إلى ثلاثة مستويات:

1. حدد أولا حدود العمل التي لا يجوز تجاوزها. لا تسمح للنموذج بوعد استرداد غير معتمد، أو موعد لوصول المال، أو خصم غير مصرح به. يجب إيقاف أي رد يتجاوز هذه الحدود مهما كان أسلوبه جميلا.
2. ثم انظر إلى الوقت الذي يوفره. هل يحتاج إلى إعادة تنسيق، أو تعديل النبرة، أو حذف مواضع لم تملأ؟ تقليل عمل التصحيح البشري أنفع من إضافة وصف جميل.
3. وأخيرا قارن بالرسوم الفعلية. للمسودات اليومية ذات الشكل شبه الثابت، يمكن إدراج DeepSeek V4 Flash وMiniMax M3 ضمن الخيارات، لأنهما كانا منخفضي التكلفة ومستوفيين للشروط هنا. أما الأعمال الأكثر تعقيدا فتحتاج إلى إضافة نماذج أخرى واختبارات مخصصة، لا نقل هذا الترتيب كما هو.

خلاصتنا الأولية هي: DeepSeek V4 Flash خيار منخفض التكلفة مستوف للشروط، وMiniMax M3 هو الخيار منخفض التكلفة في مجموعة 5 نقاط في هذه التجربة. كما حصل ChatGPT-5.6 Sol وChatGPT-5.6 Terra وGPT-6 Astra على 5 نقاط، لكن بفوارق كبيرة في التكلفة.

إذا كنت تعمل على أتمتة خدمة العملاء، أو مساعد بريد لخدمة SaaS، أو دعم متعدد اللغات، فنقترح البدء بـأكثر 10–20 سؤالا شيوعا في عملك. اكتب أولا في معايير التقييم ما لا يجوز الوعد به مطلقا، ثم قارن جودة الردود بالفاتورة. قد لا تحتاج إلى النموذج الأقوى، بل إلى نموذج موثوق بما يكفي لمهامك وتكلفته قابلة للضبط.

استدعينا جميع نماذج هذه التجربة عبر API Hop API. يمكنك تصفح النماذج في دليل نماذج النص لدى API Hop، ومقارنة الواجهات ومعلومات الفوترة في صفحة مقارنة النماذج، أو قراءة توثيق API لمعرفة كيفية الاستعلام عن النماذج المتاحة لحسابك حاليا. قد يتغير توفر النماذج وأسعارها؛ اعتمد على بيانات API المباشرة وفاتورتك الفعلية.

ملحق: المدخل الكامل الذي أرسلناه فعليا إلى 21 نموذجا

لإتاحة مراجعة هذه المقارنة، أوردنا أدناه نص التعليمات الموحد كما هو. انتبه إلى أن حقائق العمل والتعليمات بالإنجليزية، بينما رسالة العميل بالإسبانية. لم نرسل الشرح الصيني إلى النماذج.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex