21 yapay zekâ modeline aynı destek e-postasını yanıtlatınca kalite ve maliyet nasıl değişti?

Bir müşterinin iade e-postasına yanıt vermek için hangi yapay zekâ modelini seçerdiniz? En pahalısını mı, en ucuzunu mu?

Kısa süre önce küçük ama günlük işlere oldukça yakın bir deney yaptık: aynı müşteri e-postasını 21 metin modeline verdik ve her modelden yalnızca bir yanıt aldık. En güzel sonuçları seçmedik, modellere taslaklarını tekrar tekrar düzelttirmedik. Yanıtları oluşturduktan sonra iş kurallarına uygunluklarını, dilin doğallığını ve gerçek faturayı inceledik.

Müşteri üç şey soruyordu: Tam iade alabilir miydi, para yarın hesabına geçebilir miydi ve gelecek ay yarı fiyatına kullanabilir miydi? Kolay görünüyor. Ancak destek e-postalarındaki en büyük risk çoğu zaman dil bilgisi değil, modelin fark ettirmeden şirketin hiçbir zaman onaylamadığı bir söz vermesi.

Sonuç dikkat çekiciydi: 21 modelin tamamı eksiksiz bir yanıt üretti, ancak yalnızca 16 yanıt, değişiklik yapılmadan gönderim öncesi insan incelemesine sunulma ölçütümüzü karşıladı. API Hop API üzerinden alınan uygun yanıtların en ucuzu yalnızca $0.0003867498 tuttu. Deneydeki en pahalı yanıt ise $0.055944 oldu. Aralarında yaklaşık 145 kat fark vardı.

Önce bir açıklama: Bu, kurgusal bir müşteri e-postasıydı. Abonelik ürünü ve iade kuralları da deney için oluşturuldu; API Hop’in gerçek iade politikasını temsil etmiyor. Bir yanıtı “uygun” saymamız, onu gerçek bir müşteriye gönderdiğimiz anlamına da gelmiyor. Amacımız, bugünkü modellerin bu senaryodaki yeteneklerini ve sınırlarını anlamaktı.

Deneyde ne gördük?

Müşteri desteğinde metin üretmek yalnızca ilk adım. Asıl önemli olan, metnin gerçekleri doğru aktarması, yetkisini aşmaması ve sonradan ek iş çıkarmaması.

Burada “düzenleme gerektirmiyor”, taslağın değiştirilmeden gönderim öncesi bir insanın incelemesine sunulabilmesi demek. Sistemin insan incelemesini atlayıp yanıtı doğrudan müşteriye gönderebileceği anlamına gelmiyor.

Her modele aynı görevi verdik

Alex adlı müşteri İspanyolca yazıyordu. Dün aylık bir plana 29 USD ödemiş, hizmeti hiç kullanmamış ve iade istiyordu. Mümkünse paranın yarın hesabına geçmesini, bu mümkün değilse gelecek ay yarı fiyatına kullanmayı talep ediyordu.

İşle ilgili açıklamaları İngilizce verdik, ancak modelden müşterinin dili olan İspanyolca yanıt vermesini istedik. Sınırlar da açıkça belirtilmişti:

• Dün alınmış ve kullanılmamış satın alma, 72 saat içinde alınan kullanılmamış ürünler için tam iade başvurusu yapma koşullarını karşılıyordu. Yine de insan incelemesi şarttı; model iadenin zaten onaylandığını söyleyemezdi.
• İade onaylanıp işleme alındığında para genellikle işlem tamamlandıktan sonra 5–10 iş günü içinde ulaşırdı. Yarın ulaşacağı sözü verilemezdi.
• Yarı fiyat indirimi için izin yoktu. Model kendi başına indirim sunamazdı.
• Henüz hiçbir iade başvurusu gönderilmemiş, onaylanmamış veya işleme alınmamıştı. Önce müşterinin onayı sorulmalı, ardından bir destek görevlisi başvuruyu incelemeye göndermeliydi.

Bu kurallar modelleri zor durumda bırakmak için konmadı. Gerçek bir işte, yetki olmadan “işleminizi tamamladık” veya “para kesinlikle yarın hesabınızda” diyen bir e-posta, destek ekibine sonradan çok daha fazla açıklama işi çıkarabilir.

Testi nasıl adil tuttuk?

21 modeli aynı API Hop Chat Completions uç noktası üzerinden, aynı hesap anahtarı ve tamamen aynı girdiyle çağırdık. Çağrılar, önceden rastgele belirlenip kaydedilmiş sırayla tek tek yapıldı. Her model ayrı bir oturumda yalnızca bir kez çağrıldı; kötü yanıt verdi diye yeniden denenmedi.

Ortak üst sınır olarak max_tokens=8192 kullandık. Sıcaklık veya akıl yürütme düzeyini zorunlu olarak belirlemedik; web araması, harici araçlar ya da ek örnekler kullanmadık. Her model kendi varsayılan akıl yürütme davranışını ve gerçek önbellek kullanımını korudu.

Değerlendirme sırasında model adlarını, sağlayıcıları, fiyatları ve süreleri gizledik. Yalnızca İspanyolca özgün yanıtları bağımsız, yapay zekâ destekli anonim bir değerlendirmeye sunduk. Dil, iade başvurusuna uygunluk, işlem durumu, paranın ulaşma süresi, indirimler, sonraki adım ve uydurulmuş bilgiler tek tek kontrol edildi. Ardından anlatımın doğallığına 1–5 arasında puan verildi.

21 modelin tüm sonuçları

Tabloyu yanıt başına gerçek ücret, en düşükten en yükseğe olacak şekilde sıraladık. Zorunlu iş kurallarını karşılamayan bir yanıt, doğallık puanı 4 olsa bile uygun sayılmadı.

En iyi fiyat-performans hangisindeydi?

1. En ucuz uygun yanıt: DeepSeek V4 Flash

DeepSeek V4 Flash: doğallık 4/5, zorunlu iş kuralları başarılı, bu testteki ücret $0.0003867498.

Bu bizi şaşırttı; çünkü tüm modeller arasında en ucuzu değildi. Daha ucuz olan Gemini 3.5 Flash Lite yalnızca $0.0002532150 tuttu, ancak önemli bir koşulu atladı: Onaydan sonra genellikle 5–10 iş günü gerektiğini söyledi, fakat sürenin iade işlemi tamamlandıktan sonra başladığını açıkça belirtmedi. Bu yüzden onu tamamen uygun kabul edemedik.

DeepSeek V4 Flash ise başvuru koşullarını, insan incelemesini, yarına garanti verilemeyeceğini, yarı fiyat indirimi olmadığını ve müşterinin onay vermesi gerektiğini kapsadı. Bazı nezaket ifadeleri biraz şablon gibiydi, ama taslağın bütünü değiştirilmeden insan incelemesine sunulabiliyordu.

Yanıtın sonunda müşteriye şunu sordu:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

Yani iadenin tamamlandığını iddia etmek yerine, bir görevlinin başvuruyu göndermesinden önce müşterinin isteğini doğruluyordu. Bize göre bu, birkaç hoş nezaket cümlesi daha eklemekten önemli.

2. 5 puan alan grupta en ucuz: MiniMax M3

MiniMax M3: doğallık 5/5, zorunlu iş kuralları başarılı, bu testteki ücret $0.0007448700.

5 puan alan dört uygun model arasında yanıt başına en düşük ücreti bu model verdi. Aşağıda, hiçbir sözcüğünü değiştirmediğimiz tam özgün yanıtı var:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Bu e-postada sevdiğimiz şey, kısa olmasına rağmen kolayca gözden kaçabilecek birkaç sınırı net biçimde korumasıydı. Özellikle “iade başvurusu yapabilirsiniz” ifadesini “iadeniz onaylandı” haline getirmedi ve sonraki adımı açıkça müşterinin onayına bıraktı.

MiniMax M3’ün bu yanıtı, DeepSeek V4 Flash’a göre $0.0003581202 daha pahalıydı; bu anonim değerlendirmede doğallık puanı ise 4’ten 5’e çıktı. Tek bir e-posta için ücret farkı çok küçük. Yine de destek yanıtlarının daha az şablon gibi görünmesini istiyorsanız yararlı bir veri. Tek bir e-postaya bakarak MiniMax M3’ün her destek senaryosunda daha doğal olduğunu söyleyemeyiz.

3. Aynı 5 puanı alan modellerin ücretleri çok farklı olabilir

Doğallıkta 5/5 alan ve iş kurallarını karşılayan dört model şunlardı:

Karşılaştırma oldukça açık: GPT-6 Astra’nın bu yanıtı MiniMax M3’ün yaklaşık 75 katına mal oldu, ama ikisi de bu testte doğallıktan 5 puan aldı. Bu, karmaşık işlerde yeteneklerinin aynı olduğu anlamına gelmiyor. Yalnızca bu belirli destek e-postası görevinde pahalı modelin, bizim ölçütlerimize göre daha yüksek puan almadığını gösteriyor.

GPT-6 Astra’nın özgün yanıtı da uzun değildi:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

Bu basit e-posta için, yalnızca modelin piyasadaki konumuna bakarak en pahalı seçenekte ısrar etmek için bir neden göremiyoruz. Model seçimi yapılacak işe dayanmalı; “en güçlü” denilen modeli düşünmeden seçmeye değil.

Diğer 5 yanıtta tam olarak ne sorun vardı?

Bu kısmı, tam puan alanların listesinden daha yararlı bulduk. Çünkü model gerçek kullanıma geçtiğinde önlemek istediğimiz asıl şey, tonunun yeterince gösterişli olmaması değil; politikayı yanlış aktarması veya destek ekibinin tutamayacağı sözler vermesi.

İlk bakışta şaşırtıcı bir durum vardı: Claude Opus 4.6 ve Claude Fable 5 doğallıktan 4’er puan aldı, ama ekledikleri “hemen işlem” sözü nedeniyle ikisi de doğrudan insan incelemesine hazır değildi. Akıcı olmak, doğru olmak demek değil.

Gemini 3.7 Flash’ta ise durum tersiydi. İş bilgileri genel olarak doğruydu, ancak paragraflar garip yerlerden bölünmüş, hatta házmelo sözcüğü ortasından ayrılmıştı. Sorun iş kurallarını değerlendirmesinde değil, ortaya çıkan taslağın kalitesindeydi. İş kurallarına uygunluğu ve anlatımın doğallığını ayrı değerlendirmemizin nedeni bu.

Kendi yapay zekâ destek sistemimiz için nasıl seçim yapardık?

Yalnızca bu tabloya bakıp bir modeli “dünyanın en iyi e-posta modeli” ilan etmezdik. Daha pratik yaklaşım, kararı üç katmanda ele almak:

1. Önce işin aşılmaması gereken sınırlarını belirleyin. Model, onaylanmamış iadeler, paranın ulaşacağı tarihler veya indirimler vaat edememeli. Bu sınırları aşan yanıtlar, ne kadar iyi yazılmış olursa olsun durdurulmalı.
2. Sonra zaman kazandırıp kazandırmadığına bakın. Biçimi yeniden düzenlemek, tonu düzeltmek veya boş yer tutucuları silmek gerekiyor mu? İnsanların yapacağı düzeltmeleri azaltmak, güzel bir sıfat daha eklemekten yararlı.
3. Son olarak gerçek ücretleri karşılaştırın. Günlük ve biçimi nispeten sabit taslaklar için, bu deneyde uygun ve ucuz yanıtlar veren DeepSeek V4 Flash ile MiniMax M3’ü aday listenize alabilirsiniz. İş daha karmaşıksa bu sıralamayı olduğu gibi taşımak yerine başka modelleri de ekleyip özel testler yapın.

Şimdilik vardığımız sonuç şu: DeepSeek V4 Flash düşük maliyetli, uygun bir aday. MiniMax M3 ise bu testte 5 puan alan gruptaki düşük maliyetli aday. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra ve GPT-6 Astra da 5 puan aldı, ancak maliyetleri arasında büyük fark var.

Destek otomasyonu, SaaS e-posta asistanı veya çok dilli destek geliştiriyorsanız kendi en sık karşılaştığınız 10–20 soruyla başlamanızı öneririz. Önce “asla verilmemesi gereken sözleri” değerlendirme kurallarına yazın, sonra yanıt kalitesini ve faturaları karşılaştırın. En güçlü modele ihtiyacınız olmayabilir. İhtiyacınız olan, kendi işlerinizde yeterince güvenilir ve maliyeti yönetilebilir bir model.

Bu testteki tüm modelleri API Hop API üzerinden çağırdık. Modelleri API Hop metin modeli dizininde inceleyebilir, model karşılaştırma sayfasında API ve ücretlendirme bilgilerini karşılaştırabilir veya hesabınıza açık modelleri nasıl sorgulayacağınızı API belgelerinden öğrenebilirsiniz. Model erişimi ve fiyatlar değişebilir; kendi güncel API sonuçlarınızı ve faturalarınızı esas alın.

Ek: 21 modele gerçekten gönderdiğimiz tam girdi

Karşılaştırmanın incelenebilmesi için ortak istemi aşağıda aynen paylaşıyoruz. İş bilgileri ve yönergeler İngilizce, müşteri e-postası ise İspanyolca. Çince açıklamaları modellere göndermedik.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex