21 model AI membalas email layanan pelanggan yang sama: seberapa jauh beda kualitas dan biayanya?

Kalau harus membalas email pelanggan yang meminta pengembalian dana, model AI mana yang akan Anda pilih? Yang paling mahal atau yang paling murah?

Baru-baru ini kami melakukan eksperimen kecil yang cukup dekat dengan pekerjaan sehari-hari: memberikan email pelanggan yang sama kepada 21 model teks, lalu meminta setiap model membalas satu kali saja. Kami tidak memilih hasil terbaik dari beberapa percobaan atau meminta model terus merevisi draf. Setelah itu, kami memeriksa kepatuhan terhadap aturan bisnis, kewajaran bahasa, dan tagihan yang sebenarnya.

Pelanggan menanyakan tiga hal: apakah ia bisa mendapat pengembalian dana penuh, apakah uangnya bisa masuk besok, dan apakah bulan depan bisa mendapat diskon setengah harga. Kelihatannya mudah. Namun, masalah utama dalam email layanan pelanggan sering kali bukan tata bahasa, melainkan model yang tanpa sengaja membuat janji yang sama sekali tidak diizinkan oleh perusahaan.

Hasilnya menarik: semua 21 model berhasil membuat balasan, tetapi hanya 16 yang memenuhi standar untuk diteruskan apa adanya kepada manusia guna diperiksa sebelum dikirim, tanpa revisi. Melalui API API Hop, balasan termurah yang lolos hanya menghabiskan $0.0003867498. Balasan termahal dalam uji ini menghabiskan $0.055944, atau sekitar 145 kali lebih besar.

Perlu ditegaskan: ini adalah email pelanggan simulasi. Produk langganan dan aturan pengembalian dananya juga dibuat khusus untuk eksperimen, bukan kebijakan pengembalian dana API Hop yang sebenarnya. Istilah “lolos” dalam artikel ini tidak berarti email tersebut sudah dikirim kepada pelanggan sungguhan. Kami ingin mengetahui batas kemampuan model dalam situasi ini.

Ringkasan hasil eksperimen

Dalam layanan pelanggan, menghasilkan teks baru langkah pertama. Yang lebih penting adalah apakah fakta disampaikan dengan benar, apakah balasan melampaui kewenangan, dan apakah masih harus dikerjakan ulang.

“Tanpa revisi” di sini berarti dapat diteruskan apa adanya kepada manusia untuk diperiksa sebelum dikirim. Bukan berarti sistem boleh langsung mengirimkannya kepada pelanggan tanpa pemeriksaan manusia.

Semua model mendapat tugas yang sama

Pelanggan bernama Alex menulis dalam bahasa Spanyol. Ia baru membeli paket bulanan seharga 29 dolar kemarin, belum menggunakannya sama sekali, dan ingin meminta pengembalian dana. Ia berharap uangnya masuk besok. Jika tidak bisa, ia menanyakan diskon setengah harga untuk bulan depan.

Informasi bisnis yang kami berikan kepada model menggunakan bahasa Inggris, tetapi model harus membalas dalam bahasa pelanggan, yaitu bahasa Spanyol. Batas kewenangannya juga dijelaskan dengan jelas:

• Pembelian dilakukan kemarin dan belum digunakan, sehingga memenuhi syarat untuk mengajukan pengembalian dana penuh bagi pembelian yang belum digunakan dalam waktu 72 jam. Namun, pengajuan harus ditinjau manusia; model tidak boleh menyatakan pengembalian dana sudah disetujui.
• Jika pengembalian dana disetujui dan diproses, dana biasanya masuk 5–10 hari kerja setelah diproses. Model tidak boleh menjanjikan dana masuk besok.
• Tidak ada izin untuk memberikan diskon setengah harga. Model tidak boleh menawarkannya sendiri.
• Belum ada permintaan pengembalian dana yang diajukan, disetujui, atau diproses. Model hanya boleh meminta konfirmasi pelanggan terlebih dahulu, lalu petugas manusia dapat mengajukan permintaan untuk ditinjau.

Aturan ini bukan dibuat untuk mempersulit model. Dalam bisnis nyata, kalimat seperti “semuanya sudah kami urus” atau “uangnya pasti masuk besok” yang ditulis tanpa dasar justru bisa membuat petugas menghabiskan lebih banyak waktu untuk menjelaskan kemudian.

Bagaimana kami menjaga pengujian tetap adil?

Kami memanggil 21 model secara berurutan melalui antarmuka Chat Completions API Hop yang sama, dengan kunci akun yang sama dan masukan yang persis sama. Urutannya diacak dan disimpan sebelum pengujian. Setiap model hanya dipanggil sekali dalam percakapan terpisah. Balasan yang buruk tidak menjadi alasan untuk mencoba ulang.

Batasnya disamakan menjadi max_tokens=8192. Kami tidak menetapkan temperature atau tingkat penalaran secara paksa, serta tidak menggunakan pencarian web, alat eksternal, atau contoh tambahan. Setiap model tetap menggunakan perilaku penalaran bawaannya dan pemakaian cache yang benar-benar terjadi.

Saat penilaian, kami menyembunyikan nama model, penyedia, harga, dan waktu proses. Hanya teks asli berbahasa Spanyol yang diberikan untuk penilaian anonim independen dengan bantuan AI. Pemeriksaan mencakup bahasa, kelayakan mengajukan pengembalian dana, status tindakan, waktu dana masuk, diskon, langkah berikutnya, dan kemungkinan fakta yang dibuat-buat. Kewajaran bahasa diberi nilai 1–5.

Hasil lengkap 21 model

Tabel disusun berdasarkan biaya nyata per balasan, dari yang termurah hingga termahal. Balasan yang gagal dalam pemeriksaan wajib aturan bisnis tidak dianggap lolos, sekalipun mendapat nilai 4 untuk kewajaran bahasa.

Mana yang paling sepadan dengan biayanya?

1. Balasan termurah yang lolos: DeepSeek V4 Flash

DeepSeek V4 Flash: kewajaran bahasa 4/5, lolos pemeriksaan aturan bisnis, biaya uji ini $0.0003867498.

Yang mengejutkan, model ini bukan yang paling murah dari seluruh peserta. Gemini 3.5 Flash Lite lebih murah, hanya $0.0002532150, tetapi melewatkan satu syarat penting. Model itu menyebut 5–10 hari kerja setelah persetujuan tanpa menjelaskan bahwa penghitungan dimulai setelah pengembalian dana selesai diproses. Karena itu, kami tidak bisa menganggapnya sepenuhnya lolos.

DeepSeek V4 Flash mencakup syarat pengajuan pengembalian dana, peninjauan manusia, ketidakpastian dana masuk besok, tidak adanya diskon setengah harga, dan langkah konfirmasi pelanggan. Ada sedikit basa-basi yang terasa seperti templat, tetapi secara keseluruhan balasannya sudah bisa diteruskan apa adanya untuk ditinjau manusia.

Di bagian akhir, model bertanya kepada pelanggan:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

Artinya, model meminta konfirmasi keinginan pelanggan dahulu, lalu menyiapkan pengajuan oleh petugas manusia. Model tidak mengklaim pengembalian dana sudah selesai. Menurut kami, ini lebih penting daripada menambah beberapa kalimat basa-basi yang bagus.

2. Paling murah di kelompok nilai 5: MiniMax M3

MiniMax M3: kewajaran bahasa 5/5, lolos pemeriksaan aturan bisnis, biaya uji ini $0.0007448700.

Dari empat model yang lolos dengan nilai 5, model ini memiliki biaya per balasan paling rendah. Berikut balasan asli selengkapnya, tanpa perubahan kata-kata:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Kami menyukai satu hal dari email ini: singkat, tetapi tetap menjelaskan batas-batas yang mudah disalahartikan. Khususnya, “boleh mengajukan pengembalian dana” tidak diubah menjadi “pengembalian dana sudah disetujui”. Di akhir, model juga menegaskan bahwa langkah berikutnya menunggu konfirmasi pelanggan.

Dibandingkan DeepSeek V4 Flash, balasan MiniMax M3 ini lebih mahal $0.0003581202, dengan nilai kewajaran bahasa 5, bukan 4, dalam penilaian anonim kali ini. Selisih untuk satu email memang kecil, tetapi berguna sebagai pertimbangan bila Anda ingin balasan yang tidak terlalu terasa seperti templat. Satu email ini tidak cukup untuk menyimpulkan bahwa MiniMax M3 selalu lebih alami dalam semua situasi layanan pelanggan.

3. Nilai sama-sama 5, biaya bisa sangat berbeda

Empat model berikut mendapat kewajaran bahasa 5/5 sekaligus menyampaikan informasi bisnis dengan benar:

Perbandingannya jelas: biaya balasan GPT-6 Astra sekitar 75 kali biaya MiniMax M3, tetapi keduanya mendapat nilai 5 untuk kewajaran bahasa. Ini bukan berarti kemampuan mereka setara untuk pekerjaan yang rumit. Hasil ini hanya menunjukkan bahwa, untuk tugas email pelanggan yang satu ini, model yang mahal tidak mendapat nilai lebih tinggi menurut kriteria kami.

Balasan asli GPT-6 Astra juga tidak panjang:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

Untuk email sederhana ini, kami tidak melihat alasan memilih model termahal hanya karena posisi atau kelas model tersebut. Pilih model sesuai pekerjaannya, bukan semata-mata karena model itu disebut paling kuat.

Apa masalah pada 5 balasan lainnya?

Menurut kami, bagian ini lebih berguna daripada daftar peraih nilai tertinggi. Saat model dipakai dalam layanan nyata, yang paling ingin dicegah bukan “gaya bahasa kurang berkelas”, melainkan penjelasan kebijakan yang salah atau janji yang tidak bisa dipenuhi petugas.

Ada hasil yang agak tidak terduga: Claude Opus 4.6 dan Claude Fable 5 sama-sama mendapat nilai 4 untuk kewajaran bahasa, tetapi keduanya tidak bisa langsung diteruskan tanpa revisi untuk ditinjau manusia karena menambahkan janji tindakan “segera”. Lancar dibaca tidak selalu berarti benar.

Sebaliknya, informasi bisnis Gemini 3.7 Flash pada dasarnya benar, tetapi pemenggalan barisnya aneh. Bahkan kata házmelo terbelah di tengah. Masalahnya bukan keputusan bisnis, melainkan mutu draf akhir. Itulah sebabnya kami menilai kepatuhan terhadap aturan bisnis dan kewajaran bahasa secara terpisah.

Kalau kami membangun layanan pelanggan berbasis AI, bagaimana memilihnya?

Kami tidak akan memakai tabel ini saja untuk memilih “model email terbaik di dunia”. Cara yang lebih praktis adalah membagi keputusan menjadi tiga tahap:

1. Tentukan batas aturan bisnis lebih dahulu. Model tidak boleh menjanjikan pengembalian dana yang belum disetujui, tanggal dana masuk, atau diskon. Balasan yang melanggar batas ini harus ditahan, sebagus apa pun gaya bahasanya.
2. Periksa apakah benar-benar menghemat waktu. Apakah tata letak harus disusun ulang, nada diperbaiki, atau penanda yang belum diisi dihapus? Mengurangi revisi manusia lebih berguna daripada sekadar menambah kata sifat yang indah.
3. Bandingkan dengan biaya yang benar-benar ditagihkan. Untuk draf rutin dengan format cukup tetap, DeepSeek V4 Flash dan MiniMax M3 yang murah dan lolos uji ini bisa masuk daftar calon. Jika pekerjaannya lebih rumit, uji juga model lain secara khusus, bukan langsung memakai peringkat ini.

Kesimpulan sementara kami: DeepSeek V4 Flash adalah calon berbiaya rendah yang lolos, sedangkan MiniMax M3 adalah calon termurah di kelompok nilai 5 dalam uji ini. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra, dan GPT-6 Astra juga mendapat nilai 5, tetapi rentang biayanya sangat lebar.

Jika Anda membangun otomatisasi layanan pelanggan, asisten email SaaS, atau dukungan multibahasa, mulailah dari 10–20 pertanyaan yang paling sering Anda terima. Tulis dahulu hal-hal yang sama sekali tidak boleh dijanjikan dalam aturan penilaian, lalu bandingkan mutu balasan dan tagihan. Anda belum tentu membutuhkan model paling kuat. Yang dibutuhkan adalah model yang cukup andal untuk tugas Anda dan biayanya bisa dikendalikan.

Semua model dalam uji ini dipanggil melalui API API Hop. Lihat model di katalog model teks API Hop, bandingkan antarmuka dan biaya di halaman perbandingan model, atau baca dokumentasi API untuk mengetahui cara melihat model yang tersedia bagi akun Anda. Ketersediaan model dan harga bisa berubah; gunakan hasil API dan tagihan terbaru Anda sebagai acuan.

Lampiran: masukan lengkap yang kami kirim ke 21 model

Agar perbandingan ini bisa diperiksa, berikut prompt yang sama persis dengan yang digunakan. Perhatikan bahwa fakta bisnis dan instruksinya berbahasa Inggris, sedangkan email pelanggan berbahasa Spanyol. Kami tidak mengirimkan penjelasan berbahasa Mandarin kepada model.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex