21のAIモデルに同じ問い合わせメールへ返信してもらった：品質とコストはどれだけ違う？

お客様からの返金依頼メールに返信するとき、どのAIモデルを選びますか。一番高いモデルでしょうか。それとも、一番安いモデルでしょうか。

私たちは最近、小規模ながら日常業務に近い実験を行いました。同じ問い合わせメールを21のテキストモデルに渡し、それぞれ1回だけ返信を作成してもらったのです。出来のよい回答を選び直したり、何度も書き直させたりはしていません。生成後に業務ルールを守っているかを確認し、文章の自然さと実際の請求額を比べました。

メールで尋ねられていたのは、全額返金できるか、明日までに入金されるか、翌月を半額にできるかの3点です。簡単そうですが、サポートメールで特に怖いのは文法の間違いではありません。モデルが何気なく、会社が許可していない約束をしてしまうことです。

結果は興味深いものでした。21モデルすべてが返信を作成しましたが、修正せず、そのまま人による送信前の確認に回せる基準を満たしたのは16件でした。 API HopのAPIで、合格した返信の最安値は $0.0003867498。今回最も高かった返信は $0.055944 で、約 145倍の差がありました。

最初に断っておくと、これは架空のお客様からのメールです。サブスクリプション商品も返金ルールも実験用に作ったもので、API Hopの実際の返金ポリシーではありません。また、この記事で「合格」と呼ぶ返信を、実際のお客様に送ったわけでもありません。この場面でモデルに何ができ、どこに限界があるのかを知るための実験です。

まず、実験結果の概要

サポート業務では、文章を生成できるのは出発点にすぎません。大切なのは、事実を正しく伝えているか、権限を超えていないか、手直しが必要かどうかです。

ここで「修正不要」とは、文章を変えずに、人による送信前の確認へ回せることです。人の確認を省いて、自動でお客様に送ってよいという意味ではありません。

すべてのモデルに同じ課題を出した

Alexというお客様がスペイン語で、昨日29ドルの月額プランを購入したが、まだ一度も使っていないので返金してほしいと連絡してきました。できれば明日までに入金してほしい、無理なら翌月を半額にできないか、という依頼です。

モデルに渡した業務説明は英語ですが、返信はお客様の言語であるスペイン語で書くよう指定しました。業務上の制約も明示しています。

• 昨日購入し、まだ使っていないため、購入から72時間以内で未使用という全額返金の申請条件を満たす。ただし人による審査が必要で、返金が承認済みとは言えない。
• 返金が承認され、処理された場合、通常は処理後5–10営業日で入金される。明日の入金は約束できない。
• 半額の割引は認められていない。モデルが勝手に提供してはいけない。
• 現時点では、返金申請の提出、承認、処理は一切行われていない。まずお客様に意思を確認し、その後、人の担当者が審査に出す申請を提出できる。

モデルを困らせるためのルールではありません。実際の業務で「もう手続きしておきました」「必ず明日入金されます」と勝手に書けば、あとで担当者が説明に追われるかもしれません。

公平に比べるため、どう実行したか

API Hopの同じChat Completions APIを使い、同じアカウントのキー、まったく同じ入力で、21モデルを順番に呼び出しました。順序は事前にランダムに決めて保存しています。各モデルは独立した会話で1回だけ実行し、返信が悪かったからといってやり直すことはしませんでした。

上限は一律で max_tokens=8192 とし、温度や推論の強さは指定しませんでした。Web検索、外部ツール、追加の例も使っていません。推論の動作は各モデルの標準設定に任せ、キャッシュの使用量も実際の値をそのまま扱っています。

評価では、モデル名、提供元、料金、所要時間を隠し、スペイン語の原文だけを独立したAI支援による匿名評価にかけました。言語、返金の申請資格、手続きの状態、入金時期、割引、次の手順、事実の捏造を項目ごとに確認し、文章の自然さを1–5点で評価しました。

21モデルの全結果

実際の1回あたりの請求額が安い順に並べています。業務上の必須チェックに不合格なら、自然さが4点でも合格とはしません。

コストに見合うのはどのモデルか

1. 合格した返信で最も安い：DeepSeek V4 Flash

DeepSeek V4 Flash：自然さ4/5、業務チェック合格、今回の料金は $0.0003867498。

意外なことに、このモデルが全体で最安だったわけではありません。Gemini 3.5 Flash Liteはさらに安い $0.0002532150 でしたが、大事な条件が抜けていました。承認後は通常5–10営業日かかると述べるだけで、返金処理が完了してから数える期間だとはっきり説明していなかったのです。そのため、完全な合格とは判断できませんでした。

DeepSeek V4 Flashは、返金の申請資格、人による審査、明日の入金は保証できないこと、半額割引がないこと、お客様の確認が必要なことをすべて押さえていました。やや定型的な挨拶はありますが、全体として修正せず人の確認に回せる内容でした。

最後に、お客様へこう尋ねています。

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

お客様の意思を確認してから、人の担当者による申請の提出へ進むという意味です。返金が完了したとは言っていません。私たちには、丁寧な挨拶を増やすことより、この区別のほうが大切に思えます。

2. 5点を取った中で最安：MiniMax M3

MiniMax M3：自然さ5/5、業務チェック合格、今回の料金は $0.0007448700。

合格して5点を獲得した4モデルの中で、1回あたりの料金が最も安いモデルでした。以下は元の返信全文で、表現は一切変えていません。

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

このメールのよいところは、短いのに、間違いやすい業務上の境界をきちんと説明している点です。特に「返金を申請できる」を「返金が承認された」と取り違えず、次の手順に進むにはお客様の確認が必要だと明示しています。

DeepSeek V4 Flashと比べると、今回のMiniMax M3の返信は $0.0003581202 高く、匿名評価での自然さは4点ではなく5点でした。1通あたりでは小さな差ですが、定型文らしさを減らしたい場合には参考になります。ただし、この1通だけでMiniMax M3があらゆるサポート場面でより自然だと結論づけることはできません。

3. 同じ5点でも、料金は大きく違う

自然さ5/5で、業務情報も正しかった4モデルは次のとおりです。

わかりやすい比較があります。GPT-6 Astraの今回の料金はMiniMax M3の約75倍でしたが、自然さはどちらも5点でした。 複雑な仕事でも両者の能力が同じという意味ではありません。この具体的なメール課題では、高いモデルが私たちの評価基準でより高い点を取ったわけではない、ということです。

GPT-6 Astraの元の返信も長くありません。

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

この簡単なメールでは、モデルの位置づけだけを理由に最も高いものを選ぶ必要は見当たりません。モデルは作業に合わせて選ぶべきで、「最も高性能だから」と無条件に選ぶものではないでしょう。

残りの5件は、どこに問題があったか

私たちは、満点の一覧よりもこちらの結果が役立つと考えています。実運用で防ぎたいのは、言葉遣いが洗練されていないことより、ルールを誤って伝えたり、担当者が守れない約束をしたりすることだからです。

少し意外だったのは、Claude Opus 4.6とClaude Fable 5がどちらも自然さ4点なのに、許可のない「即時対応」を約束したため、そのまま人の確認へ回せなかったことです。流暢さと正しさは別物です。

逆にGemini 3.7 Flashは、業務情報はおおむね正しいものの、改行が不自然でした。házmelo という単語まで途中で切れています。業務判断ではなく、完成した文章の品質が不十分だったのです。だからこそ、業務ルールの順守と文章の自然さは分けて評価しています。

自分たちでAIサポートを作るなら、どう選ぶか

この表だけで「世界一のメール用モデル」を決めるつもりはありません。まず、判断を3段階に分けるほうが実用的です。

1. 最初に、業務上守るべき線を決める。 未承認の返金、入金日、割引をモデルに約束させません。その線を越えた返信は、どれほど文章がよくても止めます。
2. 次に、本当に時間を節約できるかを見る。 体裁の整理、語調の修正、未記入のプレースホルダーの削除が必要かを確認します。きれいな形容詞を増やすより、人の修正を減らすほうが役立ちます。
3. 最後に、実際の請求額と照らし合わせる。 日常的で形式が比較的決まった下書きには、今回合格した低価格のDeepSeek V4 FlashとMiniMax M3を候補にできます。より複雑な業務では、この順位をそのまま使わず、ほかのモデルも含めて専用のテストを行います。

現時点での結論は、DeepSeek V4 Flashは低コストで合格した候補、MiniMax M3は今回の5点組で最も低コストな候補です。ChatGPT-5.6 Sol、ChatGPT-5.6 Terra、GPT-6 Astraも5点でしたが、料金には大きな差がありました。

サポートの自動化、SaaSのメールアシスタント、多言語対応を作るなら、まず自分たちによく届く10–20の質問から始めることを勧めます。「絶対に約束してはいけないこと」を評価ルールに書き、返信の品質と請求額を比べてください。必要なのは必ずしも最強のモデルではなく、自分たちの仕事で十分に信頼でき、コストを管理できるモデルです。

今回のモデルはすべてAPI Hop APIから呼び出しました。API Hopのテキストモデル一覧でモデルを確認し、モデル比較ページでAPIと料金の情報を比べられます。また、現在のアカウントで利用できるモデルの取得方法はAPIドキュメントにあります。利用可否や料金は変わるため、ご自身の最新のAPI結果と請求内容を確認してください。

付録：21モデルに実際に送った入力の全文

結果を検証できるよう、共通のプロンプトをそのまま掲載します。業務上の事実と指示は英語、お客様のメールはスペイン語です。中国語の説明をモデルに送ったわけではありません。

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex