고객의 환불 문의에 답장을 써야 한다면 어떤 AI 모델을 고르시겠어요? 가장 비싼 모델일까요, 아니면 가장 저렴한 모델일까요?
최근 저희는 규모는 작지만 일상 업무와 꽤 비슷한 실험을 했습니다. 같은 고객 메일을 21개 텍스트 모델에 주고, 각 모델이 딱 한 번만 답변하게 했습니다. 잘 나온 결과만 고르거나 여러 번 고쳐 쓰게 하지 않았습니다. 답변을 받은 뒤 업무 규칙에 맞는지 확인하고, 문장의 자연스러움과 실제 청구액을 비교했습니다.
고객은 세 가지를 물었습니다. 전액 환불이 가능한지, 내일까지 돈을 받을 수 있는지, 다음 달 요금을 반값으로 해줄 수 있는지였습니다. 어렵지 않아 보이지만 고객 응대 메일의 문제는 문법보다 다른 곳에서 생기기 쉽습니다. 모델이 무심코 회사가 허용하지 않은 약속을 하는 것입니다.
결과는 흥미로웠습니다. 21개 모델 모두 답변을 완성했지만, 수정 없이 그대로 사람의 발송 전 검토에 넘길 수 있는 기준을 충족한 답변은 16개뿐이었습니다. API Hop API를 사용했을 때 합격한 답변의 최저 비용은 $0.0003867498, 이번에 가장 비싼 답변의 비용은 $0.055944였습니다. 약 145배 차이입니다.
먼저 분명히 할 점이 있습니다. 이 메일은 가상의 고객 문의입니다. 구독 상품과 환불 규칙도 실험을 위해 만든 것으로, API Hop의 실제 환불 정책이 아닙니다. 이 글에서 말하는 ‘합격’도 실제 고객에게 메일을 보냈다는 뜻은 아닙니다. 이 상황에서 모델이 어디까지 잘 처리하는지 알아보려는 실험입니다.
실험 결과부터 살펴보겠습니다
| 항목 | 측정 결과 |
|---|---|
| 참여 모델 | 21개 |
| 완성된 답변 확보 | 21/21 |
| 필수 업무 점검 항목 모두 통과 | 18/21 |
| 업무 정보가 정확하고 자연스러움이 4점 이상이며, 수정 없이 사람의 검토에 넘길 수 있음 | 16/21 |
| 자연스러움 5/5이며 업무 정보도 정확함 | 4개 |
| 필수 업무 점검 미통과 | 3개 |
| 업무 정보는 맞지만 문장이나 형식 수정이 필요함 | 2개 |
| 주요 생성 21회의 실제 청구 비용 합계 | $0.1786551603 |
고객 응대에서 글을 생성하는 것은 첫 단계일 뿐입니다. 정말 중요한 것은 사실을 정확히 전달했는지, 권한을 넘지 않았는지, 다시 손볼 필요가 있는지입니다.
여기서 ‘수정 불필요’란 글을 그대로 사람의 발송 전 검토에 넘길 수 있다는 뜻입니다. 사람의 확인을 생략하고 고객에게 자동으로 보내도 된다는 의미가 아닙니다.
모든 모델에 같은 과제를 주었습니다
Alex라는 고객이 스페인어로 메일을 보냈습니다. 어제 29달러짜리 월간 요금제를 결제했지만 한 번도 사용하지 않아 환불을 원한다고 했습니다. 가능하면 내일 돈을 받고 싶고, 어렵다면 다음 달에 반값 할인을 받을 수 있는지도 물었습니다.
모델에 전달한 업무 설명은 영어였지만, 답장은 고객의 언어인 스페인어로 쓰도록 했습니다. 업무상 지켜야 할 선도 명확히 적었습니다.
- 어제 구매했고 아직 사용하지 않았으므로 구매 후 72시간 이내인 미사용 구매의 전액 환불 신청 자격은 충족합니다. 다만 사람의 심사가 필요하므로 환불이 이미 승인됐다고 말하면 안 됩니다.
- 환불이 승인되고 처리되면 보통 처리 후 5–10영업일 안에 입금됩니다. 내일 입금을 약속할 수는 없습니다.
- 반값 할인은 허용되지 않았습니다. 모델이 임의로 할인해 주겠다고 하면 안 됩니다.
- 현재 제출되거나 승인되거나 처리된 환불 신청은 없습니다. 먼저 고객의 의사를 확인한 뒤, 사람인 상담원이 심사를 위한 신청을 제출할 수 있습니다.
모델을 곤란하게 하려고 만든 규칙은 아닙니다. 실제 업무에서 메일에 “이미 처리해 드렸습니다” 또는 “내일 반드시 입금됩니다”라고 임의로 쓰면, 상담원이 나중에 더 많은 시간을 들여 설명해야 할 수 있습니다.
공정한 비교를 위해 어떻게 진행했을까요?
API Hop의 동일한 Chat Completions API에서 같은 계정 키와 완전히 동일한 입력을 사용해 21개 모델을 차례로 호출했습니다. 순서는 미리 무작위로 정해 저장했습니다. 각 모델은 별도 대화에서 한 번만 호출했으며, 답변이 좋지 않다고 다시 시도하지 않았습니다.
상한은 모두 max_tokens=8192로 설정했습니다. temperature나 추론 강도를 강제로 지정하지 않았고, 웹 검색이나 외부 도구, 추가 예시도 쓰지 않았습니다. 각 모델의 기본 추론 방식과 실제 캐시 사용량을 그대로 유지했습니다.
평가할 때는 모델명, 공급사, 가격, 소요 시간을 가렸습니다. 스페인어 원문만 독립적인 AI 보조 익명 평가에 넘겨 언어, 환불 신청 자격, 처리 상태, 입금 시점, 할인, 다음 단계, 사실을 지어냈는지를 항목별로 확인했습니다. 표현의 자연스러움은 1–5점으로 평가했습니다.
21개 모델의 전체 결과
실제로 청구된 1회 비용이 낮은 순서로 정렬했습니다. 필수 업무 점검을 통과하지 못했다면 자연스러움이 4점이어도 합격으로 보지 않았습니다.
| 모델 | 업무 점검 | 자연스러움 | 수정 없이 사람의 검토에 넘길 수 있는가 | 건별 청구 비용(USD) |
|---|---|---|---|---|
gemini-3.5-flash-lite | 미통과 | 4/5 | 소폭 수정 필요 | $0.0002532150 |
deepseek-v4-flash | 통과 | 4/5 | 예 | $0.0003867498 |
gemini-3.7-flash | 통과 | 2/5 | 대폭 수정 필요 | $0.0004511625 |
minimax-m3 | 통과 | 5/5 | 예 | $0.0007448700 |
gpt-5.6-sol | 통과 | 5/5 | 예 | $0.0013320000 |
gemini-4-argon | 통과 | 4/5 | 예 | $0.0016960000 |
gemini-3.6-flash | 통과 | 4/5 | 예 | $0.0023092875 |
gemini-3.8-flash | 통과 | 4/5 | 예 | $0.0024049125 |
claude-sonnet-5 | 통과 | 3/5 | 소폭 수정 필요 | $0.0030723000 |
deepseek-v4-pro | 통과 | 4/5 | 예 | $0.0052549130 |
claude-sonnet-5-5 | 통과 | 4/5 | 예 | $0.0056155000 |
claude-opus-4-6 | 미통과 | 4/5 | 소폭 수정 필요 | $0.0057062500 |
claude-opus-4-8 | 통과 | 4/5 | 예 | $0.0070647500 |
claude-opus-4-7 | 통과 | 4/5 | 예 | $0.0077220000 |
claude-opus-5 | 통과 | 4/5 | 예 | $0.0080382500 |
claude-opus-5-5 | 통과 | 4/5 | 예 | $0.0096030000 |
gpt-5.6-terra | 통과 | 5/5 | 예 | $0.0112116000 |
kimi-k3 | 통과 | 4/5 | 예 | $0.0144354000 |
claude-fable-5 | 미통과 | 4/5 | 소폭 수정 필요 | $0.0151415000 |
claude-fable-5-1 | 통과 | 4/5 | 예 | $0.0202675000 |
gpt-6-astra | 통과 | 5/5 | 예 | $0.0559440000 |
비용 대비 좋은 결과를 낸 모델은?
1. 합격한 답변 중 가장 저렴한 모델: DeepSeek V4 Flash
DeepSeek V4 Flash: 자연스러움 4/5, 업무 점검 통과, 이번 비용 $0.0003867498.
놀라운 점은 이 모델이 전체에서 가장 저렴하지는 않았다는 것입니다. Gemini 3.5 Flash Lite는 $0.0002532150로 더 저렴했지만 중요한 조건 하나를 빠뜨렸습니다. 승인 후 보통 5–10영업일이 걸린다고만 하고, 환불 처리가 끝난 뒤부터 계산하는 기간이라는 점을 분명히 밝히지 않았습니다. 그래서 완전한 합격으로 볼 수 없었습니다.
DeepSeek V4 Flash는 환불 신청 자격, 사람의 심사, 내일 입금을 보장할 수 없다는 점, 반값 할인이 없다는 점, 고객 확인 단계를 모두 담았습니다. 다소 정형화된 인사말은 있었지만, 전체적으로 수정 없이 사람의 검토에 넘길 수 있었습니다.
마지막에는 고객에게 이렇게 물었습니다.
¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.
고객의 뜻을 먼저 확인한 뒤 상담원이 신청을 제출하도록 준비한다는 의미입니다. 환불이 이미 끝났다고 주장하지 않습니다. 저희는 예쁜 인사말을 몇 줄 더하는 것보다 이 구분이 더 중요하다고 봅니다.
2. 5점 그룹에서 가장 저렴한 모델: MiniMax M3
MiniMax M3: 자연스러움 5/5, 업무 점검 통과, 이번 비용 $0.0007448700.
합격하면서 5점을 받은 네 모델 중 1회 비용이 가장 낮았습니다. 아래는 표현을 고치지 않은 전체 원문 답변입니다.
Hola, Alex:
Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.
Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.
¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.
Saludos,
Equipo de atención al cliente이 메일에서 마음에 든 점은 짧으면서도 실수하기 쉬운 경계를 모두 분명히 설명했다는 것입니다. 특히 ‘환불을 신청할 수 있다’를 ‘환불이 이미 승인됐다’로 바꾸지 않았고, 다음 단계는 고객의 확인이 있어야 진행된다는 점도 명확했습니다.
DeepSeek V4 Flash와 비교하면, MiniMax M3의 이번 답변은 $0.0003581202 더 비쌌고 익명 평가에서 자연스러움이 4점 대신 5점이었습니다. 한 통 기준으로는 작은 차이지만, 고객 응대 답변의 정형화된 느낌을 줄이고 싶다면 참고할 만합니다. 다만 이 메일 한 통만으로 MiniMax M3가 모든 고객 응대 상황에서 더 자연스럽다고 단정할 수는 없습니다.
3. 같은 5점이어도 비용은 크게 달랐습니다
자연스러움 5/5를 받고 업무 정보도 정확했던 네 모델은 다음과 같습니다.
| 모델 | 자연스러움 | 이번 비용 | 같은 사용량으로 1,000통 생성 시 예상 비용 |
|---|---|---|---|
| MiniMax M3 | 5/5 | $0.0007448700 | $0.7448700 |
| ChatGPT-5.6 Sol | 5/5 | $0.0013320000 | $1.3320000 |
| ChatGPT-5.6 Terra | 5/5 | $0.0112116000 | $11.2116000 |
| GPT-6 Astra | 5/5 | $0.0559440000 | $55.9440000 |
차이는 분명합니다. GPT-6 Astra의 이번 답변 비용은 MiniMax M3의 약 75배였지만, 두 모델 모두 자연스러움에서 5점을 받았습니다. 복잡한 업무에서도 능력이 같다는 뜻은 아닙니다. 이 특정 고객 메일 과제에서는 비싼 모델이 저희 평가 기준상 더 높은 점수를 받지 못했다는 뜻입니다.
GPT-6 Astra의 원문 답변도 길지 않습니다.
Hola, Alex:
Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.
Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.
¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?
Gracias y un saludo.이 간단한 메일에서 모델의 등급이나 이미지 때문에 가장 비싼 것을 고집할 이유는 찾기 어려웠습니다. 모델은 해야 할 일에 맞춰 골라야 합니다. 가장 강력하다는 이유만으로 무조건 선택할 필요는 없습니다.
나머지 5개 답변에는 어떤 문제가 있었을까요?
저희는 만점을 받은 모델 목록보다 이 부분이 더 유용하다고 생각합니다. 실제 서비스를 운영할 때 막아야 할 것은 ‘말투가 충분히 세련되지 않은 것’보다 정책을 잘못 설명하거나 상담원이 지킬 수 없는 약속을 하는 것이기 때문입니다.
| 모델 | 문제 | 수정이 필요한 이유 |
|---|---|---|
| Gemini 3.5 Flash Lite | 입금 기간의 시작점이 불명확함 | 5–10영업일이 환불 처리 후부터 시작된다고 명시하지 않았습니다. 자연스러움이 4/5여도 업무 점검은 통과하지 못했습니다. |
| Claude Opus 4.6 | 허가 없이 즉시 처리를 약속함 | un agente la tramitará de inmediato(상담원이 즉시 진행한다)라고 썼습니다. 제공된 업무 정보에는 이런 처리 시점 약속이 허용되어 있지 않았습니다. |
| Claude Fable 5 | 허가 없이 즉시 제출을 약속함 | uno de nuestros agentes la enviará de inmediato(상담원 중 한 명이 즉시 제출한다)라고 썼습니다. 이 역시 주어진 사실의 범위를 벗어났습니다. |
| Gemini 3.7 Flash | 심한 줄바꿈과 미완성 서명 | 의미상 업무 규칙은 지켰지만, 스페인어 단어를 여러 줄로 나누고 [Tu Nombre/Equipo de Soporte]를 그대로 남겼습니다. 대폭 정리가 필요했습니다. |
| Claude Sonnet 5 | 일부 스페인어 표현이 어색함 | 업무 점검은 통과했지만, ya que fue dentro de las 72 horas sin uso에서 시간과 ‘미사용’의 연결이 부자연스러워 문장을 조금 고쳐야 했습니다. |
직관과 조금 다른 결과도 있었습니다. Claude Opus 4.6과 Claude Fable 5는 둘 다 자연스러움 4점을 받았지만, 허가 없이 ‘즉시 처리’를 약속해 그대로 사람의 검토에 넘길 수 없었습니다. 유창함이 정확함을 뜻하지는 않습니다.
반대로 Gemini 3.7 Flash는 업무 정보가 대체로 맞았지만 문단과 줄바꿈이 이상했습니다. házmelo라는 단어까지 중간에서 잘랐습니다. 업무 판단의 오류가 아니라 최종 글의 완성도 문제였습니다. 그래서 업무 규칙 준수와 표현의 자연스러움을 따로 평가해야 합니다.
저희가 직접 AI 고객 지원을 만든다면 어떻게 고를까요?
이 표 하나로 ‘세계 최고의 이메일 모델’을 정하지는 않을 것입니다. 대신 목표를 세 단계로 나누는 편이 실용적입니다.
- 먼저 반드시 지켜야 할 업무 기준을 정합니다. 승인되지 않은 환불, 입금일, 할인을 모델이 약속하게 해서는 안 됩니다. 이 선을 넘은 답변은 문장이 아무리 좋아도 차단해야 합니다.
- 다음으로 실제 시간을 아껴 주는지 봅니다. 형식을 다시 정리하거나 말투를 고치거나 채우지 않은 자리표시자를 지워야 하는지 확인합니다. 멋진 형용사 하나를 더 쓰는 것보다 사람의 수정 작업을 줄이는 게 더 유용합니다.
- 마지막으로 실제 청구액을 비교합니다. 일상적이고 형식이 비교적 일정한 초안에는 이번에 합격한 저비용 모델인 DeepSeek V4 Flash와 MiniMax M3를 후보로 둘 수 있습니다. 업무가 더 복잡하다면 이번 순위를 그대로 적용하지 말고 다른 모델도 넣어 별도 테스트를 해야 합니다.
현재의 결론은 이렇습니다. DeepSeek V4 Flash는 낮은 비용으로 합격한 후보이며, MiniMax M3는 이번 5점 그룹에서 가장 저렴한 후보입니다. ChatGPT-5.6 Sol, ChatGPT-5.6 Terra, GPT-6 Astra도 5점을 받았지만 비용 차이는 컸습니다.
고객 응대 자동화, SaaS 이메일 도우미, 다국어 지원을 만들고 있다면 자신의 서비스에서 가장 자주 받는 질문 10–20개부터 시작해 보세요. ‘절대 약속하면 안 되는 내용’을 먼저 평가 규칙에 적고, 답변 품질과 청구액을 비교하는 것입니다. 꼭 가장 강력한 모델이 필요한 것은 아닙니다. 자신의 업무에서 충분히 믿을 수 있고 비용을 관리할 수 있는 모델이 필요합니다.
이번 모델은 모두 API Hop API로 호출했습니다. API Hop 텍스트 모델 목록에서 모델을 살펴보고, 모델 비교 페이지에서 API와 과금 정보를 비교할 수 있습니다. 현재 계정에서 사용할 수 있는 모델을 조회하는 방법은 API 문서를 참고하세요. 모델 제공 여부와 가격은 바뀔 수 있으므로 본인의 최신 API 결과와 청구 내역을 기준으로 확인해야 합니다.
부록: 21개 모델에 실제로 보낸 전체 입력
결과를 다시 확인할 수 있도록 공통 프롬프트를 원문 그대로 싣습니다. 업무 사실과 지시는 영어이고, 고객 메일은 스페인어입니다. 모델에 중국어 설명을 보낸 것은 아닙니다.
Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.
Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.
[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.
[CUSTOMER EMAIL]
Subject: Solicitud de reembolso
Hola,
Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.
¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?
Gracias por la ayuda,
Alex