21 KI-Modelle beantworten dieselbe Support-E-Mail: Wie unterscheiden sich Qualität und Kosten?

Welches KI-Modell würden Sie wählen, um die Erstattungsanfrage eines Kunden zu beantworten? Das teuerste oder das günstigste?

Wir haben vor Kurzem ein kleines, aber alltagsnahes Experiment gemacht: 21 Textmodelle bekamen dieselbe Kunden-E-Mail und durften jeweils genau einmal antworten. Wir haben weder die besten Ergebnisse herausgepickt noch die Modelle ihre Entwürfe mehrfach überarbeiten lassen. Anschließend prüften wir die Antworten anhand der Geschäftsregeln, ihre Natürlichkeit und die tatsächliche Rechnung.

Der Kunde stellte drei Fragen: Gibt es eine vollständige Erstattung? Ist das Geld morgen da? Gibt es nächsten Monat den halben Preis? Das klingt einfach. Doch das größte Risiko bei Support-E-Mails ist oft nicht die Grammatik, sondern ein Modell, das nebenbei etwas verspricht, wozu das Unternehmen es nie ermächtigt hat.

Das Ergebnis war aufschlussreich: Alle 21 Modelle lieferten eine vollständige Antwort. Aber nur 16 Antworten konnten nach unseren Kriterien ohne Überarbeitung an einen Menschen zur Prüfung vor dem Versand gehen. Über die API Hop-API kostete die günstigste geeignete Antwort nur $0.0003867498. Die teuerste Antwort des Experiments kostete $0.055944, also etwa 145-mal so viel.

Vorab eine Klarstellung: Die Kunden-E-Mail war simuliert. Auch das Abo-Produkt und die Erstattungsregeln wurden für das Experiment erfunden. Sie entsprechen nicht der tatsächlichen Erstattungsrichtlinie von API Hop. „Geeignet“ bedeutet hier auch nicht, dass wir die E-Mail an einen echten Kunden geschickt haben. Wir wollten herausfinden, was heutige Modelle in dieser Situation leisten können und wo ihre Grenzen liegen.

Die Ergebnisse auf einen Blick

Im Kundenservice ist es nur der erste Schritt, Text zu erzeugen. Entscheidend ist, ob er die Fakten richtig wiedergibt, die Befugnisse einhält und keine Nacharbeit verursacht.

„Ohne Überarbeitung“ heißt hier: Der Entwurf kann unverändert an einen Menschen zur Prüfung vor dem Versand gehen. Das System darf die menschliche Prüfung nicht überspringen und die E-Mail direkt an den Kunden senden.

Alle Modelle bekamen dieselbe Aufgabe

Alex schrieb auf Spanisch: Er hatte gestern 29 USD für ein Monatsabo bezahlt, es noch gar nicht genutzt und wollte eine Erstattung. Am liebsten sollte das Geld morgen da sein. Falls das nicht möglich wäre, hätte er gern den nächsten Monat zum halben Preis.

Die geschäftlichen Vorgaben waren auf Englisch, die Antwort sollte aber in der Sprache des Kunden, also auf Spanisch, verfasst werden. Die Grenzen waren klar festgelegt:

• Gestern gekauft und noch nicht genutzt: Der Kauf erfüllte die Voraussetzungen für einen Antrag auf vollständige Erstattung bei einem ungenutzten Kauf innerhalb von 72 Stunden. Eine menschliche Prüfung war jedoch nötig. Das Modell durfte die Erstattung nicht als bereits genehmigt darstellen.
• Nach Genehmigung und Bearbeitung trifft das Geld normalerweise 5–10 Werktage nach der Bearbeitung ein. Eine Gutschrift am nächsten Tag durfte nicht zugesagt werden.
• Ein Rabatt auf den halben Preis war nicht freigegeben. Das Modell durfte ihn nicht eigenständig anbieten.
• Es war noch kein Erstattungsantrag eingereicht, genehmigt oder bearbeitet worden. Zuerst musste der Kunde zustimmen; danach konnte ein Supportmitarbeiter den Antrag zur Prüfung einreichen.

Diese Regeln sollten den Modellen keine Falle stellen. Im echten Geschäftsalltag können unberechtigte Aussagen wie „Wir haben das schon für Sie erledigt“ oder „Das Geld ist garantiert morgen da“ dem Support später viel Erklärungsarbeit bescheren.

Wie haben wir einen fairen Ablauf sichergestellt?

Wir riefen alle 21 Modelle über denselben Chat-Completions-Endpunkt von API Hop auf, mit demselben Kontoschlüssel und genau derselben Eingabe. Die Aufrufe erfolgten nacheinander in einer zuvor zufällig festgelegten und gespeicherten Reihenfolge. Jedes Modell bekam einen einzigen Aufruf in einer eigenen Sitzung. Eine schlechte Antwort führte nicht zu einem neuen Versuch.

Für alle galt die Obergrenze max_tokens=8192. Wir legten weder Temperatur noch Denkaufwand fest und nutzten keine Websuche, externen Werkzeuge oder zusätzlichen Beispiele. Die Modelle behielten ihr standardmäßiges Denkverhalten und ihre tatsächliche Cache-Nutzung bei.

Für die Bewertung blendeten wir Modellnamen, Anbieter, Preise und Dauer aus. Nur die spanischen Originalantworten gingen in eine unabhängige, KI-gestützte anonyme Bewertung. Geprüft wurden Sprache, Erstattungsberechtigung, Bearbeitungsstatus, Zeitpunkt der Gutschrift, Rabatte, nächste Schritte und erfundene Fakten. Die Natürlichkeit wurde anschließend mit 1–5 Punkten bewertet.

Die vollständigen Ergebnisse der 21 Modelle

Die Tabelle ist nach den tatsächlich abgerechneten Kosten je Antwort aufsteigend sortiert. Wer die verbindlichen Geschäftsregeln verletzte, galt auch mit 4 Punkten für Natürlichkeit nicht als geeignet.

Welche Modelle boten das beste Preis-Leistungs-Verhältnis?

1. Günstigste geeignete Antwort: DeepSeek V4 Flash

DeepSeek V4 Flash: Natürlichkeit 4/5, verbindliche Geschäftsregeln erfüllt, Kosten in diesem Test $0.0003867498.

Das überraschte uns, denn es war nicht das günstigste Modell insgesamt. Gemini 3.5 Flash Lite kostete nur $0.0002532150, ließ aber eine wichtige Voraussetzung aus: Es nannte die üblichen 5–10 Werktage nach Genehmigung, ohne klarzustellen, dass die Frist erst nach der Bearbeitung der Erstattung beginnt. Deshalb konnten wir diese Antwort nicht als vollständig geeignet werten.

DeepSeek V4 Flash deckte dagegen die Antragsberechtigung, die menschliche Prüfung, die fehlende Garantie für morgen, den nicht verfügbaren Rabatt und die Bestätigung durch den Kunden ab. Einige höfliche Formulierungen wirkten etwas vorgefertigt. Insgesamt konnte der Entwurf aber unverändert zur menschlichen Prüfung gehen.

Am Ende fragte es den Kunden:

¿Te gustaría que un agente humano registre tu solicitud de reembolso para revisión manual? Si me confirmas tu intención, puedo dejarlo listo para que se envíe.

Sinngemäß bittet es zuerst um die Bestätigung des Kunden, bevor ein Mitarbeiter den Antrag einreicht. Es behauptet nicht, die Erstattung sei erledigt. Das ist uns wichtiger als ein paar zusätzliche freundliche Floskeln.

2. Günstigstes Modell in der Gruppe mit 5 Punkten: MiniMax M3

MiniMax M3: Natürlichkeit 5/5, verbindliche Geschäftsregeln erfüllt, Kosten in diesem Test $0.0007448700.

Unter den vier geeigneten Modellen mit 5 Punkten hatte es die niedrigsten Kosten pro Antwort. Hier ist die vollständige Originalantwort, ohne Änderungen am Wortlaut:

Hola, Alex:

Tu compra del plan mensual de 29 USD, realizada ayer y sin uso, es elegible para solicitar un reembolso completo. Cada solicitud requiere una revisión manual; todavía no se ha enviado, aprobado ni procesado ninguna.

Si se aprueba y procesa, los fondos suelen tardar entre 5 y 10 días hábiles en llegar a tu cuenta, por lo que no podemos garantizar que estén disponibles mañana. Tampoco podemos ofrecer un descuento del 50 % para el próximo mes.

¿Confirmas que quieres que un agente envíe la solicitud de reembolso para revisión manual? Podemos hacerlo después de tu confirmación.

Saludos,
Equipo de atención al cliente

Uns gefiel, dass die E-Mail kurz war und trotzdem mehrere leicht zu übersehende Grenzen klar einhielt. Vor allem machte sie aus „Erstattung kann beantragt werden“ kein „Erstattung ist genehmigt“. Außerdem hing der nächste Schritt ausdrücklich von der Bestätigung des Kunden ab.

Die Antwort von MiniMax M3 kostete $0.0003581202 mehr als die von DeepSeek V4 Flash. In dieser anonymen Bewertung stieg die Natürlichkeit dabei von 4 auf 5 Punkte. Für eine einzelne E-Mail ist der Preisunterschied winzig. Wenn Antworten möglichst wenig nach Vorlage klingen sollen, ist das dennoch ein nützlicher Anhaltspunkt. Aus einer einzigen E-Mail lässt sich nicht ableiten, dass MiniMax M3 in allen Support-Situationen natürlicher schreibt.

3. Dieselben 5 Punkte, sehr unterschiedliche Kosten

Diese vier Modelle erreichten 5/5 für Natürlichkeit und erfüllten die Geschäftsregeln:

Der Vergleich ist deutlich: Die Antwort von GPT-6 Astra kostete etwa 75-mal so viel wie die von MiniMax M3. Beide erhielten in diesem Test aber 5 Punkte für Natürlichkeit. Das bedeutet nicht, dass sie bei komplexen Aufgaben gleich leistungsfähig sind. Es zeigt lediglich, dass das teure Modell bei genau dieser Support-E-Mail nach unseren Kriterien keine höhere Bewertung erreichte.

Auch die Originalantwort von GPT-6 Astra war nicht lang:

Hola, Alex:

Como pagaste 29 USD ayer y no has utilizado el servicio, tu compra cumple los requisitos para solicitar un reembolso completo dentro del plazo de 72 horas. La solicitud requiere revisión manual y aún no se ha presentado.

Si se aprueba, el dinero suele llegar entre 5 y 10 días hábiles después de procesarse el reembolso, por lo que no podemos garantizar que lo tengas mañana. Tampoco tenemos disponible un descuento del 50 % para el próximo mes.

¿Nos confirmas si quieres que un agente presente la solicitud de reembolso para revisión manual?

Gracias y un saludo.

Bei dieser einfachen E-Mail sehen wir keinen Grund, allein wegen der Marktpositionierung auf dem teuersten Modell zu bestehen. Die Aufgabe sollte die Modellwahl bestimmen, nicht der Reflex, immer das vermeintlich stärkste Modell zu nehmen.

Was war an den anderen 5 Antworten problematisch?

Diesen Teil fanden wir nützlicher als die Liste der Bestnoten. Im produktiven Einsatz möchten wir vor allem verhindern, dass ein Modell Richtlinien falsch wiedergibt oder Versprechen macht, die der Support nicht halten kann. Ob der Ton besonders elegant ist, ist zweitrangig.

Etwas widersprüchlich wirkte zunächst: Claude Opus 4.6 und Claude Fable 5 erhielten beide 4 Punkte für Natürlichkeit, konnten aber wegen der zusätzlichen Zusage sofortigen Handelns nicht direkt zur menschlichen Prüfung gehen. Flüssig geschrieben heißt nicht automatisch richtig.

Bei Gemini 3.7 Flash war es umgekehrt: Die Geschäftsinformationen stimmten weitgehend, aber die Absätze waren merkwürdig getrennt. Sogar házmelo wurde mitten im Wort auseinandergerissen. Das Problem lag nicht in der geschäftlichen Beurteilung, sondern in der Qualität des fertigen Entwurfs. Deshalb betrachten wir die Einhaltung der Geschäftsregeln und die Natürlichkeit der Sprache getrennt.

Wie würden wir ein Modell für unseren eigenen KI-Support auswählen?

Aus dieser Tabelle allein würden wir kein „weltbestes E-Mail-Modell“ küren. Praktischer ist es, die Entscheidung in drei Ebenen aufzuteilen:

1. Zuerst die geschäftlichen Grenzen festlegen. Das Modell darf keine ungenehmigten Erstattungen, Gutschrifttermine oder Rabatte versprechen. Antworten, die diese Grenzen verletzen, müssen aufgehalten werden, unabhängig von ihrem Stil.
2. Danach prüfen, ob es Zeit spart. Müssen Formatierung oder Ton korrigiert oder leere Platzhalter entfernt werden? Weniger manuelle Nacharbeit ist nützlicher als ein weiteres hübsches Adjektiv.
3. Zum Schluss die tatsächliche Abrechnung vergleichen. Für alltägliche Entwürfe mit recht festem Format sind DeepSeek V4 Flash und MiniMax M3 aufgrund ihrer geeigneten und günstigen Antworten hier interessante Kandidaten. Bei komplexeren Aufgaben sollten weitere Modelle gezielt getestet werden, statt diese Rangfolge einfach zu übernehmen.

Unser vorläufiges Fazit: DeepSeek V4 Flash ist ein günstiger geeigneter Kandidat, MiniMax M3 der günstige Kandidat unter den Modellen mit 5 Punkten in diesem Test. Auch ChatGPT-5.6 Sol, ChatGPT-5.6 Terra und GPT-6 Astra erhielten 5 Punkte, allerdings bei sehr unterschiedlichen Kosten.

Wenn Sie Support-Automatisierung, einen SaaS-E-Mail-Assistenten oder mehrsprachigen Support entwickeln, beginnen Sie am besten mit Ihren eigenen 10–20 häufigsten Fragen. Legen Sie zuerst fest, welche Versprechen niemals gemacht werden dürfen. Vergleichen Sie dann Antwortqualität und Rechnungen. Sie brauchen nicht unbedingt das stärkste Modell, sondern eines, das Ihre Aufgaben zuverlässig genug und zu tragbaren Kosten erledigt.

Alle Modelle dieses Tests wurden über die API Hop-API aufgerufen. Im API Hop-Verzeichnis für Textmodelle finden Sie die Modelle. Auf der Modellvergleichsseite können Sie Schnittstellen und Abrechnung vergleichen. Die API-Dokumentation erklärt, wie Sie die für Ihr Konto verfügbaren Modelle abfragen. Verfügbarkeit und Preise ändern sich. Maßgeblich sind Ihre aktuellen API-Ergebnisse und Rechnungen.

Anhang: Die vollständige Eingabe an alle 21 Modelle

Damit sich der Vergleich nachvollziehen lässt, folgt hier der gemeinsame Prompt im unveränderten Wortlaut. Die geschäftlichen Fakten und Anweisungen stehen auf Englisch, die Kunden-E-Mail auf Spanisch. Die chinesischen Erläuterungen wurden nicht an die Modelle gesendet.

Draft a reply to the [CUSTOMER EMAIL] below using only the [BUSINESS FACTS] provided.

Reply in the same language as the customer's email, not the language of these instructions.
Use a natural, warm, professional tone. Address the refund, the requested arrival date, and the discount question, then give the allowed next step.
Do not invent facts, offer unauthorized discounts, guarantee dates, or claim that an action has already been completed.
Keep the reply concise: a greeting, a few short paragraphs, and a closing. Avoid unnecessary boilerplate.
Return only the customer-facing email body. Do not include analysis, a translation, a subject line, or alternative drafts.

[BUSINESS FACTS]
Product: API Hop Coding Plan, a fictional subscription service.
Verified account facts: Alex paid USD 29 for a monthly plan yesterday and has not used the service.
Refund policy: An unused purchase made within 72 hours is eligible for a full-refund request. Every request requires manual review.
Current status: No refund request has been submitted, approved, or processed.
Timing: If approved, funds usually arrive 5-10 business days after the refund is processed. Arrival tomorrow cannot be guaranteed.
Discounts: No 50% discount is available or authorized.
Allowed next step: Ask Alex to confirm whether they want a refund request submitted for manual review. A human agent can submit it after confirmation.
Authority: This task only drafts a reply. It does not execute any account or payment action.

[CUSTOMER EMAIL]
Subject: Solicitud de reembolso

Hola,

Ayer pagué 29 USD por el plan mensual de DemoNotes, pero al final no voy a usarlo. Todavía no he utilizado ninguna de sus funciones.

¿Pueden devolverme el dinero? Me vendría muy bien tenerlo en mi cuenta mañana. Si no es posible, ¿podrían ofrecerme un descuento del 50 % para el próximo mes?

Gracias por la ayuda,
Alex