Wir haben die Bearbeitung von Kundenserviceanfragen auf Claude 3.5 Sonnet umgestellt und in drei Monaten 21.000 Euro an Personalkosten eingespart.

Letzten Monat stand unser europäisches E-Commerce-Kundenservice-Team kurz vor dem Zusammenbruch: Eine Woche vor dem Black Friday-Rabattangebot erhielten wir täglich mehr als 1200 E-Mails von multilingualen Nutzern. Trotz der rund um die Uhr arbeitenden drei Kundenservice-Mitarbeiter mussten 40% der Anfragen mehr als 24 Stunden lang beantwortet werden, was zu einem Anstieg der negativen Kundenbewertungen um 18% führte. Die kurzfristige Anstellung von Aushilfen bedeutete nicht nur, dass der Schulungsaufwand nicht rechtzeitig erfolgen konnte, sondern auch, dass wir monatlich fast 20.000 Euro mehr ausgeben mussten.

Für diejenigen, die es noch nicht gehört haben: Eine kurze Erklärung.

Claude 3.5 Sonnet ist ein multimodales Großmodell, das von Anthropic im Jahr 2024 veröffentlicht wurde.Unter der Voraussetzung der Unterstützung des Kontextfensters „200K“ ist die Rechengeschwindigkeit doppelt so hoch wie bei der vorherigen Generation.Es passt genau, um alle Informationen unseres einzelnen Worktickets sowie die historischen Bestellungen und Kommunikationsaufzeichnungen der Nutzer aus den letzten fast 3 Monaten aufzunehmen.

Die drei Kernleistungen, die wir nutzen, zielen jeweils auf Schmerzpunkte der Kunden ab.

• Multilingual Understanding Accuracy: Unsere Nutzer sprechen Deutsch, Französisch, Spanisch und Italienisch. Bei der Bearbeitung von Nicht-Englisch-Schaltanfragen mit kleinen Modellen wurden früher „Rückzahlung“ und „Umtausch“ oft verwechselt. Die Fehlerrate von Sonnet liegt unter 2%, sodass die Anfragen direkt bearbeitet werden können, ohne zusätzliche Übersetzungstools zu verwenden.
• Lange Dokumentverarbeitung ohne Probleme: Wenn Kunden eine Rückgabe beantragen, fügen sie oft 5 bis 6 Fotos von beschädigten Produkten sowie eine Beschreibung von einigen hundert Wörtern hinzu. Sonnet kann Bilder, Texte und frühere Bestellverläufe auf einmal durchsehen und direkt eine Lösung erstellen, die unseren After-Sales-Richtlinien entspricht – ohne dass man die Informationen manuell überprüfen muss.
• Die Kosten sind niedrig genug: Unsere Messungen zeigen, dass die Kosten für die Verarbeitung von 1000 Tickets unter 10 Euro liegen. Selbst wenn man die Kosten für das Gateway und die Feinabstimmungen hinzurechnet, beträgt die monatliche Gesamtausgabe weniger als ein Fünftel des Monatsgehalts eines Vollzeit-Kundenservice-Mitarbeiters.

Im ersten Monat nach dem Wechsel zu Sonnet ist die durchschnittliche Reaktionszeit unserer Tickets von 17 Stunden auf 1,5 Stunden gesunken.Der Kundenservice muss sich nicht mehr mit wiederholten Rücksendungen oder Anfragen zur Logistik beschäftigen, sondern nur noch mit etwa 10 Prozent der komplexeren Streitigkeiten. Während der großen Verkaufsförderungen wurden auch keine zusätzlichen Mitarbeiter eingestellt.

Schauen Sie nicht nur auf die Vorteile – in den letzten zwei Wochen sind wir tatsächlich auf zwei echte Probleme gestoßen.

Das erste Problem war das Erkennen von Illusionen durch komplexe Regeln: Wir hatten eine spezielle Regel, die besagte, dass für maßgeschneiderte Produkte, die länger als 7 Tage alt sind, eine Rückerstattung möglich ist, sofern es sich um Qualitätsprobleme handelt. Anfangs gaben wir diese Regel direkt in das Modell ein, und das Modell lehnte die Anfragen der Nutzer weiterhin ab, basierend auf der allgemeinen Regel, dass maßgeschneiderte Produkte nicht zurückgegeben oder ausgetauscht werden können. Später haben wir diese spezielle Regel in einen auslösenden Prompt umgewandelt, der automatisch angewendet wird, sobald relevante Schlüsselwörter auftauchen. Dadurch konnten wir das Problem lösen.

Zweitens gibt es die Beschränkung des Datenverkehrs: Am Tag der großen Rabattaktionen ist die Anzahl der Spitzenanfragen dreimal so hoch wie normalerweise. Zu Beginn wurde keine Downgrade-Strategie umgesetzt, wodurch einige Anfragen direkt mit einer Fehlermeldung (429) abgewiesen wurden. Später fügten wir ein einfaches Warteschlangensystem hinzu, das nicht dringende Tickets um 10 Minuten verzögert, was dazu führte, dass es keine weiteren Fehlschläge mehr gab.

Klar gesagt: Wer dafür geeignet ist, der sollte es definitiv ausprobieren – wer nicht, der sollte es besser bleiben lassen.

Wenn Ihr Team eine der beiden Bedingungen erfüllt, ist es eine gute Wahl, dies direkt zu nutzen: Erstens, wenn Sie mit einer großen Menge an langen Texten und mehrmodalen strukturierten Aufgaben arbeiten müssen, wie z. B. Kundenservice-Tickets, Vertragsprüfungen oder Zusammenfassungen von langen Dokumenten; zweitens, wenn Ihr Geschäft in mehrsprachigen Regionen tätig ist und Sie nicht für jede Sprache separat Modelle anpassen möchten.

Wenn Sie nur einfache Antworten auf Schlüsselwörter benötigen, die Klassifizierung kurzer Texte durchführen möchten, oder wenn die Anforderungen an die Datensicherheit sehr hoch sind und Sie die Daten auf keinen Fall an Drittanbietermodelle übertragen dürfen, dann ist es nicht notwendig, dieses Tool zu verwenden. Für diese Zwecke reichen kleinere Modelle oder sogar Regelbasierende Systeme aus.

Zwei praktische Ratschläge für diejenigen, die es zum ersten Mal verwenden

Beim ersten Test sollte man nicht direkt den gesamten Datensatz übernehmen, sondern zunächst die historischen Tickets, die bereits innerhalb des letzten Monats bearbeitet wurden, durchlaufen lassen. Vergleichen Sie die Ergebnisse des Modells mit den Ergebnissen der manuellen Bearbeitung – wenn die Genauigkeit über 90 % liegt, kann das System online gestellt werden. Auf diese Weise können etwa 80 % der Probleme bei der Anpassung der Regeln vermieden werden.

Wenn Ihre Anfragen stark schwanken, sollten Sie unbedingt eine einfache Degradierungs-Warteschlange einrichten: Die kostenlose Kapazität von Sonnet ist sehr begrenzt, daher sollten Sie während der Spitzenzeiten Aufgaben mit niedrigerer Priorität nach hinten verschieben. So können Sie die Bedürfnisse der meisten kleinen und mittleren Unternehmen ohne zusätzliche Kosten für eine höhere Durchsatzkapazität erfüllen.

Einige Fragen, die Sie sich vielleicht stellen könnten

Q: Muss man spezielle Feinabstimmungen vornehmen? A: Wir haben die After-Sales-Regeln einfach in den Prompt geschrieben; ohne weitere Feinabstimmungen ist die Genauigkeit bereits ausreichend. Es sei denn, Ihre Geschäftsregeln sind besonders komplex – in diesem Fall lohnt es sich, Geld dafür auszugeben.

Q: Welche Option ist günstiger als GPT-4o? A: Unsere Tests haben gezeigt, dass die Verarbeitung derselben Tickets mit Sonnet etwa 30% kostengünstiger ist, während die Genauigkeit ähnlich ist. Für kleine und mittelständische Unternehmen, die auf die Kosten achten, ist die erste Option daher geeigneter.