Wir haben mit GPT-4 Millionen von After-Sales-Tickets verarbeitet und 32 Prozent der Arbeitskraft eingespart. Vermeiden Sie diese drei Fehler, die viele Unternehmen machen.

Während des Höhepunkts des Black Friday-Rabattes letzten Monats beobachteten drei Mitglieder unseres Teams die Überwachungspaneele und sahen, wie die Fehlerrate bei den After-Sales-Anfragen von 1% auf 12% sprang – das zuvor verwendete kleine Modell konnte die Menge an multilingualen Anfragen in Höhe von 1,2 Millionen pro Tag einfach nicht bewältigen. Die Anzahl der Kundenbeschwerden stieg innerhalb von 24 Stunden um das Vierfache. Schließlich wechselten wir kurzfristig auf die Leistung von GPT-4, wodurch die Fehlerrate auf unter 0,3% gesenkt werden konnte.

Zuerst müssen wir verstehen: Was kann GPT-4 tatsächlich kleinen und mittleren Unternehmen ersparen?

Einfach ausgedrückt ist es das derzeit am besten ausbalancierte Großmodell von OpenAI, das für Unternehmen verfügbar ist. Es unterstützt Eingaben mit einer Länge von bis zu 128.000 Zeichen und bietet eine Mehrsprachverständnisgenauigkeit, die um mehr als 40% höher ist als die der meisten spezialisierten, kleineren Modelle. Sie können damit komplexe Szenarien direkt bearbeiten, ohne viel zusätzliche Anpassung („Fine-Tuning“) durchführen zu müssen.

Für unser kleines Team von 20 Personen, das im internationalen Haushaltsgeräte-Handel tätig ist, sind die drei direktesten Vorteile völlig unkomplizierte und leicht nachvollziehbare:

• Zuerst einmal müssen für die multilingualen Tickets keine speziellen Übersetzer mehr eingesetzt werden. Die Nachsorgeberatung in Spanisch, Französisch und Polnisch wird direkt verstanden, und es werden standardisierte Antworten in den jeweiligen Sprachen ausgegeben.Unser After-Sales-Personal hat direkt 32 % eingespart.
• Die Genauigkeit der Diagnose bei komplexen Fehlern ist viel höher als bei den früheren, kleineren Modellen. Früher mussten 17 Prozent der Tickets manuell nochmals überprüft werden, jetzt liegt dieser Anteil unter 4 Prozent.
• Es ist nicht notwendig, viele feinabgestimmte Trainingsdaten zu sammeln – einfach die neuen Produktanleitungen hinzufügen, und die Systeme passen sich innerhalb von 2 Stunden den entsprechenden After-Sales-Fragen an. Während der großen Verkaufsförderungen steigt die Effizienz besonders deutlich.

Schauen Sie nicht nur auf die Vorteile – wir sind bereits auf einige echte Probleme gestoßen, die wir selbst erlebt haben.

Das erste Problem ist das Ausufern der Kosten. Als wir gerade auf GPT-4 umgestellt haben, haben wir keine Eingabebegrenzungen vorgenommen. Die Texte, die aus den von Benutzern hochgeladenen, mehrseitigen Fehlerbildern erstellt wurden, wurden direkt verwendet, was zu höheren Token-Kosten am Tag führte als in der gesamten vorherigen Woche. Später fügten wir einen vorherigen Filter hinzu, um unnötige und redundante Informationen zu entfernen, wodurch die Kosten direkt um die Hälfte gesunken sind.

Der zweite Punkt, der wirklich Probleme bereitet, ist die Beschränkung der Datenrate („Traffic Throttling“). Wenn man während einer temporären Großverkaufsaktion direkt auf die offizielle API zugreift, kann es sehr leicht zu einer Überschreitung der Konkurrenzgrenzen kommen. Am Black Friday haben wir beispielsweise eine 10-minütige Beschränkung der Datenrate erlebt. Um dieses Problem zu lösen, haben wir drei Tage im Voraus den Kundenmanager kontaktiert und um eine vorübergehende Erweiterung der Kapazitäten gebeten. Man sollte auf keinen Fall warten, bis die Datenrate tatsächlich ansteigt, bevor man eine Anfrage stellt.

Der dritte Fehler war eine Fehlinterpretation von sensiblen Inhalten. Ein Benutzer fragte lediglich, ob das Gehäuse des Ofens beim Erhitzen etwas heiß sei und ob es explodieren könnte, wurde aber direkt von der Inhalts-Sicherheits-Schnittstelle blockiert und ein Fehler zurückgegeben. Später fügten wir eine Prüfung auf sensibles Vokabular hinzu, um normale Fehlerberatungs-Suchbegriffe zu filtern, und erst dann sank die Fehlinterpretationsrate auf ein akzeptables Niveau.

Sollte man jetzt wirklich auf GPT-4 umsteigen? Schauen wir uns zuerst diese beiden Kriterien an.

Anwendungsbereiche:Wenn Sie mit mehrsprachigem Inhalt arbeiten müssen, komplexe Textverarbeitungen durchführen (z. B. die Zusammenfassung von Dokumenten mit Dutzenden von Seiten, mehrstufige After-Sales-Beratungen, Code-Debugging) oder wenn Ihr Team keine spezialisierten Algorithmen-Experten hat, um kleine Modelle anzupassen, ist es viel kosteneffizienter, direkt GPT-4 zu verwenden, anstatt eigene Modelle zu entwickeln.

Fälle, in denen es nicht angemessen ist zu verwenden:Wenn Ihre Anwendungssituation besonders einfach ist – beispielsweise wenn es nur um die Erstellung von Antworten auf bestimmte Schlüsselwörter, die Generierung von Standard-SMS-Nachrichten oder die Sicherstellung geht, dass keine Daten aus dem System herausgegeben werden dürfen – dann ist es wirklich nicht notwendig, einen teuren, hochentwickelten Algorithmus zu verwenden. Für solche Aufgaben reichen einfache Modelle oder sogar Regelbasierte Systeme aus. Es wäre reine Verschwendung, Geld dafür auszugeben.

Zwei konkrete Ratschläge für ein Team, das zum ersten Mal damit arbeitet:

Zuerst verwenden wir 10 Prozent des Datenverkehrs für einen Graustufen-Test, um über einen Zeitraum von 7 Tagen die tatsächliche Genauigkeit, die Kosten und die Reaktionsgeschwindigkeit zu überprüfen, um sicherzustellen, dass sie Ihren Erwartungen entsprechen. Führen Sie keinen sofortigen Umstieg auf die gesamte Datenmenge durch – damals sind wir genau deshalb auf Probleme mit der Datenbeschränkung gestoßen. Heute ist der Graustufen-Test zu einem festen Bestandteil unseres Prozesses beim Wechseln von Modellen geworden.

Zweitens muss unbedingt eine zusätzliche Schicht für die Verkehrssteuerung hinzugefügt werden, um einfache Anfragen an günstigere, kleinere Modelle zu leiten. Nur komplexe Anfragen, die von den kleineren Modellen nicht bearbeitet werden können, werden an GPT-4 weitergeleitet. Nachdem wir dies umgesetzt haben, ist die Gesamtkostenstruktur des Modells um weitere 28 Prozent gesunken – ohne dass die Leistung beeinträchtigt wurde.

Zwei häufige kleine Probleme

Frage: Kann es zu einem Datenleak kommen? Antwort: Wenn Sie die Enterprise-Version der API verwenden, hat OpenAI ausdrücklich erklärt, dass die Benutzereingaben nicht zur Modelltrainung verwendet werden. Wir haben eine Compliance-Überprüfung durchgeführt, und die Lösung entspricht den Anforderungen der EU-Datenschutzverordnung GDPR – Sie können sie beruhigt nutzen.

Frage: Wird die Reaktionsgeschwindigkeit sehr langsam sein? Antwort: Die meisten normalen Ticket-Anfragen werden innerhalb von 150 Millisekunden beantwortet. Nur bei der Verarbeitung besonders langer Texte kann es bis zu 1 Sekunde dauern, was für After-Sales-Szenarien völlig ausreicht.