Mit der OpenAI-API die Überprüfung europäischer Logistikadressen durchführen: Wir haben 32 % der Personalkosten eingespart und außerdem zwei gefährliche Fehler vermieden.

Die große Rabattaktion in der letzten Woche ist gerade zu Ende gegangen, und bei der Nachbesprechung in unserem Technikteam haben wir festgestellt, dass die Erfolgsrate der automatischen Adressüberprüfung in diesem Jahr um 41 Prozent gestiegen ist. Im Vergleich zum letzten Jahr reicht es dieses Jahr aus, nur noch einen Teilzeitmitarbeiter zu behalten, der sich auf die Bearbeitung von fehlerhaften Adressen spezialisiert hat, anstatt drei.

Aber niemand möchte über das Problem mit dem Fehler 429 sprechen, auf das wir letzten Monat gestoßen sind – in den drei Stunden, in denen es am ersten Tag der großen Rabattaktion am meisten zu tun gab…13 Prozent der Adressauflösungsanfragen werden direkt zurückgewiesen.Der Kundenservice-Backend ist zusammengebrochen, und das Betriebsteam wäre beinahe gekommen, um unsere Tische umzustürzen.

Für diejenigen, die damit noch keine Erfahrung haben: Was genau ist die OpenAI-API?

Sie müssen keine eigenen großen Modelle trainieren – Sie können einfach die APIs von bereits von OpenAI trainierten Modellen wie GPT-4o oder GPT-3.5-turbo aufrufen, eine Anfrage senden und die Ergebnisse erhalten. Die Gebühren werden nach der Anzahl der von Ihnen verwendeten Tokens berechnet. Die Version, die maximal 128.000 Kontexte pro Anfrage unterstützt, ist jetzt vollständig verfügbar.

Der Grund, warum wir uns damals dafür entschieden haben, war ganz einfach: Die Adressformate in den europäischen Ländern sind viel zu unstrukturiert. Die Postleitzahlen in Großbritannien unterscheiden sich komplett von denen in Deutschland, und es gibt außerdem viele Rechtschreibfehler in verschiedenen Sprachen. Die von uns selbst erstellte Regelbasis wurde alle sechs Monate aktualisiert – doch es gab immer noch Fehler. Mit einer API, die semantische Analysen durchführt, steigt die Genauigkeit auf über 96%, sobald der richtige Prompt bereitgestellt wird.

Wir haben tatsächlich drei echte Vorteile erhalten – keine „leeren“ Versprechen oder leere Versprechen.

• Man muss kein eigenes Algorithmenteam einstellen, um Modelle anzupassen. Drei Backend-Entwickler haben in einer Woche die Schnittstellen integriert, und im ersten Monat nach der Veröffentlichung konnten die Personalkosten der drei Teilzeitangestellten um 32% eingespart werden.
• Bisher konnten die Regelbibliotheken über 90 Prozent der Rechtschreibfehler und Abkürzungen in Adressen nicht erkennen und korrigieren. Durch diese Verbesserung ist die Rücksendungsrate von Bestellungen, bei denen die Nutzer falsche Adressen eingaben, um 28 Prozent gesunken.
• Es wird die Eingabe von Adressen in mehreren Sprachen unterstützt. Wenn polnische Nutzer Adressen auf Polnisch und spanische Nutzer Adressen auf Spanisch eingeben, muss keine separate Lokalisierung durchgeführt werden. Die Daten können direkt an die Schnittstelle übergeben werden, und diese konvertiert sie in ein standardisiertes Logistikformat.

Schau nicht nur auf die Vorteile – wegen diesen beiden Fehlern hätten wir fast alles verloren.

Das erste Problem war das Standard-Limiting auf Basis eines einzigen Modells. Früher nutzten wir nur GPT-4o-mini, und das standardmäßige Minutenlimit reichte normalerweise aus. An einem Tag mit großem Verkaufsförderungsangebot verdreifachte sich jedoch die Anzahl der Anfragen, was direkt zum Aktivieren des Limitings führte. 13 Prozent der Anfragen erhielten die Fehlermeldung 429. Um das Problem zu lösen, fügten wir eine Degradierungslogik hinzu, die die Anfragen außerhalb der Stoßzeiten auf GPT-3.5-turbo umleitete.

Der zweite Fehler besteht in der Fehlbeurteilung sensibler Adressen. Einmal gab ein Benutzer eine Adresse ein, die Wörter enthielt, die mit „Militärstützpunkt“ in Verbindung standen, und diese Adresse wurde direkt von der Inhaltssprüfung der API blockiert. Da wir keine Sicherheitsmaßnahmen für Fälle von Fehlern eingerichtet hatten, blieb der Auftrag zwei Tage lang unerfüllt, was dazu führte, dass der Benutzer eine negative Bewertung abgab.

Wer sollte es verwenden? Wer sollte wirklich kein Geld verschwenden?

Wenn Sie, genau wie wir, in einem Geschäftsbereich tätig sind, der die semantische Verarbeitung mehrerer Sprachen sowie die Erstellung unendlicher Regeln erfordert – beispielsweise bei der Adressüberprüfung, automatischen Antworten auf Benutzeranfragen oder der Erstellung von Inhalten in verschiedenen Sprachen – und es in Ihrem Team keine spezielle Algorithmenentwicklungseinheit gibt, dann ist es viel kostengünstiger, die OpenAI-API zu nutzen, anstatt eigene Modelle zu trainieren.

Aber wenn Sie mit kritischen Daten arbeiten, bei denen es absolut nicht zulässig ist, die Daten aus dem eigenen System herauszugeben – wie zum Beispiel bei der Verarbeitung von Finanzdaten, der Analyse medizinischer Datenschätze oder in einfachen Szenarien mit konstanter Anfragezahl und klaren Regeln – dann sollten Sie sich nicht an dieser Entwicklung beteiligen. Es ist kostengünstiger und sicherer, Ihre eigenen Regeln zu schreiben oder kleine Modelle lokal zu deployen.

Drei Tipps für Anfänger – alle basieren auf unseren eigenen Fehlern und Erfahrungen

• Nehmen Sie nicht nur ein Modell in Betracht, sondern bereiten Sie mindestens zwei Modelle unterschiedlicher Qualität vor, um auf Fälle von Ausfällen reagieren zu können. Für Anfragen mit hohen Anforderungen verwenden Sie das Modell mit der höheren Genauigkeit, während Sie für weniger wichtige Anfragen oder während Spitzenzeiten das günstigere, weniger leistungsstarke Modell einsetzen. Dadurch können Sie Kosten um mindestens 40% einsparen und gleichzeitig vermeiden, dass das System aufgrund von Überlastung des einzelnen Modells ausfällt.
• Alle Anfragen müssen mit Wiederholungsversuchen und Notfalllogiken versehen werden. Szenarien für Inhaltsprüfungen, Bandbreitenbeschränkungen und Timeout-Fälle sollten im Voraus festgelegt werden, damit man nicht erst reagieren muss, wenn die Schnittstelle nicht mehr funktioniert.
• Man sollte nicht gleich mit dem hochentwickeltesten Modell beginnen, sondern zunächst mit dem günstigsten Modell, GPT-3.5-turbo, um die Leistung zu testen. Wenn die Ergebnisse nicht zufriedenstellend sind, kann man zu einem fortgeschritteneren Modell wechseln. Für die meisten einfachen Anwendungsszenarien reichen kleine Modelle völlig aus.

Zum Schluss noch zwei häufig gestellte Fragen

Frage: Wird die Anrufverbindung in Europa sehr verzögert?
Antwort: Wir verwenden den Frankfurt-Node, und die meisten Anfragen werden innerhalb von 15 Millisekunden abgewickelt. Nur ein Prozent der Anfragen steigt plötzlich auf über 200 Millisekunden an. Durch das Hinzufügen eines Caches kann dieses Problem gelöst werden, ohne dass es den Geschäftsbetrieb beeinträchtigt.

Frage: Kann es vorkommen, dass die解析-Ergebnisse falsch sind?
Ja, wir überweisen jetzt Ergebnisse mit einer Zuverlässigkeit von weniger als 80% zur manuellen Überprüfung. Nach der Einführung dieser Regel kann die Fehlerrate praktisch ignoriert werden.