Wir verwenden Claude 3 Opus zur Erkennung von grenzüberschreitenden Zolldeklarationen und haben dadurch 60 % der manuellen Überprüfungskosten eingespart – allerdings sind uns dabei drei Probleme begegnet.

Letzten Monat gab es auf der europäischen Plattform eine große Rabattaktion, und unsere dreiköpfige Gruppe, die für die grenzüberschreitende Zollabfertigung zuständig ist, war fast bis zum Umfall beschäftigt: Die neuen Compliance-Vorschriften fordern, dass die Zolldeklarationen für jede Lieferung die Warenkennziffer, die Herkunftsbescheinigung sowie die EU-Steueridentifikationsnummer entsprechen müssen. Das zuvor verwendete kleine Modell hatte eine Erkennungsrate von weniger als 70%, wodurch sich innerhalb einer Woche 1200 Anomaliede an Deklarationen angesammelt hatten, die überprüft werden mussten. Dies verlangsamte den gesamten Zollabfertigungsprozess um zwei Tage.

Was ist Claude 3 Opus?

Es ist der derzeit leistungsfähigste Großsprachmodell von Anthropic.Bei einer einmaligen Eingabe werden bis zu 2 Millionen Tokens unterstützt, was bedeutet, dass man beispielsweise ein ganzes 1500-seitiges Handbuch zur Handelskompliance direkt als Referenz verwenden kann.Es ist nicht notwendig, den Inhalt zu teilen und separate Anfragen zu senden. <<<MGSEG_D6F32C0DF102_END>>>

Die drei Kernvorteile, die wir durch unsere Messungen ermittelt haben

Der erste Punkt ist die direkte Steigerung der Genauigkeit bei der Erkennung komplexer Dokumente. Frühere Modelle verwechselten häufig handschriftliche Anmerkungen in mehrseitigen Zolldeklarationen sowie die Herkunftscodes auf Anhängen. Nach dem Wechsel auf Opus haben wir die in drei Jahren angesammelten Compliance-Vorschriften des Unternehmens zusammen mit der Liste aller Waren dieser Charge eingesetzt.Die Erkennungsgenauigkeit ist direkt auf 98 % gestiegen, und die Menge an manueller Überprüfung ist um 60 % gesunken.Auch während des letzten großen Verkaufssommers gab es keine Anomalien in Bezug auf die Anhäufung von Bestellungen.

Der zweite Vorteil ist, dass man sich keine komplizierten Arbeitsschritte mit der Erstellung von Anweisungswörtern machen muss. Früher haben wir monatelang an den Anweisungswörtern gearbeitet, um sicherzustellen, dass die kleinen Modelle strukturierte Daten erzeugen, die den Anforderungen der Zollbehörden entsprechen, und außerdem mussten mehrere Schichten von Regelüberprüfungen hinzugefügt werden. Mit Opus genügen drei korrekte Formatbeispiele, und die ausgegebenen Daten können direkt in unser Zollsystem eingefügt werden – das spart mindestens eine Woche Entwicklungsarbeit.

Der dritte Punkt ist, dass die Verarbeitung sensibler Daten viel einfacher ist. Bei grenzüberschreitenden Geschäften fürchten wir am meisten, dass Steuerinformationen der Kunden oder Unternehmensdatenlecks auftreten. Opus unterstützt die sogenannte „zero-shot“-Datenverarbeitung – es ist nicht notwendig, sensible Daten für Feinabstimmungen zu verwenden. Es genügt, eine Verarbeitungsregel in die Anfrage aufzunehmen, um das Ergebnis zu erhalten, was vollständig den Anforderungen der DSGVO entspricht. Somit entfällt die Notwendigkeit einer zusätzlichen Datenkonformitätsprüfung.

Keine Eile, ins Auto einzusteigen – diese paar Löcher haben wir bereits überquert.

Zunächst einmal sind die Kosten tatsächlich nicht niedrig. Früher kostete es uns etwa 2 Dollar, 1000 Zolldeklarationen mit einem herkömmlichen Modell zu verarbeiten. Nachdem wir auf Opus umgestellt haben, stiegen die Kosten direkt auf 15 Dollar. Wenn Sie täglich weniger als 100 Dokumente bearbeiten, sind diese Kosten sogar teurer als die eines Teilzeitprüfers, den Sie einstellen würden.

Zweitens war das Limitierungsverhältnis während der Spitzenzeiten schlimmer als erwartet. Am Tag des großen Rabattangebots erhöhten wir die Anzahl der parallelen Anfragen auf 10, wodurch direkt 12 % der Anfragen mit dem Fehler 429 abgewiesen wurden. Später mussten wir eine zusätzliche Warteschlange für Aufgaben einrichten, um nicht dringende Anfragen auf die Morgenstunden zu verschieben, um das Problem zu lindern.

Noch ein kleines Problem: Die Erkennungsrate für sehr selten gesprochene, kleine Sprachen bei handschriftlichen Inhalten sinkt deutlich. Wir hatten einmal einen portugiesischen handschriftlichen Ursprungszeugnisfall, bei dem Opus die darin enthaltenen Codes falsch erkannt hat. Erst eine manuelle Überprüfung konnte dies verhindern. Wenn Ihr Geschäft viele handschriftliche Dokumente in nicht-gängigen Sprachen umfasst, wäre es am besten, zuerst mit eurem eigenen Datensatz die Genauigkeit zu überprüfen.

Wer sollte es benutzen? Und wer sollte es überhaupt nicht anfassen?

Die geeigneten Anwendungsszenarien sind klar: Wenn Sie mit langen Dokumenten oder komplexen, mehrmodalen Inhalten arbeiten müssen – beispielsweise bei der Überprüfung von Rechtsverträgen, der Erkennung mehrseitiger Formulare oder dem Debuggen großer Codebibliotheken – und eine sehr hohe Genauigkeit erforderlich ist, wobei die Kosten für Fehlern deutlich höher sind als die Kosten für die Modellaufrufe, dann kann Opus Ihnen definitiv viel Arbeit ersparen.

Wenn Sie die Technologie nur für Kundenservice-Fragen, die Erstellung von alltäglichen Texten oder die einfache Extraktion von Schlüsselwörtern verwenden, dann ist sie wirklich nicht notwendig. Einfache kleine Modelle erfüllen diese Anforderungen voll und ganz – und dabei können Sie sogar mehr als 80% der Kosten sparen.

Zwei praktische Ratschläge für ein Team, das zum ersten Mal damit arbeitet

Zuerst sollten Sie nicht gleich alles auf einmal ersetzen. Beginnen Sie damit, 10 Prozent der komplexesten Anfragen in Ihrem Geschäft, die die höchsten Fehlerrisiken mit sich bringen, auf Opus umzustellen und erst nach einer Woche die Daten auswerten, um den ROI zu berechnen. Danach können Sie schrittweise das Verhältnis erhöhen. Wir haben angefangen, mit den multilingualen Zolldeklarationen zu testen, bei denen Fehler am ehesten auftreten, und erst nachdem wir die Vorteile bestätigt hatten, haben wir den Umstieg auf Opus vollständig durchgeführt.

Zweitens muss unbedingt eine Downgrade-Strategie eingeführt werden. Sollte es zu einer Limitierung der Leistung kommen oder die Erkennungsgenauigkeit unter 90% liegen, sollte automatisch auf ein kostengünstigeres Modell oder einen manuellen Bearbeitungsprozess umgeschaltet werden. Man sollte nicht alle Geschäftsprozesse auf dieses eine Modell verlassen.

Die letzte Antwort auf eine Frage, über die sich unser Team lange gestritten hat: Sollten wir auf eine billigere neue Version warten? Unsere Entscheidung ist: Wenn Ihre Geschäftsprozesse bereits jetzt aufgrund der schwierigen Dokumentenverarbeitung langsam sind und dadurch Personalkosten entstehen, lohnt es sich, die neue Version so früh wie möglich einzusetzen. Die Personalkosten, die wir in diesem Monat durch die verbesserte Überprüfung eingespart haben, reichen bereits aus, um die Kosten für die Modellaufrufe in den nächsten sechs Monaten zu decken.