私たちはClaude 3 Opusを使用して国境を越える通関申告書の識別を行い、人の手による再確認コストを60％削減しましたが、3つの問題に直面しました。

先月のヨーロッパサイトの大セールの際、私たちが担当していた国境を越える通関業務の3人チームは、ほとんど休む間もなく忙しく動き回りました。新しいコンプライアンスポリシーにより、各ロットの貨物の通関申告書には商品コード、原産地証明、EUの税務識別番号が一致していなければならなくなりました。以前使用していた小規模なモデルの識別率は70％未満で、1週間で1200件もの異常な申告書が積み上がり、通関プロセス全体が2日間遅れることになりました。

Claude 3 Opusとは何ですか？

Anthropicは現在、最も強力な大言語モデルです。一度に200万トークンの入力をサポートしており、これは1500ページ分の貿易コンプライアンスマニュアル全体を直接読み込んでコンテキスト参照として使用できることに相当します。、コンテンツを分割してセグメントごとにリクエストする必要はありません。

私たちが実際に測定した3つの主要な収益

第一个は複雑な文書の認識精度を完全に引き上げました。以前のモデルでは、複数ページの通関申告書に記載された手書きのメモや付属書類の原産地コードをよく間違えていましたが、Opusを導入してからは、会社が3年間にわたって蓄積してきたコンプライアンスルールとそのロットのすべての商品のリストを一緒に処理するようになりました。認識精度が直接98％に達し、人の確認作業量が60％減少しました。先週の大規模セールのピーク時にも、異常な注文の滞留は発生しませんでした。

二つ目は、複雑なヒント文のエンジニアリングに手を出さなくてもいいという点です。以前は、小さなモデルが税関の要求に合った構造化データを出力するようにするために、ヒント文の調整だけで半月もかかり、さらにいくつものルールチェックを加えなければなりませんでした。しかしOpusでは、正しいフォーマットの例を3つ与えるだけで、出力された内容をそのまま私たちの通関システムに接続できるため、少なくとも1週間分の開発作業が省けます。

三つ目は、機密データの処理がより簡単になったことです。私たちがクロスボーダービジネスを行う上で最も恐れているのは、ユーザーの税務情報や企業の資格情報の漏洩です。Opusはゼロショットデータ処理をサポートしており、機密データを微調整に使用する必要がありません。リクエストに処理ルールを追加するだけで結果を返すことができ、GDPRの要件を完全に満たしています。追加のデータコンプライアンス承認も必要ありません。

急がずに車に乗ってください。これらの穴についてはもうすでに対処しました。

まず、コストが本当に高いです。以前は通常のモデルを使用して1000件の通関申告書を処理するのに約2ドルかかっていましたが、Opusに切り替えた後は直接15ドルに上がりました。もし毎日処理する書類の量が100件未満なら、このコストはアルバイトのレビュアーを雇うよりも高くなります。

次に、ピーク時のリクエスト処理の遅延が想像以上に深刻でした。セールの日には並行処理のリクエスト数を10に増やしましたが、その結果、12％のリクエストで429エラーが発生しました。その後、緊急でないリクエストを夜中に処理するためのタスクキューを追加することで、この問題を緩和することができました。

もう一つ小さな問題があります：非常にマイナーな言語の手書きテキストに対する認識率が大幅に低下します。ポルトガル語の手書き原産地証明書のケースがありましたが、Opusはそのテキストのエンコーディングを誤って認識してしまい、最終的には人の手で確認を行って問題を防ぎました。もしあなたのビジネスで多くの非一般的な言語の手書き文書を扱う場合は、まず自分のデータセットで認識率をテストすることをお勧めします。

誰が使うべきか？誰にとっては全く必要ないのか？

適しているシナリオは明確です：長文書の処理や多様なモダリティを持つ複雑なコンテンツ、例えば法律文書の監査や複数ページのフォームの認識、長いコードベースのデバッグなどが必要であり、高い精度が求められ、エラーによるコストがモデルの呼び出しにかかるコストを大幅に上回る場合、Opusは間違いなく多くの手間を省くことができます。

もしもそれをカスタマーサービスのQ&A、一般的なコピーライティング、簡単なキーワード抽出にしか使わないのであれば、本当に必要ありません。普通の小規模なモデルで十分に対応でき、コストも80％以上節約できます。

初めてチームを率いる方への実践的なアドバイス2つ

まず、最初から全量を置き換えるのはやめましょう。まず、ビジネス内で最も複雑でエラー発生コストが高いリクエストの10%をOpusに切り替え、1週間データを分析してROIを確認してから、徐々にその割合を増やしていきましょう。私たちは、エラーが発生しやすい多言語の通関申告書からテストを始め、収益が確定した後に全量を切り替える予定です。

第二に、ダウングレード戦略を必ず実施してください。リミットがかかった場合や、認識の信頼度が90％未満の場合には、自動的に低コストのモデルや人手による処理プロセスに切り替えるようにしてください。すべてのビジネスを一つのモデルに依存させてはいけません。

最後に、私たちのチームが長い間悩んでいた問題に答えを出しました。もっと安価な新バージョンを待つべきかどうかです。私たちの結論は、もしあなたのビジネスが複雑な文書処理のために効率が低下しているのであれば、早く導入することで人件費を節約できるということです。この1ヶ月間に節約したレビューのための人的コストだけで、今後半年間のモデル呼び出しにかかる費用を十分にカバーできるでしょう。