私たちはカスタマーサービスのチケット処理をClaude 3.5 Sonnetに切り替えた結果、3ヶ月で2.1万ユーロの人件費を節約しました。

先月、私たちのヨーロッパの電子商取引カスタマーサービスチームはほとんど崩壊寸前でした。ブラックフライデーの大セールの1週間前には、1日あたり1200通以上の多言語のユーザーメールが届き、3人のカスタマーサービススタッフがフル稼働しても40％の問い合わせに24時間以上かかってしまい、ユーザーの悪評率は18％も急上昇しました。急遽アルバイトを雇うと、トレーニングに時間がかかるだけでなく、月間のコストも約2万ユーロ増加してしまいます。

初めて聞く方のために簡単に説明します。

Claude 3.5 SonnetはAnthropicが2024年に発表した多モダル大規模言語モデルです。200Kのコンテキストウィンドウをサポートすることで、推論速度が前世代の2倍になりました。、ちょうど私たちの1件のワークフローと過去3ヶ月分のユーザーの履歴注文、コミュニケーション記録の全情報を処理するのに十分です。

私たちが使用している3つの主要な収益源は、それぞれがユーザーの痛み（ニーズ）に対応しています。

• 多言語理解の精度：私たちのユーザーはドイツ語、フランス語、スペイン語、イタリア語の4つの言語を対象としています。以前は小規模なモデルを使用して英語以外のチケットを処理していた際に、「返金」と「交換」を混同することがよくありましたが、Sonnetの誤判率は2％未満で、追加の翻訳ツールを使用せずに直接処理することができます。
• 長文書の処理がスムーズ：ユーザーが返品を申請する際には、商品の破損した写真が5、6枚と数百文字の説明が添付されることがよくあります。Sonnetはこれらの写真、テキスト、過去の注文記録を一度に確認し、当社のアフターサービス規則に合った処理案を自動的に生成するため、人の手による情報の確認は不要です。
• コストが十分に低い：私たちの測定によると、1000件の工单を処理するためのトークンコストは10ユーロ未満です。ゲートウェイや微調整の費用を加えても、月間の総費用はフルタイムのカスタマーサービススタッフの月給の5分の1にも満たないです。

Sonnetに移行して最初の1ヶ月で、私たちのチケットの平均対応時間が17時間から1.5時間に短縮されました。、カスタマーサービスはもう繰り返しの返品処理や物流に関する問い合わせを処理する必要がなく、約10％の複雑なトラブルのみを処理すればよくなりました。大規模なセールの期間中も新しいスタッフを追加することはありませんでした。

良い点だけを見ているわけにはいきません。実際に過去2週間で2つの大きな問題に直面しました。

最初の問題は、複雑なルールに基づく認識の誤りでした。当社には「カスタム商品で7日を超えても品質に問題があれば返金可能」という特殊なルールがありますが、最初はそのルールをそのままモデルに適用したところ、一般的な「カスタム商品は返品・交換不可」というルールに従ってユーザーのリクエストを却下してしまいました。その後、このような特別なルールをトリガー型のプロンプトとして別途作成し、関連するキーワードが出現した場合に優先的に適用するようにしたことで、問題を解決することができました。

セカンドにはリミットリングがあります。大規模なセールの日には通常の3倍のピークリクエストが発生しますが、最初はダウングレード戦略を実施していませんでした。そのため、一部のリクエストが直接429エラーとして返されていました。後に、緊急でないタスクを10分間遅らせて処理する簡単なキューイングメカニズムを導入したところ、失敗が発生することはなくなりました。

はっきり言って：誰に適しているか、誰には全く必要ないか

もしあなたのチームが以下の2つの条件のいずれかに該当する場合、直接使用しても問題ありません：1つ目は、大量の長文テキストやマルチモーダルな構造化タスクを処理する必要がある場合です。例えば、カスタマーサービスのチケット処理、契約のレビュー、長文書の要約などです。2つ目は、ビジネスが多言語地域に及んでおり、各言語ごとにモデルを微調整したくない場合です。

もし単に簡単なキーワードに基づく返答や短いテキストの分類を行うだけであれば、またはデータのプライバシーに非常に高い要求があり、データを第三者のモデルに送信することが絶対にできない場合は、それを選ぶ必要はありません。小さなモデルやルールエンジンで十分です。

初めて使う方への2つの実践的なアドバイス

最初のテストでは、すぐに全量データを切り替えるのではなく、過去1ヶ月間に処理された履歴のチケットを使って一度実行してください。モデルの出力結果と人の手による処理結果を比較し、精度が90％以上になったら本番環境に導入しましょう。そうすることで、ルールの適用に関する問題の80％を回避できるでしょう。

もしリクエストのボルテージが大きく変動する場合は、簡単なデグレードキューを用意することをお勧めします。Sonnetの無料枠の制限はかなり厳しいので、ピーク時には優先度の低いタスクを後回しにすることで、追加の費用をかけずに専用の処理能力を購入することなく、ほとんどの中小企業のニーズを満たすことができます。

いくつかあなたが尋ねるかもしれない質問

Q：特別な微調整が必要ですか？ A：私たちはアフターサービスのルールをプロンプトに書き込んだだけで、微調整は行っていません。その精度で十分です。もしあなたのビジネスルールが特に複雑でない限り、その費用をかける必要はありません。

Q：GPT-4oと比べてどちらがお得ですか？ A：同じタスクを処理する場合、SonnetのコストはGPT-4oの約30％低く、精度もほぼ同じです。コストに敏感な中小企業にとってはSonnetの方が適しています。