GPT-4を使用して百万件規模のアフターサービスのチケットを処理することで、人件費を32%削減しました。これら3つの落とし穴には注意してください。

先月のブラックフライデーのセールスピーク時に、私たちのチーム3人でモニターパネルを見守っていました。その時、アフターサービスの問い合わせ件数における429エラーの発生率が1%から12%に急上昇しました。以前使用していた小さなモデルでは、1日に120万件もの多言語の問い合わせに対応できず、顧客からの苦情件数も24時間で4倍に増えてしまいました。最終的にはGPT-4のトラフィックに切り替えることで、エラー率を0.3%以下に抑えることができました。

まずは理解しましょう：GPT-4が中小規模のチームにとってどのような節約をもたらすのか。

簡単に言うと、これはOpenAIが現在企業向けに提供している中で最もバランスの取れた大規模言語モデルであり、最大128kのコンテキスト入力をサポートしています。多言語理解の精度は、ほとんどの専門的な小規模言語モデルよりも40％以上高く、あまり微調整を加えることなく複雑なシナリオを直接処理することができます。

私たちのような、国境を越えた家電小売を行う20人の小規模チームにとって、最も直接的な3つの利益は、複雑なROI（投資収益率）を計算する必要すらありません：

• まず、多言語のチケットにはもはや専門の翻訳者を割り当てる必要がありません。スペイン語、フランス語、ポーランド語のアフターサービスに関する問い合わせに対して、システムは直接対応でき、該当する言語の標準的な返信を出力することができます。私たちのアフターサービスの人件費は直接32%削減されました。
• 複雑な障害の判断精度が以前使用していた小規模なモデルよりも大幅に向上しました。以前は17%のチケットが人の手による二次確認が必要でしたが、現在ではその割合は4%未満になりました。
• 微調用のためのトレーニングデータを大量に保有する必要はありません。新しくリリースされた製品の説明書をそのまま使用すれば、2時間で対応するアフターサービスの問い合わせに適応できます。大規模なセールの際には効率が特に顕著に向上します。

長所だけを見ているといけません。実際に私たちが経験したいくつかの問題点もあります。

最初の問題はコストのコントロールができなくなることでした。GPT-4に切り替えた当初、入力データのトリミングを行っていなかったため、ユーザーがアップロードした数十ページ分の障害スクリーンショットから生成されたテキストをそのまま処理してしまい、1日のトークン使用量が以前の1週間分を上回ってしまいました。その後、不要な冗長情報を事前に除去するフィルタリングステップを追加したことで、コストが半分に削減されました。

二つ目に、リミット制御が本当に頭痛の種です。もし一時的な大規模セールのピーク時に公式のインターフェースを直接使用すると、並行処理の上限に簡単に達してしまいます。私たちはブラックフライデーの日に10分間のリミット制御に遭遇しましたが、その後3日前にカスタマーマネージャーに臨時の拡張申請を行ったことで問題を解決しました。絶対にトラフィックが増加してから申請を行うべきではありません。

三つ目は、センシティブな内容の誤判です。あるユーザーが「オーブンを加熱しているときに外殻が少し熱くなるが、爆発する可能性はあるか」と尋ねたところ、コンテンツセキュリティのインターフェースによってその質問がブロックされ、エラーが返されました。その後、センシティブな単語の事前チェックを追加し、正常な故障に関する質問のキーワードを事前に除外することで、誤判率を許容できるレベルまで下げることができました。

現在、GPT-4に切り替えるべきかどうかですが、まずはこれら2つの基準を見てみましょう。

使用する場合：もし多言語のコンテンツを処理したり、複雑な長文の推論（例えば数十ページのドキュメントの要約や、複数回にわたるアフターサービスの問い合わせ、コードのデバッグなど）を行う必要がある場合、またはあなたのチームに小規模なモデルの微調整を行う専門のアルゴリズムエンジニアがいない場合は、GPT-4を直接使用する方が自分でモデルを構築するよりもコストパフォーマンスがはるかに高いでしょう。

使用しないべき状況：もしあなたのシナリオが非常にシンプルで、例えばキーワードに基づく返信や固定テンプレートのショートメッセージの生成、またはすべてのデータが外部に出力されないような場合であれば、本当に必要ありません。安価な小規模モデルやルールエンジンで十分対応できます。そのための費用をかけるのは完全に無駄です。

初めてチームを率いる方への2つの具体的なアドバイス

まず、トラフィックの10％を使ってグレースケールテストを行い、7日間実際の精度、コスト、応答速度が期待に合致しているかを確認してください。最初から全量に切り替えないでください。私たちも当初は全量に切り替えたところでリミットに遭遇しました。今ではグレースケールテストがモデルを切り替える際の標準的なプロセスになっています。

第二に、必ず前置きのトラフィックスケジューリング層を追加し、簡単なリクエストは安価な小さなモデルに割り当て、小さなモデルでは処理できない複雑なリクエストのみをGPT-4に送信します。このようにすることで、モデル全体のコストをさらに28%削減することができました。その結果、性能には何の影響もありませんでした。

よくある2つの小さな問題

質問：データ漏洩のリスクはありますか？ 回答：企業向けAPIを選択した場合、OpenAIはユーザーの入力データをモデルの訓練に使用しないと明確にしています。私たちはコンプライアンス審査を行い、EUのGDPR要件を満たしているので、安心してご利用いただけます。

質問：応答速度は遅いですか？ 答：通常のチケット問い合わせリクエストはほとんどが150ms以内に返答されますが、特に長いテキストの処理には1秒かかる場合もあります。しかし、アフターサービスのシナリオにおいては全く問題ありません。