東南アジアの新鮮な電力供給者はクロードで注文品質検査を行い、3つのカスタマーサービスポストを節約したが、2つの致命的な穴を踏んだ。

先週、私たちのチームは突然の事故に対処しました。クロードの出力フォーマットが間違っているため、セール当日のアフターサービス注文の18%が保留中のキューに直接立ち往生し、ユーザーが申請した新鮮な果物の支払いが4時間遅れ、その日の返品率が直接2%ポイント上昇しました。

まだ会っていない人に教えてください。クロードとは何ですか？

これはAnthropicによって開発された大きな言語モデルであり、最新の3.5 Sonnetバージョンのシングルコンテキストウィンドウは、200kトークン、約15万中国語単語をインストールすることができます。最初に選択したのは、完全な注文フロー、ユーザー証明グラフOCR結果、プラットフォーム支払いルール、複数の要求ラウンドに分割することなく、一度に完全な注文フローにプラグインできるからです。

実際に得た3つの利点

最も直接的なのは人件費の削減です。もともと受注品質検査を担当していた6つのカスタマーサービスポストは、今、異常なバックストップを行うために3つだけを残す必要があり、毎月の人件費だけで4200ドルを節約します。

2番目は、処理速度です。元の手動審査は平均2分かかりましたが、今ではほとんどの要求は15ms以内に完了し、ユーザーは基本的に5秒以内に支払い申請を提出した後、結果を得ることができます。

第三に、ルールの実施がより均一であることです。手動監査の前に、同じ悪い結果がしばしば発生し、誰かが30%を全額補償し、ユーザーの苦情不公平な判決は毎月数十件あり、クロード統一フィードルールの後、そのような苦情は毎月3件未満に直接減少しました。

利点だけを見てはいけない，この2つの穴は私たちが踏んでほとんど止められた

最初はストリームのピットです：我々は直接ドッキングの公式APIを開始し、多層のダウングレードを行わずに、その日のリクエスト量は3倍になり、公式は直接429を返し、我々は手動のバックストップトリガーメカニズムを行わなかった、結果は直接立ち往生した何千ものチケット。その後、ダウングレード計画として同じ効果の小さなモデルを追加しました。連続した3回のリクエストが自動的に小さなモデルにカットされ、失敗して手動になり、今ではバッチカードの状況はありません。

2つ目は、構造化出力の不安定性です。最初にJSON形式の結果を返すように要求したところ、約2%のケースでJSONの外に多くの説明文が追加され、構文解析スクリプトが直接エラーになります。その後、プロンプトの最後に“出力が純粋なJSONでなければ、シャットダウンされます”という文を追加したところ、発生率は0.1%未満に低下しました。

誰が適切ですか？誰が触らない？

Eコマース注文のレビュー、カスタマーサービスの注文の分類、契約条件の予備審査など、明確なルールとテキスト量の少ない反復作業をチームが通常処理し、プロンプトの調整やダウングレードメカニズムに1-2週間を費やす意思がある場合、Claudeは多くのお金と時間を節約するのに役立ちます。

医療診断、金融取引の最終段階など、シナリオの結果精度が100%である場合、またはチームに専任の運用/開発スタッフがいない場合、ゼロデバッグを使用してください。問題の確率はあなたが考えるよりもはるかに高いです。

初めて使う人への2つのアドバイス

まず、直接生産しないで、最初の7日間のシャドウモードを実行します。すべてのリクエストは手動とクロードを同時に行い、2つの結果の一貫性を比較し、一貫性が95%以上に安定してからトラフィックをカットし、我々は10日間のシャドウモードを実行し、3つのルール理解バイアスを発見し、事前にプロンプトを変更して問題はありませんでした。

第二に、すべてのリクエストを最高のバージョンに詰め込まないでください。Haikuのシーンを使用することができ、Sonnetを使用しないでください。後でHaikuに簡単なチケット分類リクエストをカットし、トークンのコストは直接60%削減され、速度は2倍になり、効果は全く悪くありません。

よくある質問

• データ漏洩の問題はありますか？データが機密性が高い場合は、エンタープライズ版を購入し、データ処理契約に署名すると、Anthropicはエンタープライズ版の要求データをモデルに使用しません。8 ヶ月間データの問題はありません。
• GPTより良いですか？シーンが長いテキストを扱う必要があり、コンテキスト理解が必要な場合はClaudeを選択します。描画などのマルチモーダル生成が必要な場合はGPTを選択します。現在は両方を使用しています。