LLM推論ゲートウェイのエンタープライズ展開：429エラーを13%から0に削減し、28%のコスト削減を実現

先月、黒5プロモーション、私たちのシンガポールの国境を越えた電子商取引技術チームの3つのバックエンドは、監視室で36時間座って、最終的に要求の成功率曲線を見つめてほぼジャンプ-昨年同じ大きなプッシュノード、我々は単一のLLMサービスプロバイダのためにストリームを制限し、商品説明生成リクエストの13%が直接レポート429企業のバックステージはほぼ4時間崩壊し、2000件以上の苦情が寄せられた。

まず、エンタープライズレベルの展開推論ゲートウェイとは何ですか？

新しいフレームワークではなく、本質的にはビジネスサービスとLLMインターフェイスの間のトラフィックスケジューリング層であり、コアパラメータアンカーはシンプルです。通常の負荷では、スケジューリング遅延は10msを超えてはならないそれ以上のことは、ビジネスを遅らせることに等しい。

3つの実質的な利益を得た。

• まず第一に、ストリーム制限のリスクを直接取り除くことです。私たちは今、3つの主流のLLMサービスプロバイダを受け入れ、ゲートウェイは自動的に現在のクォータ、最速の応答ノードに要求を割り当てます。今年のブラック5ピークQPSは昨年よりも2.3倍高く、全体がバッチ429を持っていませんでした。
• 第二に、目に見えるコスト削減です。優先度の低い商品ラベル生成要求を自動的により費用対効果の高い小型モデルにルーティングし、ビジネスコードを変更することなく、7日間でトークンのコストを直接28%節約しました。
• 最後に、バックエンドの重複作業負荷を節約することです。モデルを変更するたびに、または新しいサービスプロバイダを追加する前に、3つのサービスモジュールのインターフェイス適応を1つずつ変更する必要があり、ゲートウェイ層で完了し、半日で完了することができます。

利点だけを見てはいけませんこの3つの穴はしっかりと踏んでいます

オンラインの最初の週には事故がありました。自動フォールバック機能を開いた後、ゲートウェイはGPT-4を呼び出す優先度の高いカスタマイズコピー要求のバッチを取り、効果の悪い小さなモデルにカットし、200以上の企業広告コピーコンテンツが資格を持たず、最終的には1万枚のプロモーションチケットを失いました。すべてのリクエストが自動ダウングレードに適しているわけではなく、機密性の高いシナリオではバックストップチェックルールが必要です。

多くの人が言及していないコストの問題があります。QPSが長期的に10未満の場合、ゲートウェイ自体のサーバーとメンテナンスコストは、LLMサービスプロバイダの高クォータパッケージを直接購入するよりも高価です。

また、“フル機能”を信じないでください。3つのオープンソースゲートウェイを試しましたが、デフォルトのトラフィック割り当てルールは電力供給者のシナリオに一致しておらず、重量ルールの調整には丸2日かかりました。

誰が行くべきか？時間を無駄にする必要はない。

判断基準を設定しないでください：

• 1日あたり10，000件以上のLLMリクエスト、2つ以上のモデルの同時使用、99.9%以上のサービス可用性要件のいずれかを満たしている場合。
• あなたのチームが5人未満の小さなスタートアップであり、コアビジネスと大規模なモデルコールが強いバインディングを持っておらず、1 ヶ月のLLMオーバーヘッドがバックエンドエンジニアの月給よりも高くない場合は、エンタープライズレベルの展開に触れないでください。

初めての2つの実践的なアドバイス

フルボリュームスイッチに来ないでください。優先度の低いトラフィックの10%を取り、2つの指標に焦点を当てて1週間グレースケールを実行します。リクエストの繰り返しコミットがあるかどうか、スケジュールによる遅延が本当に許容範囲内であるかどうか。その後、アフターセールスの自動応答フローを3日間測定し、穴のないコア事業を決定しました。

質問：ゼロから自分で行きたいですか？A：チームに専任の人がいない限り、成熟したオープンソースバージョンを直接変更することは、自分で書くよりも少なくとも2 ヶ月節約でき、安定性が高いです。