MartLLM(旧UberLLM)のルーティングが正常に稼働している最安プロバイダーを選ぶ仕組み
各リクエストに対し、MartLLMは指定されたモデルを提供するすべての販売者を検索し、リアルタイムの価格でランク付けし、プロンプトサイズに対して十分な速さを持つ、最も安価で健全な販売者にリクエストを送信します。その販売者が、何らかの出力がstreamingされる前に失敗した場合、リクエストは次に安価で健全な販売者で再試行されます。これにより、信頼性を損なうことなく、利用可能な最低価格を得られ、失敗した試行に対して課金されることはありません。
一言で言うと
リクエストごとに決定される、最も安い健全なセラーです。どちらの言葉も重要です。「最も安い」とは、最低のリアルタイム価格を支払うことを意味し、「健全な」とは、エラーが発生している、または遅いセラーにルーティングされないことを意味します。
ステップバイステップ
- モデルを解決します。 送信された
modelIDは、1つの論理モデルにマッピングされます(古いIDは現在の代替モデルに解決され続けるため、リンクやコードが機能しなくなることはありません)。 - セラーを収集します。 MartLLMは、そのモデルに対するすべてのアクティブなオファーを収集します — ゲートウェイ独自の厳選されたルートと、マーケットプレイスに掲載されているセラープールからのオファーの両方です。
- リアルタイム価格でランク付けします。 オファーは現在の価格で並べ替えられます。提示される価格にはMartLLMの手数料は追加されないため、ランキングと請求には同じ数値が使用されます。
- 健全なセラーに絞り込みます。 失敗している、レート制限されている、または健全でないと判断されたセラーはスキップされます。健全性は、実際のトラフィックとバックグラウンドプローブから継続的に追跡されます。
- 十分に速い最も安価なセラーに送信します。 健全なセラーのうち、プロンプトサイズにおける最初のtokenまでの最速測定時間から2x以内のものが保持され、その中で最も安価なものがリクエストを受け取ります。長いプロンプトの場合、最初のセラーの起動が遅いと、2番目に速いセラーにも送信されます。詳細はsmart routing]にあります。
- 出力前のフェイルオーバー。 そのセラーが、tokenがストリーミングされる前にエラーを発生させた場合、リクエストは次に安価な健全なセラーで再試行されます。最終的に結果を返さないリクエストの費用は$0です。
なぜ「健全性」が必須なのか
純粋な「最安値優先」ルーターは、誰よりも安く提供する販売者にあなたを誘導します — 壊れているから安い販売者も含めて。MartLLMのヘルスフィルターは、「最安値」を安全にするものです。ライブボードは各プロバイダーの信頼性を表示し、あなた自身で稼働状況ページ]で確認できます。ルーティングも同じシグナルを使用します。
ご覧いただけるもの
出品者向け
同じ仕組みは、マーケットプレイスの出品者側にも適用されます。モデルの余剰キャパシティを出品し、健全な状態を保ち、競争力のある価格を設定することで、リクエストがあなたにルーティングされます。出品の仕組みおよび出品者ドキュメントをご覧ください。