新着違うモデルを出品する販売者をどう見抜き、どう返金するか。

Streaming

OpenAI (/v1/chat/completions) と Anthropic (/v1/messages) の両方のインターフェースは、Server-Sent Events を介した streaming をサポートしています。Responses API (/v1/responses) は独自の response.* イベントを streaming します。詳細は Responses API] を参照してください。streaming は、長いプロンプト、長い出力、または高い token cap を持つあらゆるものに対して推奨されるデフォルトです。これにより、リクエストのタイムアウトを回避し、トークンが到着するにつれてレンダリングできます。

OpenAIスタイルのストリーム

curl -N https://api.martllm.com/v1/chat/completions \
  -H "Authorization: Bearer $UBERLLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek/deepseek-v4-flash",
    "stream": true,
    "messages": [{"role": "user", "content": "Count to five, one per line."}]
  }'

レスポンスは、data:行の一連のチャット補完チャンクであり、data: [DONE]で終わります。

from openai import OpenAI

client = OpenAI(base_url="https://api.martllm.com/v1", api_key="ull_...")

with client.chat.completions.create(
    model="deepseek/deepseek-v4-flash",
    stream=True,
    messages=[{"role": "user", "content": "Write a short poem."}],
) as stream:
    for chunk in stream:
        delta = chunk.choices[0].delta.content
        if delta:
            print(delta, end="", flush=True)

利用状況の集計

MartLLMは対応しているアップストリームに対してstream_options: {"include_usage": true}を挿入するため、最後のチャンクにはプロンプトと completion の token 数を含む usage オブジェクトと、cost_usd(このリクエストの請求額。米ドル単位でプロバイダーから請求された金額)が含まれます。アップストリームから usage チャンクが送信されない場合、MartLLMはdata: [DONE]の直前にチャンクを追加します。/v1/messagesでは、コストはmessage_deltaイベントのusageに含まれます。

リクエストは、その呼び出しに対してマーケットプレイスから報告されたコストで精算されます。利用状況が取得できない場合、ゲートウェイは tokenizer による見積もりにフォールバックし、API利用状況でそのリクエストに見積もり済みフラグを付けます。ストリームのヘッダーはコストが判明する前に送信されるため、ストリームにはX-UberLLM-Cost-USDヘッダーがありません。詳しくはusage.cost_usdを参照してください。

中断

ストリーミング中に接続を切断した場合、ゲートウェイはアップストリームのリクエストをキャンセルし、実際にストリーミングされたトークンに対してのみ精算します。受信しなかった完全なレスポンスに対して料金が請求されることはなく、予約された残高が宙ぶらりんになることもありません。

キープアライブ

ゲートウェイは、接続時に即座に: pingコメントを送信し、定期的なキープアライブも送信します。これにより、長時間のストリームがプロキシのアイドルタイムアウトを回避できます。