NieuwZo betrappen we een verkoper die het verkeerde model aanbiedt, en krijg je je geld terug.
MartLLMvoorheen UberLLM

Streaming

Zowel de OpenAI (/v1/chat/completions) als de Anthropic (/v1/messages) interfaces ondersteunen streaming via Server-Sent Events. De Responses API (/v1/responses) streamt zijn eigen response.* events; zie Responses API. Streaming is de aanbevolen standaard voor alles met een lange prompt, lange uitvoer, of een hoge tokenlimiet — het voorkomt request timeouts en laat je tokens renderen zodra ze binnenkomen.

OpenAI-stijl stream

curl -N https://api.martllm.com/v1/chat/completions \
  -H "Authorization: Bearer $UBERLLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek/deepseek-v4-flash",
    "stream": true,
    "messages": [{"role": "user", "content": "Count to five, one per line."}]
  }'

De respons is een reeks van data: regels, elk een chat completion chunk, eindigend met data: [DONE].

from openai import OpenAI

client = OpenAI(base_url="https://api.martllm.com/v1", api_key="ull_...")

with client.chat.completions.create(
    model="deepseek/deepseek-v4-flash",
    stream=True,
    messages=[{"role": "user", "content": "Write a short poem."}],
) as stream:
    for chunk in stream:
        delta = chunk.choices[0].delta.content
        if delta:
            print(delta, end="", flush=True)

Verbruiksregistratie

MartLLM voegt stream_options: {"include_usage": true} toe voor upstreams die dit ondersteunen, zodat de laatste chunk een usage-object bevat met aantallen prompt- en completion-tokens, en cost_usd: wat er voor dit verzoek in rekening wordt gebracht, in Amerikaanse dollars (wat de provider ervoor heeft gerekend). Wanneer de upstream geen verbruiks-chunk stuurt, voegt MartLLM er eentje toe vóór data: [DONE]. Bij /v1/messages vind je de kosten in de usage van het message_delta-event.

Je verzoek wordt afgerekend tegen de kosten die de marketplace voor die call rapporteert; ontbreken de verbruiksgegevens, dan valt de gateway terug op een schatting via de tokenizer en wordt het verzoek in je API-verbruik gemarkeerd als geschat. De headers van een stream worden verzonden voordat de kosten bekend zijn, waardoor een stream geen X-UberLLM-Cost-USD-header heeft: lees usage.cost_usd.

Annuleringen

Als je midden in een stream de verbinding verbreekt, annuleert de gateway het upstream-verzoek en rekent af voor de tokens die daadwerkelijk zijn gestreamd. Je wordt nooit gefactureerd voor een volledige respons die je niet hebt ontvangen, en er blijft geen gereserveerd saldo vastzitten.

Keep-alives

De gateway stuurt onmiddellijk een : ping commentaar bij verbinding en periodieke keep-alives, zodat langlopende streams proxy idle timeouts overleven.