Streaming
Les interfaces OpenAI (/v1/chat/completions) et Anthropic (/v1/messages) supportent toutes deux le streaming via les Server-Sent Events. L'API Responses (/v1/responses) diffuse ses propres événements response.* ; consultez Responses API. Le streaming est le comportement par défaut recommandé pour tout ce qui implique un prompt long, une sortie longue ou une limite de tokens élevée — il évite les délais d'attente des requêtes et vous permet de rendre les tokens au fur et à mesure de leur arrivée.
Flux de style OpenAI
curl -N https://api.martllm.com/v1/chat/completions \
-H "Authorization: Bearer $UBERLLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek/deepseek-v4-flash",
"stream": true,
"messages": [{"role": "user", "content": "Count to five, one per line."}]
}'
La réponse est une séquence de data: lignes, chacune étant un fragment de complétion de chat, se terminant par data: [DONE].
from openai import OpenAI
client = OpenAI(base_url="https://api.martllm.com/v1", api_key="ull_...")
with client.chat.completions.create(
model="deepseek/deepseek-v4-flash",
stream=True,
messages=[{"role": "user", "content": "Write a short poem."}],
) as stream:
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="", flush=True)
Comptabilisation de l'utilisation
MartLLM injecte stream_options: {"include_usage": true} pour les services en amont qui le prennent en charge, de sorte que le dernier chunk contienne un objet usage avec le nombre de tokens de prompt et de complétion, ainsi que cost_usd : le montant facturé pour cette requête, en dollars américains (ce que le fournisseur a facturé). Lorsque le service en amont n'envoie aucun chunk d'utilisation, MartLLM en ajoute un avant data: [DONE]. Sur /v1/messages, le coût se trouve dans le usage de l'événement message_delta.
Votre requête est facturée au coût indiqué par la marketplace pour cet appel ; quand l'utilisation est manquante, la passerelle se rabat sur une estimation via tokenizer et signale la requête comme étant estimée dans votre Utilisation de l'API. Les headers d'un stream sont envoyés avant que le coût ne soit connu, un stream n'a donc aucun header X-UberLLM-Cost-USD : lisez usage.cost_usd.
Annulations
Si vous vous déconnectez en cours de streaming, la passerelle annule la requête en amont et ne facture que les tokens qui ont été réellement streamés. Vous n'êtes jamais facturé pour une réponse complète que vous n'avez pas reçue, et aucun solde réservé n'est bloqué.
Maintien d'activité
La passerelle envoie un commentaire immédiat : ping dès la connexion et des messages de maintien d'activité périodiques, afin que les flux de longue durée survivent aux délais d'inactivité des proxys.