Streaming
Tanto las superficies de OpenAI (/v1/chat/completions) como las de Anthropic (/v1/messages)
soportan streaming a través de Server-Sent Events. La Responses API (/v1/responses)
hace streaming de sus propios response.* eventos; consulta Responses API. El streaming es la opción predeterminada recomendada
para cualquier cosa con un prompt largo, una salida larga o un límite de tokens alto —
evita los request timeouts y te permite renderizar tokens a medida que llegan.
Stream al estilo OpenAI
curl -N https://api.martllm.com/v1/chat/completions \
-H "Authorization: Bearer $UBERLLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek/deepseek-v4-flash",
"stream": true,
"messages": [{"role": "user", "content": "Count to five, one per line."}]
}'
La respuesta es una secuencia de data: líneas, cada una un fragmento de completado de chat, terminando con data: [DONE].
from openai import OpenAI
client = OpenAI(base_url="https://api.martllm.com/v1", api_key="ull_...")
with client.chat.completions.create(
model="deepseek/deepseek-v4-flash",
stream=True,
messages=[{"role": "user", "content": "Write a short poem."}],
) as stream:
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="", flush=True)
Contabilidad de uso
MartLLM inyecta stream_options: {"include_usage": true} para los upstreams que lo admiten, por lo que el chunk final incluye un objeto usage con el recuento de tokens de prompt y completion, y cost_usd: lo que se factura por esta solicitud, en dólares estadounidenses (lo que cobró el proveedor por ella). Cuando el upstream no envía ningún chunk de uso, MartLLM añade uno antes de data: [DONE]. En /v1/messages, el costo está en el usage del evento message_delta.
Tu solicitud se liquida al costo que el marketplace reporta para esa llamada; cuando falta el uso, el gateway recurre a una estimación del tokenizer y marca la solicitud como estimada en tu Uso de la API. Los encabezados de un stream se envían antes de que se conozca el costo, por lo que un stream no tiene encabezado X-UberLLM-Cost-USD: lee usage.cost_usd.
Cancelaciones
Si te desconectas a mitad de la transmisión, la pasarela cancela la solicitud ascendente y se conforma con los tokens que realmente se transmitieron. Nunca se te cobra por una respuesta completa que no recibiste, y ningún saldo reservado queda atascado.
Mantenimiento de conexión
La pasarela envía un comentario inmediato : ping al conectar y señales de actividad periódicas, para que las transmisiones de larga duración sobrevivan a los tiempos de espera de inactividad del proxy.