流式传输
OpenAI (/v1/chat/completions) 和 Anthropic (/v1/messages) 的接口都支持通过 Server-Sent Events 进行 streaming。Responses API (/v1/responses) 会 streaming 自己的 response.* events;参见 Responses API。Streaming 是推荐的默认设置,适用于任何具有长 prompt、长 output 或高 token 上限的场景——它避免了请求超时,并允许您在 token 到达时进行渲染。
OpenAI 风格的流式输出
curl -N https://api.martllm.com/v1/chat/completions \
-H "Authorization: Bearer $UBERLLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek/deepseek-v4-flash",
"stream": true,
"messages": [{"role": "user", "content": "Count to five, one per line."}]
}'
响应是一个由 data: 行组成的序列,每行是一个聊天补全块,以 data: [DONE] 结束。
from openai import OpenAI
client = OpenAI(base_url="https://api.martllm.com/v1", api_key="ull_...")
with client.chat.completions.create(
model="deepseek/deepseek-v4-flash",
stream=True,
messages=[{"role": "user", "content": "Write a short poem."}],
) as stream:
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="", flush=True)
用量核算
对于支持的上游服务,MartLLM 会注入 stream_options: {"include_usage": true},因此最后一个 chunk 会附带一个 usage 对象,其中包含 prompt 和 completion 的 token 数量,以及 cost_usd:本次请求的扣费金额,单位为美元(即提供商收取的实际费用)。当上游服务未返回用量 chunk 时,MartLLM 会在 data: [DONE] 之前自动添加一个。在 /v1/messages 上,费用位于 message_delta 事件的 usage 中。
你的请求会按市场针对该调用上报的成本进行结算;如果缺少用量信息,网关会回退到通过 tokenizer 进行估算,并在你的 API 用量 中将该请求标记为预估。由于 stream 的 headers 在结算出费用之前就已经发出,因此 stream 不包含 X-UberLLM-Cost-USD header:请读取 usage.cost_usd。
中断
如果您在流式传输中途断开连接,网关会取消上游请求,并只结算实际已传输的 token。您绝不会为未收到的完整响应付费,并且不会有预留余额被卡住。
保活机制
网关在连接时会立即发送一个 : ping 注释,并定期发送保活信号,以确保长时间运行的流能抵御代理空闲超时。