Streaming
Baik antarmuka OpenAI (/v1/chat/completions) maupun Anthropic (/v1/messages) mendukung streaming melalui Server-Sent Events. Responses API (/v1/responses) melakukan streaming response.* event-nya sendiri; lihat Responses API. Streaming adalah pengaturan default yang direkomendasikan untuk apa pun dengan prompt yang panjang, output yang panjang, atau batas token yang tinggi — ini menghindari timeout permintaan dan memungkinkan Anda menampilkan token saat tiba.
OpenAI-style stream
curl -N https://api.martllm.com/v1/chat/completions \
-H "Authorization: Bearer $UBERLLM_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "deepseek/deepseek-v4-flash",
"stream": true,
"messages": [{"role": "user", "content": "Count to five, one per line."}]
}'
Responsnya adalah urutan dari data: baris, masing-masing adalah chat completion chunk, diakhiri dengan data: [DONE].
from openai import OpenAI
client = OpenAI(base_url="https://api.martllm.com/v1", api_key="ull_...")
with client.chat.completions.create(
model="deepseek/deepseek-v4-flash",
stream=True,
messages=[{"role": "user", "content": "Write a short poem."}],
) as stream:
for chunk in stream:
delta = chunk.choices[0].delta.content
if delta:
print(delta, end="", flush=True)
Pencatatan penggunaan
MartLLM menyisipkan stream_options: {"include_usage": true} untuk upstream yang mendukungnya, sehingga chunk terakhir memuat objek usage dengan jumlah token prompt dan completion, serta cost_usd: biaya yang ditagihkan untuk permintaan ini, dalam dolar AS (tarif yang dikenakan penyedia). Saat upstream tidak mengirimkan chunk penggunaan, MartLLM akan menambahkannya sebelum data: [DONE]. Pada /v1/messages, biayanya ada di dalam usage dari event message_delta.
Permintaan Anda diselesaikan berdasarkan biaya yang dilaporkan marketplace untuk panggilan tersebut; jika data penggunaan tidak tersedia, gateway akan beralih ke estimasi tokenizer dan menandai permintaan tersebut sebagai perkiraan di Penggunaan API. Header pada stream dikirim sebelum biayanya diketahui, sehingga stream tidak memiliki header X-UberLLM-Cost-USD: baca usage.cost_usd.
Pembatalan
Jika Anda terputus di tengah streaming, gateway membatalkan permintaan upstream dan hanya menagih token yang benar-benar di-stream. Anda tidak akan pernah ditagih untuk respons penuh yang tidak Anda terima, dan tidak ada saldo cadangan yang tertahan.
Keep-alives
Gateway mengirimkan : ping comment segera saat connect dan keep-alives berkala, agar streams yang berjalan lama dapat bertahan dari proxy idle timeouts.