MớiCách chúng tôi bắt người bán gắn sai model, và hoàn tiền cho bạn nếu có.

Streaming

Cả hai giao diện OpenAI (/v1/chat/completions) và Anthropic (/v1/messages) đều hỗ trợ streaming qua Server-Sent Events. Responses API (/v1/responses) truyền phát các sự kiện response.* riêng của nó; xem Responses API. Streaming là tùy chọn mặc định được khuyến nghị cho bất kỳ trường hợp nào có prompt dài, output dài, hoặc giới hạn token cao — nó giúp tránh lỗi hết thời gian chờ yêu cầu và cho phép bạn hiển thị các token ngay khi chúng đến.

OpenAI-style streaming

curl -N https://api.martllm.com/v1/chat/completions \
  -H "Authorization: Bearer $UBERLLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek/deepseek-v4-flash",
    "stream": true,
    "messages": [{"role": "user", "content": "Count to five, one per line."}]
  }'

Phản hồi là một chuỗi gồm data: dòng, mỗi dòng là một chat completion chunk, kết thúc bằng data: [DONE].

from openai import OpenAI

client = OpenAI(base_url="https://api.martllm.com/v1", api_key="ull_...")

with client.chat.completions.create(
    model="deepseek/deepseek-v4-flash",
    stream=True,
    messages=[{"role": "user", "content": "Write a short poem."}],
) as stream:
    for chunk in stream:
        delta = chunk.choices[0].delta.content
        if delta:
            print(delta, end="", flush=True)

Hạch toán mức sử dụng

MartLLM chèn stream_options: {"include_usage": true} cho các upstream có hỗ trợ, vì vậy chunk cuối cùng sẽ chứa một đối tượng usage gồm số lượng prompt token và completion token, cùng với cost_usd: chi phí tính cho yêu cầu này, bằng đô la Mỹ (khoản tiền mà nhà cung cấp đã tính). Khi upstream không gửi chunk mức sử dụng, MartLLM sẽ thêm một chunk trước data: [DONE]. Trên /v1/messages, chi phí nằm trong usage của sự kiện message_delta.

Yêu cầu của bạn được quyết toán theo chi phí mà marketplace báo cáo cho lệnh gọi đó; khi thiếu dữ liệu mức sử dụng, gateway sẽ chuyển sang dùng ước tính từ tokenizer và đánh dấu yêu cầu là ước tính trong mục Mức sử dụng API. Các header của stream được gửi đi trước khi biết được chi phí, nên stream sẽ không có header X-UberLLM-Cost-USD: hãy đọc usage.cost_usd.

Hủy bỏ

Nếu bạn ngắt kết nối giữa chừng khi đang truyền dữ liệu, cổng kết nối sẽ hủy yêu cầu gửi lên và chỉ tính phí cho số lượng token thực tế đã được truyền đi. Bạn sẽ không bao giờ bị tính phí cho một phản hồi hoàn chỉnh mà bạn chưa nhận được, và không có số dư dự trữ nào bị kẹt lại.

Keep-alives

Cổng gửi một thông báo : ping ngay lập tức khi kết nối và các keep-alives định kỳ, để các luồng chạy dài không bị ngắt bởi thời gian chờ không hoạt động của proxy.