NieuwZo betrappen we een verkoper die het verkeerde model aanbiedt, en krijg je je geld terug.
MartLLMvoorheen UberLLM

Modellen & routering

MartLLM stuurt elk verzoek naar een beschikbare externe provider voor het model dat je hebt aangevraagd. Als de provider faalt voordat deze begint te antwoorden, wordt het verzoek opnieuw geprobeerd, en een verzoek dat dan nog steeds faalt, wordt niet gefactureerd. Elk verzoek wordt gefactureerd voor wat de provider in rekening heeft gebracht, zonder extra MartLLM-kosten, en wordt met de kosten vermeld in Dashboard → Activiteit. Je kiest een model, geen provider.

Model-ID's

Gebruik de model-ID uit de catalogus, bijv. deepseek/deepseek-v4-flash, anthropic/claude-sonnet-5 of z-ai/glm-5.3. Hier is wat je nu kunt aanroepen:

  • GET https://api.martllm.com/v1/models: de chatmodellen waarnaar nu een verzoek kan worden gestuurd, zodat een tool die zijn modelmenu vult vanuit deze lijst (SillyTavern, LibreChat, n8n, Cline) alleen modellen toont waarmee het kan chatten. Voeg ?type=video (of image, music, speech, transcription, audio voor beide, chat, meerdere samengevoegd met komma's) toe voor andere soorten, of ?type=all voor elk model, eerst chat, dan afbeelding, video, muziek, spraak en transcriptie. Elke vermelding heeft type (chat, image, video, music, speech, transcription), endpoints (de paden die het bedienen) en pricing.
  • Elk chatmodel vermeldt ook wat het kan doen: context_length, max_output_tokens, input_modalities (image = het leest afbeeldingen), supports_tools, supports_reasoning, supports_vision en supported_parameters (de verzoekvelden die het accepteert). Dezelfde feiten staan ook onder de namen van OpenRouter (architecture.input_modalities, top_provider.context_length, top_provider.max_completion_tokens, en pricing.prompt / pricing.completion in dollars per token), dus tools die zijn gebouwd voor de lijst van OpenRouter lezen de onze zoals deze is.
  • GET https://api.martllm.com/v1/models/<model id>: één model, met zijn prijs, zijn context (chat) en, voor een mediamodel, parameters: een JSON Schema van de request body (zie Maak een video of afbeelding).
  • Elke vermelding, in beide antwoorden, heeft ook:
    • available: true wanneer een verzoek ervoor nu kan worden afgehandeld. false betekent dat niemand het op dit moment bedient, dus een verzoek zou worden geweigerd met no_available_provider. Kies een ander model of probeer het later opnieuw.
    • input_modalities: wat het model accepteert. Een model dat een afbeelding nodig heeft (afbeelding naar video, referentie naar video, beeldbewerking) vermeldt "image" naast "text"; een model dat een video accepteert (upscaling) vermeldt "video".
    • nsfw: true voor een model gemaakt voor volwassen of ongefilterde inhoud (Lustify, de "ongecensureerde" modellen en dergelijke). Sla deze over als je product veilig moet blijven voor werk.
  • Openbaar, geen sleutel: GET https://api.martllm.com/api/v1/public/models (met prijzen, en dezelfde available, input_modalities en nsfw velden)
  • Web: martllm.com/#models, en een pagina per model op martllm.com/models/<model id>

Wat gebeurt er bij elk verzoek

  1. MartLLM controleert of het model bestaat, of je prompt in het contextvenster past, en of het tools ondersteunt als je verzoek deze gebruikt.
  2. Het reserveert de geschatte kosten van je saldo en stuurt het verzoek door.
  3. Het verzoek wordt naar een beschikbare provider voor dat model gestuurd. Met de standaard Balanced routing wordt de provider voor elk gesprek opnieuw gekozen: de goedkoopste die snel genoeg begint te antwoorden voor de grootte van je prompt (binnen 6x van de snelst gemeten, of onder 1 seconde). Die provider kan duurder zijn dan de vermelde prijs, en het gesprek kost dan wat deze in rekening bracht. Een lange gestreamde prompt gaat ook naar een tweede snelle provider als de eerste traag is met starten, en een gesprek dat na 5 seconden nog niet is gestart, kan naar een snellere provider verhuizen; je krijgt en betaalt voor één antwoord. De routinginstelling van je sleutel (hieronder) of sort in het verzoek verandert dit. Hoe het werkt: smart routing.
  4. Wanneer het antwoord klaar is, verrekent MartLLM de prijs die de marktplaats voor dat gesprek rapporteert en geeft de rest van de reservering vrij.

Automatische herpogingen

Als een oproep mislukt voordat er inhoud bij u terechtkomt, probeert MartLLM het opnieuw voor u. De marktplaats zoekt bij elke poging opnieuw een verkoper, en er worden geen kosten in rekening gebracht voor een oproep die mislukte voordat deze werd gerouteerd, dus een herpoging kost u alleen tijd.

  • Herpoging bij: geen verkoper beschikbaar voor het model op dit moment (no_sellers_for_model, no_healthy_sellers), de marktplaats had onvoldoende tijd om te routeren (route_deadline_exceeded), een 429 die vraagt om 5 seconden of minder te wachten, elke 5xx, een verbindingsfout, een verkoper wiens eigen provider key of account mislukte, of geen eerste byte op tijd.
  • Geen herpoging bij: het model bestaat niet, de aanvraag is ongeldig, of een facturerings- of auth-probleem. Deze worden direct teruggestuurd.
  • Schema: tot 4 pogingen, met een wachttijd van 0.3 s, 0.9 s, daarna 2.7 s tussen de pogingen (of de Retry-After die de marktplaats heeft verzonden, als deze 5 seconden of minder is). Wanneer niemand het model verkoopt, komt het antwoord binnen enkele seconden terug.
  • Wachten op de eerste byte: een stream krijgt 10 seconden (meer voor een lange prompt, en meer voor een model dat gewoonlijk traag is); een antwoord zonder "stream": true krijgt 85 seconden, omdat er niets arriveert totdat het voltooid is. Een poging die de volledige 85 seconden opgebruikt, wordt geen tweede keer afgewacht. Geen herpoging start na 150 seconden.

Zodra streaming is gestart, wordt niets opnieuw geprobeerd: een storing midden in de stream beëindigt de stream en u wordt alleen gefactureerd voor wat er is geproduceerd.

Als elke poging mislukt, krijgt u een foutmelding in plaats van een antwoord, en de reservering wordt volledig vrijgegeven. De meest voorkomende zijn:

HTTP code Wanneer
503 no_available_provider Niemand kon dat model op dit moment leveren, zelfs niet na herpogingen: geen verkoper, elke verkoper faalt of is te traag om te starten, of uw provider opties lieten niets over om naar te routeren. Het bericht noemt het model. Probeer het binnenkort opnieuw of kies een ander model.
503 service_unavailable Een tijdelijk probleem aan de kant van MartLLM. Probeer het over een paar minuten opnieuw.
404 model_not_found De model id is niet beschikbaar.

Zie Errors voor de volledige lijst.

Terugvalmodellen

Stuur models met een lijst van andere model-ID's om te proberen, op volgorde, wanneer de eerste niet kan worden geleverd:

{ "model": "deepseek/deepseek-v4-flash",
  "models": ["z-ai/glm-5.3", "qwen/qwen3.7-plus"],
  "messages": [{ "role": "user", "content": "hi" }] }

Het volgende model wordt alleen geprobeerd wanneer niemand het vorige model op dit moment kan leveren (no_available_provider), of niemand het verkoopt binnen jouw provider.max_price. Een verzoekfout (een ongeldige body, een onbekende model-ID in een van beide velden) en een geldweigering (saldo, sleutellimieten) worden direct beantwoord en nooit doorgegeven aan de lijst. Maximaal 5 modellen in model en models samen. Het model veld van het antwoord en de Activiteit-rij noemen het model dat heeft geantwoord. models werkt op /v1/chat/completions en op verzoeken voor afbeeldingen, video, muziek en spraak; /v1/messages en /v1/audio/transcriptions lezen het niet.

Modelaliassen

In plaats van een model-ID kun je benoemen wat je nodig hebt, en MartLLM kiest het model bij elk verzoek:

  • best-price:<job>: het beschikbare model met de laagste prijs voor één gewoon verzoek. Een chatmodel wordt vergeleken op basis van de prijs per miljoen tokens, waarbij de uitvoer driemaal wordt geteld; een afbeeldingsmodel op basis van één afbeelding (één 1024×1024 afbeelding wanneer de prijs per megapixel is); een videamodel op basis van de kortste clip; een muziekmodel op basis van één nummer; een spraakmodel op basis van 1K tekens; een transcriptiemodel op basis van één minuut.
  • fastest:<job>: het model met de laagste mediane tijd over de succesvolle verzoeken op MartLLM in de afgelopen 7 dagen (tijd tot de eerste token voor chat, tijd tot het voltooide bestand voor media), waarbij alleen modellen worden geteld met ten minste 5 van dergelijke verzoeken. Wanneer geen enkel model voldoende heeft, wordt het verzoek geweigerd met 503 no_timing_data, en werkt best-price: nog steeds.

Beide kiezen alleen uit modellen die nu beschikbaar zijn: de live markt toont een gezonde verkoper ervoor, en MartLLM's laatste verzoek eraan in de afgelopen 10 minuten vond niet elke verkoper bezet of offline (dezelfde regel als available op /v1/models). Op een media route, wanneer het model dat een alias heeft gekozen antwoordt dat niemand het verzoek toch kan aannemen, gaat hetzelfde verzoek door naar het volgende model waar de alias voor staat (tot 3 modellen), en de model van het antwoord noemt degene die heeft geantwoord. Wanneer er geen model voor de taak beschikbaar is, is het antwoord 503 no_available_provider en wordt er niets in rekening gebracht.

<job> is een van chat, image, image-edit, text-to-video, image-to-video, music, speech, transcription. Stuur een chat alias naar /v1/chat/completions of /v1/messages, en een media alias naar de bijbehorende media route. Het model veld van het antwoord noemt het model waarnaar het is opgelost. GET /v1/models/aliases toont elke alias die nu wordt opgelost en het bijbehorende model; GET /v1/models/best-price:chat beschrijft het model waar het voor staat, met alias ingesteld.

De routeringsinstelling van uw sleutel

Elke API key heeft een routeringsinstelling, op Dashboard → API keys (maak een sleutel aan of bewerk er een):

Instelling Wat het doet
Gebalanceerd (standaard) Snel en goedkoop: de goedkoopste provider die snel genoeg start, zoals hierboven beschreven. Een snellere provider die duurder is dan de vermelde prijs kan antwoorden, en de oproep kost wat deze in rekening bracht.
Laagste prijs Altijd de laagst geprijsde provider voor de aanvraag. Er wordt geen snellere, duurdere provider gekozen, er wordt geen tweede provider 'geracet', en een trage oproep wordt niet verplaatst. Kan trager zijn.
Snelste De provider die het eerst begint met antwoorden, wat het ook kost (hetzelfde als "sort": "latency").
Nooit meer in rekening brengen dan de vermelde prijs Aan of uit, met elk van de drie. Een aanvraag wordt alleen verzonden naar providers die op of onder de vermelde prijs van het model liggen op het moment dat de aanvraag binnenkwam, en wordt nooit gefactureerd boven wat de tokens kosten tegen die prijs. Als geen provider op dit moment tegen die prijs verkoopt, wordt de aanvraag geweigerd met 400 max_price_exceeded en kost niets.
Minimale korting 0–99%, met elk van de bovenstaande (leeg of 0 = geen minimum). Een chat-aanvraag wordt alleen verzonden naar providers die minstens zoveel onder de officiële prijs van het model verkopen, zowel input als output, en wordt nooit gefactureerd boven dat % korting op wat de tokens kosten tegen de officiële prijs (dezelfde officiële prijs die Activity's "% off" gebruikt). Als geen provider op dit moment zo goedkoop is, wordt de aanvraag geweigerd met 400 max_price_exceeded en kost niets. Een model zonder officiële prijs wordt op dezelfde manier geweigerd, omdat de korting niet kan worden gemeten.

Afbeeldingen en video volgen ook de instelling van de sleutel (sinds 19 november 2026). Veel afbeelding- en videomodellen hebben meer dan één verkoper, en één verkoper kan meer dan één manier hebben om een model te maken (een goedkopere, tragere en een duurdere, snellere). We meten hoe lang elk duurt en tellen hoe vaak elk faalt. De verkopersmarkt wordt in dezelfde lijst gerangschikt als de directe verkopers, met zijn eigen prijs en snelheid.

  • De standaard (auto, elke sleutel die geen andere heeft gekozen): de goedkoopste verkoper die precies maakt wat u vroeg. Het slaat alleen een verkoper over die blijft falen, of een die meer dan twee keer zo traag is als de snelste die we hebben getimed. Dus een sleutel die zijn instelling nooit heeft gewijzigd, betaalt niet meer voor een kleine snelheidsverbetering.
  • Gebalanceerd (balanced): de goedkoopste verkoper die maximaal 20% trager is dan de snelste die we hebben getimed. Een verkoper die we nog niet hebben getimed, telt als snel genoeg. Kies dit wanneer een sneller resultaat een hogere prijs waard is.
  • Laagste prijs (cheapest): altijd de goedkoopste verkoper die precies maakt wat u vroeg, hoe traag ook.
  • Snelste (fastest): de verkoper die we als snelste hebben getimed. Het kan meer kosten dan de goedkoopste verkoper, maar nooit meer dan de vermelde prijs van het model voor uw aanvraag.

Een verkoper wordt getimed zodra deze ten minste 3 taken voor het model heeft voltooid in de afgelopen 7 dagen; zolang er geen is getimed, kiest elke instelling de goedkoopste. Een verkoper die minder dan 7 heeft gemaakt in 10 van zijn recente taken (10 of meer pogingen) komt na de gezonde op elke instelling, en de tijd die we vergelijken is de tijd die een taak naar verwachting zal duren: een verkoper die één taak op de vijf verliest, telt als 25% trager. De prijs in een offerte ("validate": true) en de estimated_cost_usd van een taak zijn de prijs van de verkoper die de instelling van uw sleutel kiest, en dat is wat de taak wordt gefactureerd wanneer de verkoper in rekening brengt wat hij vermeldt. Als die verkoper de taak niet kan uitvoeren, doet de volgende in dezelfde volgorde dat wel.

De instelling is van toepassing wanneer een aanvraag niets zegt. De eigen provider.sort, :floor / :nitro, of provider.max_price van een aanvraag wint ervan. provider.only: ["uberllm"] is geen sortering, dus de instelling van de sleutel blijft van toepassing. De minimale korting is de uitzondering: deze is altijd van toepassing, en samen met de eigen provider.max_price van een aanvraag geldt de strengere prijs.

Via de dashboard API: routing (auto, balanced, cheapest of fastest; voor tekst is balanced hetzelfde als auto) en price_cap_listed (true/false) en min_discount_pct (heel getal 0–99) op POST /api/v1/keys en PATCH /api/v1/keys/{id}; alles wordt geretourneerd door GET /api/v1/keys.

Routeringsopties

Het provider object wordt gelezen op /v1/chat/completions. Een optie die MartLLM niet kan toepassen, wordt geweigerd met 400 unsupported_routing_option en er wordt niets in rekening gebracht, zodat een verzoek nooit wordt uitgevoerd met een instelling die stilzwijgend is genegeerd.

Optie Wat het doet
only / allow Alleen deze routes of providers. uberllm (de marketplace route van MartLLM) en seller (eigen aanbiedingen van verkopers) kiezen tussen onze routes. Elke andere naam, zoals openai of api.venice.ai, is een provider op de marketplace: het verzoek gaat dan via de uberllm route, die alleen aanbiedingen van die providers gebruikt.
ignore / deny Nooit deze. Routenamen zoals hierboven. Providernamen (maximaal 32) worden geweigerd op de marketplace, en het verzoek gaat dan via de uberllm route.
order Voorkeursvolgorde. Routenamen bepalen de volgorde van onze routes; providernamen bepalen de pogingsvolgorde van de marketplace. Het maakt een provider nooit geschikt of ongeschikt.
sort price (de standaard), latency (snelst waargenomen eerst, binnen een prijsband) of uptime (meest betrouwbaar eerst, binnen dezelfde band). throughput ordent alleen onze eigen routes.
max_price Het maximale dat u betaalt per miljoen tokens, in Amerikaanse dollars: { "prompt": 1.0, "completion": 3.0 }. Routes die erboven geprijsd zijn, worden overgeslagen; de marketplace route wordt aan verkopers aangeboden met ten minste zoveel korting op de catalogusprijs van het model als uw plafond vereist. Als er niets overblijft, wordt het verzoek geweigerd met 400 max_price_exceeded en wordt er niets in rekening gebracht. Wanneer u zowel prompt als completion instelt, wordt een verzoek nooit boven deze bedragen gefactureerd voor de tokens die het heeft gebruikt.
allow_fallbacks false schakelt de automatische herpogingen hierboven uit; de eerste fout wordt aan u geretourneerd.
data_collection Alleen "allow" (de standaard) wordt geaccepteerd.
zdr, require_parameters Alleen false wordt geaccepteerd.

De modelachtervoegsels :floor en :nitro worden geaccepteerd en verwijderd uit de model-ID; :floor sorteert op prijs en :nitro op throughput.

Voor afbeeldingen, video, muziek en spraak wordt elk verzoek naar een beschikbare externe provider voor het model gestuurd. provider.max_price is het maximale dat één eenheid (afbeelding, seconde, megapixel, minuut, 1K tekens of verzoek) mag kosten, als een getal: { "max_price": 0.05 }; het stelt ook een maximum aan de factuur. Elke andere provider optie wordt geweigerd voor media.

Tags

Stuur metadata, een object van maximaal 16 tekstwaarden (sleutels van maximaal 64 tekens zonder dubbele punt, waarden van maximaal 512), bij elk verzoek:

{ "model": "deepseek/deepseek-v4-flash", "messages": [...],
  "metadata": { "project": "spring-ads", "run": "42" } }

De tags worden opgeslagen bij het verzoek en nooit naar een provider gestuurd. Ze verschijnen bij het verzoek in Dashboard → Activiteit, bij de status van een video- of muziektaak, en in de CSV-export (kolom metadata). Filter Activiteit op een tag met GET /api/v1/usage/activity?tag=project:spring-ads (herhaal tag om er meerdere te vereisen); de CSV-link gebruikt hetzelfde filter. Op /v1/messages wordt Anthropic's eigen metadata ({"user_id": "…"}) op dezelfde manier opgeslagen.