NeuSo erkennen wir Verkäufer, die das falsche Modell anbieten – und du bekommst dein Geld zurück.

Modelle & Routing

MartLLM sendet jede Anfrage an einen verfügbaren Drittanbieter für das von Ihnen angefragte Modell. Wenn der Anbieter fehlschlägt, bevor er mit der Beantwortung beginnt, wird die Anfrage wiederholt, und eine Anfrage, die weiterhin fehlschlägt, wird nicht berechnet. Jede Anfrage wird mit dem berechnet, was der Anbieter in Rechnung gestellt hat, ohne zusätzliche MartLLM-Gebühr, und wird mit ihren Kosten unter Dashboard → Activity aufgeführt. Sie wählen ein Modell, keinen Anbieter.

Modell-IDs

Verwenden Sie die Modell-ID aus dem Katalog, z.B. deepseek/deepseek-v4-flash, anthropic/claude-sonnet-5 oder z-ai/glm-5.3. Hier ist, was Sie aktuell aufrufen können:

  • GET https://api.martllm.com/v1/models: die Chat-Modelle, an die aktuell eine Anfrage gesendet werden kann, sodass ein Tool, das sein Modellmenü aus dieser Liste füllt (SillyTavern, LibreChat, n8n, Cline), nur Modelle anzeigt, mit denen es chatten kann. Fügen Sie ?type=video (oder image, music, speech, transcription, audio für beide davon, chat, mehrere mit Kommas verbunden) für andere Arten hinzu, oder ?type=all für jedes Modell, zuerst Chat, dann Bild, Video, Musik, Sprache und Transkription. Jeder Eintrag enthält type (chat, image, video, music, speech, transcription), endpoints (die Pfade, die es bedienen) und pricing.
  • Jedes Chat-Modell gibt auch an, was es kann: context_length, max_output_tokens, input_modalities (image = es liest Bilder), supports_tools, supports_reasoning, supports_vision und supported_parameters (die Anfragefelder, die es berücksichtigt). Dieselben Fakten finden sich auch unter den Namen von OpenRouter (architecture.input_modalities, top_provider.context_length, top_provider.max_completion_tokens und pricing.prompt / pricing.completion in Dollar pro token), sodass Tools, die für die Liste von OpenRouter entwickelt wurden, unsere unverändert lesen können.
  • GET https://api.martllm.com/v1/models/<model id>: ein Modell, mit seinem Preis, seinem Kontext (Chat) und, für ein Medienmodell, parameters: ein JSON Schema des Anfragekörpers (siehe Video oder Bild erstellen).
  • Jeder Eintrag, in beiden Antworten, enthält außerdem:
    • available: true, wenn eine Anfrage dafür aktuell bedient werden kann. false bedeutet, dass es im Moment niemand bedient, sodass eine Anfrage mit no_available_provider abgelehnt würde. Wählen Sie ein anderes Modell oder versuchen Sie es später erneut.
    • input_modalities: was das Modell akzeptiert. Ein Modell, das ein Bild benötigt (Bild zu Video, Referenz zu Video, Bildbearbeitung), listet "image" neben "text" auf; eines, das ein Video akzeptiert (Upscaling), listet "video" auf.
    • nsfw: true für ein Modell, das für erwachsene oder ungefilterte Inhalte gemacht ist (Lustify, die "ungefilterten" Modelle und ähnliche). Überspringen Sie diese, wenn Ihr Produkt jugendfrei bleiben muss.
  • Öffentlich, kein API key erforderlich: GET https://api.martllm.com/api/v1/public/models (mit Preisen und denselben Feldern available, input_modalities und nsfw)
  • Web: martllm.com/#models und eine Seite pro Modell unter martllm.com/models/<model id>

Was bei jeder Anfrage passiert

  1. MartLLM prüft, ob das Modell existiert, ob Ihr Prompt in sein Kontextfenster passt und ob es Tools unterstützt, falls Ihre Anfrage diese verwendet.
  2. Es reserviert die geschätzten Kosten von Ihrem Guthaben und leitet die Anfrage weiter.
  3. Die Anfrage wird an einen verfügbaren Anbieter für dieses Modell gesendet. Mit dem standardmäßigen Balanced Routing wird der Anbieter für jeden Aufruf neu gewählt: der günstigste, der schnell genug für Ihre Prompt-Größe zu antworten beginnt (innerhalb von 6x der schnellsten gemessenen, oder unter 1 Sekunde). Dieser Anbieter kann über dem gelisteten Preis liegen, und der Aufruf kostet dann das, was er berechnet hat. Ein langer gestreamter Prompt geht auch an einen zweiten schnellen Anbieter, wenn der erste langsam startet, und ein Aufruf, der nach 5 Sekunden nicht gestartet ist, kann zu einem schnelleren Anbieter wechseln; Sie erhalten und bezahlen eine Antwort. Die Routing-Einstellung Ihres Schlüssels (unten) oder sort in der Anfrage ändert dies. So funktioniert es: smart routing.
  4. Wenn die Antwort abgeschlossen ist, rechnet MartLLM zum Preis ab, den der Marktplatz für diesen Aufruf meldet, und gibt den Rest der Reservierung frei.

Automatische Wiederholungsversuche

Wenn ein Aufruf fehlschlägt, bevor Inhalte Sie erreichen, wiederholt MartLLM ihn für Sie. Der Marktplatz findet bei jedem Versuch einen neuen Anbieter und berechnet nichts für einen Aufruf, der fehlschlug, bevor er weitergeleitet wurde, daher kostet Sie ein Wiederholungsversuch nur Zeit.

  • Wiederholt: kein Anbieter für das Modell verfügbar (no_sellers_for_model, no_healthy_sellers), der Marktplatz hatte keine Zeit mehr für die Weiterleitung (route_deadline_exceeded), ein 429, der bittet, 5 Sekunden oder weniger zu warten, jeder 5xx, ein Verbindungsfehler, ein Anbieter, dessen eigener Provider-Schlüssel oder Konto fehlgeschlagen ist, oder kein erstes Byte rechtzeitig.
  • Nicht wiederholt: das Modell existiert nicht, die Anfrage ist ungültig, oder ein Abrechnungs- oder Authentifizierungsproblem. Diese werden sofort zurückgegeben.
  • Zeitplan: bis zu 4 Versuche, mit Wartezeiten von 0.3 s, 0.9 s, dann 2.7 s dazwischen (oder dem Retry-After, den der Marktplatz gesendet hat, falls dieser 5 Sekunden oder weniger beträgt). Wenn niemand das Modell anbietet, kommt die Antwort innerhalb weniger Sekunden zurück.
  • Warten auf das erste Byte: ein Stream erhält 10 Sekunden (mehr für einen langen Prompt und mehr für ein Modell, das normalerweise langsam ist); eine Antwort ohne "stream": true erhält 85 Sekunden, da nichts ankommt, bevor es vollständig ist. Ein Versuch, der die vollen 85 Sekunden ausschöpft, wird kein zweites Mal abgewartet. Nach 150 Sekunden beginnt kein Wiederholungsversuch mehr.

Sobald das Streaming begonnen hat, wird nichts mehr wiederholt: ein Fehler mitten im Stream beendet den Stream und Ihnen wird nur das berechnet, was produziert wurde.

Wenn jeder Versuch fehlschlägt, erhalten Sie eine Fehlermeldung anstelle einer Antwort, und die Reservierung wird vollständig freigegeben. Die häufigsten sind:

HTTP code Wann
503 no_available_provider Niemand konnte dieses Modell gerade bedienen, selbst nach Wiederholungsversuchen: kein Anbieter, jeder Anbieter schlägt fehl oder ist zu langsam zum Starten, oder Ihre provider Optionen ließen keine Weiterleitung zu. Die Meldung nennt das Modell. Versuchen Sie es in Kürze erneut oder wählen Sie ein anderes Modell.
503 service_unavailable Ein temporäres Problem auf Seiten von MartLLM. Versuchen Sie es in wenigen Minuten erneut.
404 model_not_found Die Modell-ID ist nicht verfügbar.

Die vollständige Liste finden Sie unter Fehler.

Fallback-Modelle

Senden Sie models mit einer Liste anderer Modell-IDs, die der Reihe nach versucht werden sollen, wenn das erste nicht bereitgestellt werden kann:

{ "model": "deepseek/deepseek-v4-flash",
  "models": ["z-ai/glm-5.3", "qwen/qwen3.7-plus"],
  "messages": [{ "role": "user", "content": "hi" }] }

Das nächste Modell wird nur versucht, wenn niemand das vorherige Modell gerade bereitstellen kann (no_available_provider), oder niemand es innerhalb Ihrer provider.max_price verkauft. Ein Anfragefehler (ein fehlerhafter Body, eine unbekannte Modell-ID in einem der Felder) und eine Zahlungsverweigerung (Guthaben, Schlüssel-Limits) werden sofort beantwortet und niemals die Liste weitergegeben. Höchstens 5 Modelle in model und models zusammen. Das model-Feld der Antwort und die Aktivitätszeile benennen das Modell, das geantwortet hat. models funktioniert bei /v1/chat/completions und bei Bild-, Video-, Musik- und Sprachanfragen; /v1/messages und /v1/audio/transcriptions lesen es nicht.

Modell-Aliase

Anstelle einer Modell-ID können Sie benennen, was Sie benötigen, und MartLLM wählt das Modell bei jeder Anfrage aus:

  • best-price:<job>: das verfügbare Modell mit dem niedrigsten Preis für eine gewöhnliche Anfrage. Ein Chat-Modell wird nach seinem Preis pro Million Tokens verglichen, wobei die Ausgabe dreifach gezählt wird; ein Bildmodell nach einem Bild (ein 1024×1024 Bild, wenn es pro Megapixel bepreist wird); ein Videomodell nach seinem kürzesten Clip; ein Musikmodell nach einem Titel; ein Sprachmodell nach 1K Zeichen; ein Transkriptionsmodell nach einer Minute.
  • fastest:<job>: das Modell mit der niedrigsten Medianzeit über seine erfolgreichen Anfragen auf MartLLM in den letzten 7 Tagen (Zeit bis zum ersten Token für Chat, Zeit bis zur fertigen Datei für Medien), wobei nur Modelle mit mindestens 5 solcher Anfragen gezählt werden. Wenn kein Modell genügend hat, wird die Anfrage mit 503 no_timing_data abgelehnt, und best-price: funktioniert weiterhin.

Beide wählen nur unter Modellen aus, die gerade verfügbar sind: der Live-Markt zeigt einen gesunden Anbieter dafür, und MartLLMs letzte Anfrage an ihn in den letzten 10 Minuten fand nicht jeden Anbieter beschäftigt oder ausgefallen (die gleiche Regel wie available auf /v1/models). Auf einer Medienroute, wenn das von einem Alias ausgewählte Modell antwortet, dass niemand die Anfrage doch annehmen kann, geht dieselbe Anfrage an das nächste Modell weiter, für das der Alias steht (bis zu 3 Modelle), und das model der Antwort benennt dasjenige, das geantwortet hat. Wenn kein Modell für den Auftrag verfügbar ist, lautet die Antwort 503 no_available_provider und es wird nichts berechnet.

<job> ist eines von chat, image, image-edit, text-to-video, image-to-video, music, speech, transcription. Senden Sie einen Chat-Alias an /v1/chat/completions oder /v1/messages, und einen Medien-Alias an seine Medienroute. Das model-Feld der Antwort benennt das Modell, zu dem es aufgelöst wurde. GET /v1/models/aliases listet jeden Alias auf, der sich gerade auflöst, und sein Modell; GET /v1/models/best-price:chat beschreibt das Modell, für das er steht, mit gesetztem alias.

Routing-Einstellung deines Keys

Jeder API key hat eine Routing-Einstellung, unter Dashboard → API keys (erstelle einen Key oder bearbeite einen):

Einstellung Was sie bewirkt
Ausgewogen (Standard) Schnell und günstig: der günstigste Anbieter, der schnell genug startet, wie oben beschrieben. Ein schnellerer Anbieter, der über dem Listenpreis liegt, kann antworten, und der Aufruf kostet, was er berechnet hat.
Niedrigster Preis Immer der günstigste Anbieter für die Anfrage. Es wird kein schnellerer, teurerer Anbieter gewählt, kein zweiter Anbieter parallel getestet, und ein langsamer Aufruf wird nicht verschoben. Kann langsamer sein.
Am schnellsten Der Anbieter, der als erster mit der Antwort beginnt, egal was er kostet (entspricht "sort": "latency").
Nie mehr als den Listenpreis berechnen An oder aus, mit jeder der drei Optionen. Eine Anfrage wird nur an Anbieter gesendet, die beim Eingang der Anfrage beim Listenpreis des Modells oder darunter liegen, und wird nie mit mehr abgerechnet als dem, was ihre Tokens zu diesem Preis kosten. Wenn aktuell kein Anbieter zu diesem Preis verkauft, wird die Anfrage mit 400 max_price_exceeded abgelehnt und kostet nichts.
Mindestrabatt 0–99%, mit jeder der oben genannten Optionen (leer oder 0 = kein Minimum). Eine Chat-Anfrage wird nur an Anbieter gesendet, die mindestens so viel unter dem offiziellen Preis des Modells verkaufen, jeweils für Eingabe und Ausgabe, und wird nie mit mehr als dem um diesen prozentualen Abschlag reduzierten Betrag dessen abgerechnet, was ihre Tokens zum offiziellen Preis kosten (denselben offiziellen Preis, den „% Rabatt“ in Aktivität verwendet). Wenn aktuell kein Anbieter so günstig ist, wird die Anfrage mit 400 max_price_exceeded abgelehnt und kostet nichts. Ein Modell ohne offiziellen Preis wird genauso abgelehnt, weil der Rabatt nicht gemessen werden kann.

Bilder und Videos folgen ebenfalls der Einstellung des Keys (seit 19. November 2026). Viele Bild- und Videomodelle haben mehr als einen Verkäufer, und ein Verkäufer kann mehr als einen Weg haben, ein Modell zu erzeugen (einen günstigeren, langsameren und einen teureren, schnelleren). Wir messen, wie lange jeder braucht, und zählen, wie oft jeder fehlschlägt. Der Marktplatz der Verkäufer wird in derselben Liste wie die direkten Verkäufer geführt, mit seinem eigenen Preis und seiner eigenen Geschwindigkeit.

  • Der Standard (auto, jeder Key, der keine andere Einstellung gewählt hat): der günstigste Verkäufer, der genau das erzeugt, was du angefragt hast. Er überspringt nur einen Verkäufer, der immer wieder fehlschlägt, oder einen, der mehr als doppelt so langsam ist wie der schnellste, den wir gemessen haben. Ein Key, der seine Einstellung nie geändert hat, zahlt also nicht mehr für einen kleinen Geschwindigkeitsvorteil.
  • Ausgewogen (balanced): der günstigste Verkäufer, der um höchstens 20% langsamer ist als der schnellste, den wir gemessen haben. Ein Verkäufer, den wir noch nicht gemessen haben, gilt als schnell genug. Wähle dies, wenn ein schnelleres Ergebnis einen höheren Preis wert ist.
  • Niedrigster Preis (cheapest): immer der günstigste Verkäufer, der genau das erzeugt, was du angefragt hast, egal wie langsam.
  • Am schnellsten (fastest): der Verkäufer, den wir als schnellsten gemessen haben. Er kann mehr kosten als der günstigste Verkäufer, aber nie mehr als der Listenpreis des Modells für deine Anfrage.

Ein Verkäufer wird gemessen, sobald er in den letzten 7 Tagen mindestens 3 Jobs für das Modell abgeschlossen hat; solange keiner gemessen ist, wählt jede Einstellung den günstigsten. Ein Verkäufer, der weniger als 7 von 10 seiner letzten Jobs geschafft hat (10 oder mehr Versuche), wird bei jeder Einstellung hinter die gesunden Verkäufer gestellt, und die Zeit, die wir vergleichen, ist die Zeit, die ein Job voraussichtlich braucht: ein Verkäufer, der einen von fünf Jobs verliert, gilt als um 25% langsamer. Der Preis in einem Angebot ("validate": true) und estimated_cost_usd eines Jobs sind der Preis des Verkäufers, den die Einstellung deines Keys auswählt, und das ist der Betrag, der für den Job abgerechnet wird, wenn der Verkäufer den angegebenen Preis berechnet. Wenn dieser Verkäufer den Job nicht übernehmen kann, ist der nächste in derselben Reihenfolge dran.

Die Einstellung gilt, wenn eine Anfrage nichts anderes vorgibt. Eine eigene provider.sort, :floor / :nitro oder provider.max_price einer Anfrage hat Vorrang vor ihr. provider.only: ["uberllm"] ist keine Sortierung, daher gilt die Einstellung des Keys weiterhin. Der Mindestrabatt ist die Ausnahme: Er gilt immer, und zusammen mit einer eigenen provider.max_price der Anfrage gilt der strengere Preis.

Über die Dashboard-API: routing (auto, balanced, cheapest oder fastest; bei Text ist balanced dasselbe wie auto) und price_cap_listed (true/false) und min_discount_pct (Ganzzahl 0–99) für POST /api/v1/keys und PATCH /api/v1/keys/{id}; alle werden von GET /api/v1/keys zurückgegeben.

Routing-Optionen

Das provider-Objekt wird auf /v1/chat/completions gelesen. Eine Option, die MartLLM nicht anwenden kann, wird mit 400 unsupported_routing_option abgelehnt und es wird nichts berechnet, sodass eine Anfrage niemals mit einer stillschweigend verworfenen Einstellung ausgeführt wird.

Option Was es bewirkt
only / allow Nur diese Routen oder Anbieter. uberllm (MartLLMs Marktplatz-Route) und seller (eigene Angebote der Verkäufer) wählen zwischen unseren Routen. Jeder andere Name, wie openai oder api.venice.ai, ist ein Anbieter auf dem Marktplatz: Die Anfrage läuft dann über die uberllm-Route, die nur Angebote dieser Anbieter nutzt.
ignore / deny Niemals diese. Routennamen wie oben. Anbieternamen (höchstens 32) werden auf dem Marktplatz abgelehnt, und die Anfrage läuft dann über die uberllm-Route.
order Bevorzugte Reihenfolge. Routennamen ordnen unsere Routen; Anbieternamen legen die Versuchsreihenfolge des Marktplatzes fest. Es macht einen Anbieter niemals berechtigt oder unberechtigt.
sort price (die Standardeinstellung), latency (zuerst der schnellste beobachtete, innerhalb einer Preisspanne) oder uptime (zuerst der zuverlässigste, innerhalb derselben Spanne). throughput ordnet nur unsere eigenen Routen.
max_price Der Höchstbetrag, den Sie pro Million Tokens zahlen, in US-Dollar: { "prompt": 1.0, "completion": 3.0 }. Routen, die darüber liegen, werden übersprungen; die Marktplatz-Route wird für Verkäufer mindestens so weit unter dem Listenpreis des Modells gehalten, wie Ihr Limit es erfordert. Wenn nichts mehr übrig ist, wird die Anfrage mit 400 max_price_exceeded abgelehnt und es wird nichts berechnet. Wenn Sie sowohl prompt als auch completion festlegen, wird eine Anfrage niemals über diese Beträge hinaus für die verwendeten Tokens abgerechnet.
allow_fallbacks false schaltet die automatischen Wiederholungsversuche oben ab; der erste Fehler wird an Sie zurückgegeben.
data_collection Nur "allow" (die Standardeinstellung) wird akzeptiert.
zdr, require_parameters Nur false wird akzeptiert.

Die Modell-Suffixe :floor und :nitro werden akzeptiert und von der Modell-ID entfernt; :floor sortiert nach Preis und :nitro nach Durchsatz.

Für Bild, Video, Musik und Sprache wird jede Anfrage an einen verfügbaren Drittanbieter für das Modell gesendet. provider.max_price ist der Höchstbetrag, den eine Einheit (Bild, Sekunde, Megapixel, Minute, 1K Zeichen oder Anfrage) kosten darf, als Zahl: { "max_price": 0.05 }; es deckelt auch die Rechnung. Jede andere provider-Option wird für Medien abgelehnt.

Tags

Senden Sie metadata, ein Objekt mit bis zu 16 Textwerten (Schlüssel bis zu 64 Zeichen ohne Doppelpunkt, Werte bis zu 512), bei jeder Anfrage:

{ "model": "deepseek/deepseek-v4-flash", "messages": [...],
  "metadata": { "project": "spring-ads", "run": "42" } }

Die Tags werden mit der Anfrage gespeichert und niemals an einen Anbieter gesendet. Sie erscheinen bei der Anfrage in Dashboard → Activity, beim Status eines Video- oder Musik-Jobs und im CSV-Export (Spalte metadata). Filtern Sie Activity nach einem Tag mit GET /api/v1/usage/activity?tag=project:spring-ads (wiederholen Sie tag, um mehrere zu erfordern); der CSV-Link übernimmt denselben Filter. Auf /v1/messages wird Anthropic's eigenes metadata ({"user_id": "…"}) auf die gleiche Weise gespeichert.