MartLLM(原 UberLLM)路由如何选择最便宜且健康的提供商
对于每个请求,MartLLM 会查找所有提供您指定模型的卖家,根据实时价格对其进行排名,并将请求发送给最便宜且健康的卖家,该卖家需足够快以满足您的提示词大小。如果该卖家在任何 output 开始 streaming 之前失败,请求将会在下一个最便宜且健康的卖家上重试 — 这样您就能以最低的价格获得服务,同时不损失可靠性,并且您绝不会为失败的尝试付费。
一句话版本
最便宜的健康卖家,按请求决定。这两个词都至关重要:最便宜,因此您支付最低的实时价格;健康,因此您不会被路由到正在出错或速度缓慢的卖家。
逐步说明
- 解析模型。 您发送的
modelID 映射到一个逻辑模型(旧的 ID 会持续解析到其当前的替代品,因此链接和代码不会失效)。 - 汇集卖家。 MartLLM 会收集该模型的每个活跃报价——网关自身精选的路由,以及市场上列出的任何卖家池报价。
- 按实时价格排序。 报价按其当前价格排序。您获得的报价不包含 MartLLM 费用,因此排名和计费使用相同的数字。
- 筛选健康卖家。 正在失败、受速率限制或探测不健康的卖家会被跳过。健康状况通过真实流量和后台探测持续跟踪。
- 发送给足够快的、最便宜的卖家。 在健康的卖家中,那些在您的提示大小下,首次 token 响应时间在最快测量时间的 2x 范围内的会被保留,其中最便宜的卖家将获得请求。如果第一个卖家启动缓慢,长提示也会发送给第二个快速卖家。详细信息请参见 智能路由。
- 在输出前故障转移。 如果该卖家在任何 token 流式传输给您之前出错,请求将在下一个最便宜的健康卖家上重试。最终未返回结果的请求费用为 $0。
为什么“健康”不可或缺
一个纯粹的“最低价优先”路由器会将你发送到任何一个价格低于所有其他卖家的卖家 — 包括那些因为故障而便宜的卖家。MartLLM 的健康筛选器是让“最低价”变得安全的关键:实时面板会显示每个提供商的可靠性,你可以在正常运行时间页面]上自行查看。路由使用相同的信号。
您可以看到什么
针对卖家
同样的机制也是市场中的卖家端:列出模型的闲置容量,保持良好状态并具有竞争力价格,请求就会路由到你。请参阅 销售工作原理 以及 卖家文档。