RouteLLM
节省LLM成本，不牺牲质量的框架
- 作为OpenAI客户端的替代品，智能路由简单查询到成本更低的模型。
- 提供经过训练的路由器，减少成本同时保持性能。
- 支持通过配置文件或参数来扩展新路由器和比较不同路由器的性能。
- 支持本地模型路由和OpenAI兼容服务器的启动。
- 提供了阈值校准功能，以优化成本与质量的平衡。
- 包含评估框架，用于衡量不同路由策略在基准测试中的性能。
产品详情
RouteLLM是一个用于服务和评估大型语言模型（LLM）路由器的框架。它通过智能路由查询到不同成本和性能的模型，以节省成本同时保持响应质量。它提供了开箱即用的路由器，并在广泛使用的基准测试中显示出高达85%的成本降低和95%的GPT-4性能。
