使用
Linux x86_64
透過 pip 從 own/mvp 分支安裝 throttle
pip install git+https://github.com/KushagraKanaujia/throttle@own/mvp
確認能用
throttle --help輸出應包含「throttle demo」。
先試試這個
throttle demo執行 throttle demo,查看有多少流量可移至自架模型的範例報告。
它能做什麼
- 找出可在不損失品質下移轉的流量已測試
怎麼使用
- 執行
throttle demo。 - 閱讀「Share movable now」這一行,了解可移轉的流量比例與每月金額。
- 執行
- 將 API 流量路由至自架模型沒有看到它可用
- 新模型推出時重新測試工作負載未測試
- 以 95% 區間衡量每百萬 token 成本沒有看到它可用
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 1 項可用
- 可離線使用
適合用來
- 透過本機代理擷取 OpenAI 或 Anthropic 流量
- 重跑擷取的請求至自架模型以進行影子測試
- 以 95% 信賴區間衡量每 1M tokens 的美元成本