使用
Linux x86_64
需要先準備
- 執行環境:
python 3.11+ - 需要網路
透過 uv tool 安裝含 mock extra 的 servebench
uv tool install "servebench[mock]"
README 與實測不符之處
- README 寫: uv tool install servebench / pip install servebench
實際可行: uv tool install "servebench[mock]" 以提供 servebench mock-server
確認能用
servebench --help 2>&1輸出應包含「mock-server」。
先試試這個
servebench mock-server --port 8000mkdir -p runs && servebench run --url http://127.0.0.1:8000/v1 --model mock-model --concurrency 1,2 --num-requests 4 --input-len 16 --output-len 8 --out runs/run-a.json 2>&1對執行中的 OpenAI 相容伺服器執行 servebench run --url <server-url>/v1 --model <model> --out <file> 開始基準測試。
它能做什麼
- 對 OpenAI 相容的 LLM 端點進行負載測試已測試
怎麼使用
- 啟動你的 OpenAI 相容伺服器,或用
servebench mock-server --port <port>試用本機伺服器。 - 執行
servebench run --url <server-url>/v1 --model <model> --concurrency <levels> --num-requests <n> --input-len <tokens> --output-len <tokens> --out <file>。 - 結果會儲存到
--out指定的檔案。
- 啟動你的 OpenAI 相容伺服器,或用
- 找出符合延遲目標的同時使用者數已測試
怎麼使用
- 執行
servebench find-capacity --url <server-url>/v1 --model <model> --max <n> --num-requests <n> --out <file>。 - 查看回報的容量,以及測量所依據的 TTFT 與 TPOT 目標。
- 執行
- 以圖表並排比較基準測試結果已測試
怎麼使用
- 用
servebench run ... --out <file>儲存兩次以上的執行結果。 - 執行
servebench compare-models <run-a-file> <run-b-file>查看 Model Serving Comparison。
- 用
- 以 roofline 模型找出服務瓶頸已測試
怎麼使用
- 用
servebench run ... --out <file>儲存一次執行結果。 - 執行
servebench roofline <file> --gpu-name "<your GPU>"。 - 查看 Verdict 那一行,了解伺服器受哪項限制約束。
- 用
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 4 項可用
- 可離線使用
Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 以多種並行等級掃測執行中的 LLM 伺服器
- 找出符合延遲目標的並行使用者數
- 並排比較多次基準測試結果
- 分析硬體 roofline 瓶頸與使用率
- 透過自動調校產生引擎啟動旗標
可替代 vLLM's vllm bench serve、NVIDIA GenAI-Perf、guidellm 和 LLMPerf。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
服務能回應請求
- 從頭重跑
- 可離線使用
- 檢查於 2026年10月30日
- 版本 1.1.3
測試機器遇到的差異
- README: generic --version check
測試中: servebench --help(顯示指令);--version 以 No such option 結束,代碼 2 - README: servebench quick answers in ~1 minute
測試中: servebench quick 自動偵測到 127.0.0.1:8000 的模擬伺服器,持續將負載加倍超過 c=16,90 秒後仍在執行