pickfit

瀏覽開發者 CLI

servebench

對 OpenAI 相容的 LLM 端點進行負載測試,並回報 TTFT、TPOT、吞吐量與容量。

已在 Linux 上測試

使用

Linux x86_64

需要先準備

  • 執行環境:python 3.11+
  • 需要網路
  1. 透過 uv tool 安裝含 mock extra 的 servebench

    uv tool install "servebench[mock]"
README 與實測不符之處
  • README 寫: uv tool install servebench / pip install servebench
    實際可行: uv tool install "servebench[mock]" 以提供 servebench mock-server

確認能用

servebench --help 2>&1

輸出應包含「mock-server」。

先試試這個

servebench mock-server --port 8000
mkdir -p runs && servebench run --url http://127.0.0.1:8000/v1 --model mock-model --concurrency 1,2 --num-requests 4 --input-len 16 --output-len 8 --out runs/run-a.json 2>&1

對執行中的 OpenAI 相容伺服器執行 servebench run --url <server-url>/v1 --model <model> --out <file> 開始基準測試。

它能做什麼

  • 對 OpenAI 相容的 LLM 端點進行負載測試
    怎麼使用
    1. 啟動你的 OpenAI 相容伺服器,或用 servebench mock-server --port <port> 試用本機伺服器。
    2. 執行 servebench run --url <server-url>/v1 --model <model> --concurrency <levels> --num-requests <n> --input-len <tokens> --output-len <tokens> --out <file>。
    3. 結果會儲存到 --out 指定的檔案。
    已測試
  • 找出符合延遲目標的同時使用者數
    怎麼使用
    1. 執行 servebench find-capacity --url <server-url>/v1 --model <model> --max <n> --num-requests <n> --out <file>。
    2. 查看回報的容量,以及測量所依據的 TTFT 與 TPOT 目標。
    已測試
  • 以圖表並排比較基準測試結果
    怎麼使用
    1. 用 servebench run ... --out <file> 儲存兩次以上的執行結果。
    2. 執行 servebench compare-models <run-a-file> <run-b-file> 查看 Model Serving Comparison。
    已測試
  • 以 roofline 模型找出服務瓶頸
    怎麼使用
    1. 用 servebench run ... --out <file> 儲存一次執行結果。
    2. 執行 servebench roofline <file> --gpu-name "<your GPU>"。
    3. 查看 Verdict 那一行,了解伺服器受哪項限制約束。
    已測試

pickfit 測到哪一步

Linux x86_64

  1. 可以安裝
  2. 可以啟動
  3. 4 項功能中 4 項可用
  4. 可離線使用

Windows:專案說支援,但 pickfit 還沒試過。

適合用來

  • 以多種並行等級掃測執行中的 LLM 伺服器
  • 找出符合延遲目標的並行使用者數
  • 並排比較多次基準測試結果
  • 分析硬體 roofline 瓶頸與使用率
  • 透過自動調校產生引擎啟動旗標

可替代 vLLM's vllm bench serve、NVIDIA GenAI-Perf、guidellm 和 LLMPerf。

pickfit 怎麼測的

每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證

Linux x86_64

服務能回應請求

  • 從頭重跑
  • 可離線使用
  • 檢查於 2026年10月30日
  • 版本 1.1.3

測試機器遇到的差異

  • README: generic --version check
    測試中: servebench --help(顯示指令);--version 以 No such option 結束,代碼 2
  • README: servebench quick answers in ~1 minute
    測試中: servebench quick 自動偵測到 127.0.0.1:8000 的模擬伺服器,持續將負載加倍超過 c=16,90 秒後仍在執行

怎麼看工具卡

縫線
pickfit 親自安裝過這款工具,縫線下方的內容都來自那次測試。沒測過的工具,一律沒有縫線。
已在你的作業系統上驗證
安裝步驟在你選的系統上跑過。「只在 Linux 上執行過」表示還沒在你的系統上跑過。
macOS、Linux 和 Windows在哪裡測過
綠色系統標記:pickfit 在該系統跑過安裝步驟。灰色:README 說支援,但 pickfit 還沒試過。
測試進行到哪一步
能安裝並啟動、主要功能可用、服務有回應、能產生模型輸出。視窗代表桌面應用程式已開啟;插頭代表 MCP 用戶端用過它。標記在測試結果旁邊:展開「為什麼適合、我們怎麼知道」,或在「pickfit 怎麼測的」裡。
視覺檢查
pickfit 看過應用程式的截圖。綠色:畫面正常。黃色加數字:有看起來不對的地方,點開就能看到。灰色虛線:還沒檢查。
已知漏洞
它安裝的套件有沒有已知的高風險或嚴重漏洞(OSV.dev)。綠色:沒有已知漏洞。紅色加數字:有幾個,點開看清單,安裝前先看過。灰色虛線:沒有檢查,不代表安全。
關於這次測試
測試日期,以及測到的版本。
理由的來源
每個推薦理由都依據簡介裡的一個欄位。展開理由就能看到欄位和值。
寶藏
品質高、少有人知。
品質與知名度
兩個分數,滿分都是 100。品質:pickfit 試裝、試用的結果,以及安裝文件和維護狀況。知名度:看星數、下載量和 Hacker News。
已檢查的功能
README 宣傳的主要功能裡,實測通過幾項(綠色)、失敗幾項(紅色)。灰色是沒檢查的,工具卡會說明原因。
未驗證
Fitz 依一般知識提到的知名工具。沒有測試紀錄、沒有步驟、沒有分數。