使用
macOS arm64
需要先準備
- 可選用 GPU
- 需要網路
- 金鑰或帳號:HF_TOKEN
透過 uv tool install 安裝 quantpicker
uv tool install quantpicker
確認能用
quantpicker search qwen3 8b 2>&1輸出應包含「Qwen/Qwen3-8B-GGUF」。
先試試這個
quantpicker search qwen3 8b 2>&1執行 quantpicker search <model name>,在 Hugging Face 上尋找 GGUF 儲存庫。
Linux x86_64
需要先準備
- 可選用 GPU
- 需要網路
- 金鑰或帳號:HF_TOKEN
透過 uv tool 安裝 quantpicker
uv tool install quantpicker
確認能用
quantpicker --help 2>&1輸出應包含「Measures which GGUF quant」。
先試試這個
quantpicker search qwen3 8b 2>&1執行 quantpicker search <model name>,在 Hugging Face 上尋找 GGUF 儲存庫。
它能做什麼
- 測量 GGUF 量化版本並挑出最快的已測試
怎麼使用
- 以 Hugging Face GGUF 儲存庫執行
quantpicker <repo> --quants Q4_K_M,Q5_K_M --chunks 5 --reps 1。 - 比較各量化版本顯示的 tok/s 速度與平均 KLD。
- 以 Hugging Face GGUF 儲存庫執行
- 在 Hugging Face 搜尋 GGUF 儲存庫已測試
怎麼使用
- 執行
quantpicker search <your search words>。 - 查看列出儲存庫及其下載數與按讚數的表格。
- 執行
- 列出量化版本並查看哪些適合你的 GPU已測試
怎麼使用
- 執行
quantpicker list <repo>。 - 查看 size 與 fits 欄位,以及預設會測量哪些量化版本。
- 執行
pickfit 測到哪一步
macOS arm64
- 可以安裝
- 可以啟動
- 3 項功能中 2 項可用
- 需要網路
Linux x86_64
- 可以安裝
- 可以啟動
- 3 項功能中 3 項可用
- 需要網路
其他系統
Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 測量 GGUF 量化版本並挑出品質限制內最快者
- 在 Hugging Face 上尋找 GGUF 儲存庫
- 列出量化版本並在不下載的情況下檢查是否符合 GPU 記憶體
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
macOS arm64
主要功能可用
- 從頭重跑
- 需要網路
- 檢查於 2026年11月1日
- 版本 0.1.0
Linux x86_64
主要功能可用
- 從頭重跑
- GPU:Tesla T4
- 需要網路
- 檢查於 2026年11月1日
- 版本 0.1.0
測試機器遇到的差異
- README: pip install quantpicker
測試中: uv tool install quantpicker(隔離安裝,避開 PEP 668 唯讀系統限制) - README: quantpicker unsloth/Qwen3-8B-GGUF
測試中: 為配合機器的時間與磁碟限制,對 bartowski/SmolLM2-135M-Instruct-GGUF 執行 measure,參數為 --quants Q4_K_M,Q5_K_M --chunks 5 --reps 1;README 範例使用 unsloth/Qwen3-8B-GGUF(每個量化版本約 3-8 GiB)