pickfit 測到哪一步
pickfit 還沒驗證過 bloomery,所以沒有測過的安裝步驟。
以下只依據它的 README。
使用
需要先準備
- 需要 GPU
它能做什麼
pickfit 還沒測過它,所以以下只依據 README。
- 提供超過 GPU 記憶體容量的混合專家模型服務未測試
- 透過 llama-server 相容 API 提供模型服務未測試
- 直接載入 checkpoint 資料夾,無需轉換未測試
- 在多個請求間重複使用已儲存的提示狀態未測試
適合用來
- 在連接埠 8080 提供 Qwen3-30B-A3B
- 以 CPU 卸載在兩張 GPU 上提供 200GB 以上的 MoE 模型
可替代 llama-server。