使用
Linux x86_64
需要先準備
- 執行環境:
python>=3.10 - 可選用 GPU
- 至少 16 GB 記憶體
透過 pipx 安裝 mafdet
pipx install mafdet
確認能用
mafdet --help 2>&1輸出應包含「strike (the strike)」。
先試試這個
mafdet doctor 2>&1先執行 mafdet doctor 檢查 GPU、記憶體、llama.cpp 與模型。
它能做什麼
- 尋找並下載 GGUF 模型已測試
怎麼使用
- 執行
mafdet models列出 GGUF 模型及其在你電腦上的預期速度。
- 執行
- 在你輸入時讀取訊息未測試
- 在你輸入時預先推理未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 3 項功能中 1 項可用
- 可離線使用
macOS 和 Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 在視窗或終端機應用程式中與本機模型聊天
- 在你的電腦上評測 prefill 與 decode 效能
- 檢查 GPU、記憶體、llama.cpp 與模型