使用
macOS arm64
需要先準備
- 執行環境:
Go 1.26 or newer
透過 Homebrew 執行 brew tap 並安裝 jitllm
brew tap jitllm/jitllm 2>&1 brew trust jitllm/jitllm 2>&1 brew install jitllm 2>&1
README 與實測不符之處
- README 寫: jitllm convert qwen3-30b-a3b (and flags after file)
實際可行: Go 旗標解析器要求旗標放在檔案之前:jitllm convert -o DIR <file> 與 jitllm run -n 16 <file> "prompt";將 -o 或 -n 放在檔案之後會出錯
確認能用
which jitllm && which jitllmd && jitllm --help 2>&1 | head -n 100; echo ---VERSION---; jitllm --version 2>&1; jitllm version 2>&1; jitllmd --help 2>&1輸出應包含「jitllm convert」。
先試試這個
mkdir -p ~/models && curl -fL -o ~/models/stories260K.gguf https://huggingface.co/ggml-org/test-model-stories260K/resolve/main/stories260K-f32.gguf && ls -lh ~/models/stories260K.ggufjitllm convert -o ~/models/stories260K.jlm ~/models/stories260K.gguf 2>&1先以 jitllm convert -o <output.jlm> <model.gguf> 將模型轉換為本機格式。
Linux x86_64
需要先準備
- 執行環境:
Go 1.26 or newer
下載安裝腳本以供檢查
curl -fsSL https://jitllm.org/install.sh -o /tmp/jitllm-install.sh從發行版腳本安裝 jitllm 與 jitllmd
sh /tmp/jitllm-install.sh
README 與實測不符之處
- README 寫: curl -fsSL https://jitllm.org/install.sh | sh
實際可行: 下載到 /tmp/jitllm-install.sh 並閱讀後,執行 sh /tmp/jitllm-install.sh;安裝程式會驗證 checksums.txt 並安裝到 ~/.local/bin - README 寫: jitllm --version or --help works
實際可行: jitllm version 子指令輸出 0.2.6;jitllm --version 與 jitllm --help 以代碼 2 結束,並在 stderr 輸出用法 - README 寫: On Linux the install script starts jitllmd as a systemd user service
實際可行: 安裝程式輸出「no systemd user session here: start the server with jitllmd serve」,並在沒有 systemd 使用者工作階段時略過服務安裝
確認能用
jitllm version輸出應包含「0.2.6」。
先試試這個
jitllm version先以 jitllm convert -o <output.jlm> <model.gguf> 將模型轉換為本機格式。
它能做什麼
以下依據 README;pickfit 沒有逐項檢查。
- 為你的硬體產生最佳化核心未測試
- 透過分頁執行超出記憶體大小的模型未測試
- 透過相容 API 提供聊天與補全未測試
pickfit 測到哪一步
macOS arm64
- 可以安裝
- 可以啟動
- 3 項功能中 0 項可用
- 可離線使用
Linux x86_64
- 可以安裝
- 可以啟動
- 能回應請求
- 可離線使用
其他系統
Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 將目錄中的模型轉換為本機格式
- 與本機模型聊天
- 透過 API 提供聊天與 embeddings
- 以受限解碼呼叫工具
可替代 llama.cpp、vLLM 和 mistral.rs。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
macOS arm64
主要功能可用
- 從頭重跑
- 可離線使用
- 檢查於 2026年11月1日
- 版本 0.2.6
測試機器遇到的差異
- README: jitllm convert -o output writes file directly
測試中: -o 是目錄;convert 會在其中建立 DIR/basename.jlm,若 -o 已看似 *.jlm 則會巢狀建立;伺服器只列出直接位於 -models 下的 *.jlm 檔案,因此需複製到 ~/models/tiny.jlm 才能被偵測 - README: curl http://localhost:4242/v1/chat/completions with model qwen3-30b-a3b
測試中: 沒有 chat template 的 base 模型無法用於聊天;請使用 /v1/completions,或使用具 chat template 的模型進行 chat completions
Linux x86_64
服務能回應請求
- 從頭重跑
- 可離線使用
- 檢查於 2026年10月28日
- 版本 0.2.6