pickfit

瀏覽本機 AI 工具

jitllm

JIT 推論引擎,可依硬體自動調整以更快執行 LLM,即使超出記憶體也能運行。

已在 macOS 和 Linux 上測試

使用

macOS arm64

需要先準備

  • 執行環境:Go 1.26 or newer
  1. 透過 Homebrew 執行 brew tap 並安裝 jitllm

    brew tap jitllm/jitllm 2>&1
    brew trust jitllm/jitllm 2>&1
    brew install jitllm 2>&1
    
README 與實測不符之處
  • README 寫: jitllm convert qwen3-30b-a3b (and flags after file)
    實際可行: Go 旗標解析器要求旗標放在檔案之前:jitllm convert -o DIR <file> 與 jitllm run -n 16 <file> "prompt";將 -o 或 -n 放在檔案之後會出錯

確認能用

which jitllm && which jitllmd && jitllm --help 2>&1 | head -n 100; echo ---VERSION---; jitllm --version 2>&1; jitllm version 2>&1; jitllmd --help 2>&1

輸出應包含「jitllm convert」。

先試試這個

mkdir -p ~/models && curl -fL -o ~/models/stories260K.gguf https://huggingface.co/ggml-org/test-model-stories260K/resolve/main/stories260K-f32.gguf && ls -lh ~/models/stories260K.gguf
jitllm convert -o ~/models/stories260K.jlm ~/models/stories260K.gguf 2>&1

先以 jitllm convert -o <output.jlm> <model.gguf> 將模型轉換為本機格式。

Linux x86_64

需要先準備

  • 執行環境:Go 1.26 or newer
  1. 下載安裝腳本以供檢查

    curl -fsSL https://jitllm.org/install.sh -o /tmp/jitllm-install.sh
  2. 從發行版腳本安裝 jitllm 與 jitllmd

    sh /tmp/jitllm-install.sh
README 與實測不符之處
  • README 寫: curl -fsSL https://jitllm.org/install.sh | sh
    實際可行: 下載到 /tmp/jitllm-install.sh 並閱讀後,執行 sh /tmp/jitllm-install.sh;安裝程式會驗證 checksums.txt 並安裝到 ~/.local/bin
  • README 寫: jitllm --version or --help works
    實際可行: jitllm version 子指令輸出 0.2.6;jitllm --version 與 jitllm --help 以代碼 2 結束,並在 stderr 輸出用法
  • README 寫: On Linux the install script starts jitllmd as a systemd user service
    實際可行: 安裝程式輸出「no systemd user session here: start the server with jitllmd serve」,並在沒有 systemd 使用者工作階段時略過服務安裝

確認能用

jitllm version

輸出應包含「0.2.6」。

先試試這個

jitllm version

先以 jitllm convert -o <output.jlm> <model.gguf> 將模型轉換為本機格式。

它能做什麼

以下依據 README;pickfit 沒有逐項檢查。

  • 為你的硬體產生最佳化核心
    未測試
  • 透過分頁執行超出記憶體大小的模型
    未測試
  • 透過相容 API 提供聊天與補全
    未測試

pickfit 測到哪一步

macOS arm64

  1. 可以安裝
  2. 可以啟動
  3. 3 項功能中 0 項可用
  4. 可離線使用

Linux x86_64

  1. 可以安裝
  2. 可以啟動
  3. 能回應請求
  4. 可離線使用

Windows:專案說支援,但 pickfit 還沒試過。

適合用來

  • 將目錄中的模型轉換為本機格式
  • 與本機模型聊天
  • 透過 API 提供聊天與 embeddings
  • 以受限解碼呼叫工具

可替代 llama.cpp、vLLM 和 mistral.rs。

pickfit 怎麼測的

每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證

macOS arm64

主要功能可用

  • 從頭重跑
  • 可離線使用
  • 檢查於 2026年11月1日
  • 版本 0.2.6

測試機器遇到的差異

  • README: jitllm convert -o output writes file directly
    測試中: -o 是目錄;convert 會在其中建立 DIR/basename.jlm,若 -o 已看似 *.jlm 則會巢狀建立;伺服器只列出直接位於 -models 下的 *.jlm 檔案,因此需複製到 ~/models/tiny.jlm 才能被偵測
  • README: curl http://localhost:4242/v1/chat/completions with model qwen3-30b-a3b
    測試中: 沒有 chat template 的 base 模型無法用於聊天;請使用 /v1/completions,或使用具 chat template 的模型進行 chat completions

Linux x86_64

服務能回應請求

  • 從頭重跑
  • 可離線使用
  • 檢查於 2026年10月28日
  • 版本 0.2.6

怎麼看工具卡

縫線
pickfit 親自安裝過這款工具,縫線下方的內容都來自那次測試。沒測過的工具,一律沒有縫線。
已在你的作業系統上驗證
安裝步驟在你選的系統上跑過。「只在 Linux 上執行過」表示還沒在你的系統上跑過。
macOS、Linux 和 Windows在哪裡測過
綠色系統標記:pickfit 在該系統跑過安裝步驟。灰色:README 說支援,但 pickfit 還沒試過。
測試進行到哪一步
能安裝並啟動、主要功能可用、服務有回應、能產生模型輸出。視窗代表桌面應用程式已開啟;插頭代表 MCP 用戶端用過它。標記在測試結果旁邊:展開「為什麼適合、我們怎麼知道」,或在「pickfit 怎麼測的」裡。
視覺檢查
pickfit 看過應用程式的截圖。綠色:畫面正常。黃色加數字:有看起來不對的地方,點開就能看到。灰色虛線:還沒檢查。
已知漏洞
它安裝的套件有沒有已知的高風險或嚴重漏洞(OSV.dev)。綠色:沒有已知漏洞。紅色加數字:有幾個,點開看清單,安裝前先看過。灰色虛線:沒有檢查,不代表安全。
關於這次測試
測試日期,以及測到的版本。
理由的來源
每個推薦理由都依據簡介裡的一個欄位。展開理由就能看到欄位和值。
寶藏
品質高、少有人知。
品質與知名度
兩個分數,滿分都是 100。品質:pickfit 試裝、試用的結果,以及安裝文件和維護狀況。知名度:看星數、下載量和 Hacker News。
已檢查的功能
README 宣傳的主要功能裡,實測通過幾項(綠色)、失敗幾項(紅色)。灰色是沒檢查的,工具卡會說明原因。
未驗證
Fitz 依一般知識提到的知名工具。沒有測試紀錄、沒有步驟、沒有分數。