使用
Linux x86_64
需要先準備
- 執行環境:
python>=3.12,<3.13 - 可選用 GPU
透過 uv tool 安裝 localm
uv tool install localm設置 CPU 版 llama 後端
export LOCALM_HOME="$HOME"/localm-data && localm setup-llama --backend cpu
README 與實測不符之處
- README 寫: docs say API served over HTTPS with built-in certificate
實際可行: 純 `http://127.0.0.1:8642/health` 與 `/v1/models` 可正常運作;`https://` 失敗,curl 結束代碼 35 SSL connect error
在 pickfit 驗證過的原始指令(沙盒裡實際執行的)
僅供查核:裡面是沙盒的家目錄 /home/sbx。
uv tool install localm 2>&1export LOCALM_HOME=/home/sbx/localm-data && localm setup-llama --backend cpu 2>&1localm --version 2>&1export LOCALM_HOME=/home/sbx/localm-data && mkdir -p "$LOCALM_HOME" && localm doctor 2>&1確認能用
localm --version 2>&1輸出應包含「localm, version 0.3.2」。
先試試這個
export LOCALM_HOME="$HOME"/localm-data && mkdir -p "$LOCALM_HOME" && localm doctor 2>&1先執行 localm doctor 檢查你的設定。
它能做什麼
- 與本機模型對話並即時查看串流回覆已測試
怎麼使用
- 以
localm add <model.gguf>加入已下載的 GGUF 模型。 - 使用
localm run <model> --prompt "<your text>"與模型對話。 - 若要透過 OpenAI 風格 API 提供服務,請執行
localm serve <model> --port <port>,並將請求傳送至http://127.0.0.1:<port>/v1/chat/completions。
- 以
- 執行可編輯檔案的程式開發代理未測試
- 在本機產生圖片、影片與音樂未測試
- 與自己的檔案對話並取得引用來源未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 1 項可用
- 可離線使用
Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 在終端機中離線與本機 LLM 聊天
- 執行自主 coding agent 來編輯檔案並執行測試
- 在本機產生圖片、音樂與影片
- 針對本機檔案與資料夾聊天並附引用
- 以本機語音轉文字聽寫並收聽回覆
可替代 LM Studio 和 Ollama。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
能產生模型輸出
- 從頭重跑
- 可離線使用
- 檢查於 2026年10月30日
- 版本 0.3.2
測試機器遇到的差異
- README: `pip install localm` then `localm setup-llama`
測試中: 使用隔離的 `uv tool install localm`;設定 LOCALM_HOME=/home/sbx/localm-data,並在任何 run/serve 之前執行 `localm setup-llama --backend cpu` - README: SET LOCALM_HOME once in shell profile
測試中: 每個指令都要 `export LOCALM_HOME=...`,否則 version/doctor 會警告預設路徑位於 uv tool venv 內