使用
Linux x86_64
需要先準備
- 可選用 GPU
下載安裝指令碼
curl -fsSL https://raw.githubusercontent.com/omgitsbase/llmash/main/install.sh -o /tmp/llmash-install.sh && wc -c /tmp/llmash-install.sh && echo OK透過指令碼安裝 llmash
sh /tmp/llmash-install.sh下載小型 GGUF 模型
mkdir -p ~/models && curl -fL -o ~/models/stories260K.gguf https://huggingface.co/ggml-org/test-model-stories260K/resolve/main/stories260K-f32.gguf && ls -l ~/models/
確認能用
llmash --version輸出應包含「llmash version is 0.5.9」。
先試試這個
OLLAMA_MODELS=$HOME/models llmash serve --port 11434curl -fsSL http://127.0.0.1:11434/api/tags && echo && curl -fsSL http://127.0.0.1:11434/v1/models執行 OLLAMA_MODELS=<models folder> llmash serve --port 11434 啟動伺服器,再將請求傳送至 http://127.0.0.1:11434。
它能做什麼
- 執行 Ollama 相容的 LLM 伺服器已測試
怎麼使用
- 以
OLLAMA_MODELS=<models folder> llmash serve --port 11434啟動伺服器。 - 以
curl -fsSL http://127.0.0.1:11434/api/tags或curl -fsSL http://127.0.0.1:11434/v1/models列出模型。 - 將含有 "model" 與 "messages" 的 JSON 內容 POST 至
http://127.0.0.1:11434/v1/chat/completions進行對話。
- 以
- 不產生回覆即可分類文字已測試
怎麼使用
- 以
OLLAMA_MODELS=<models folder> llmash serve --port 11434啟動伺服器。 - 將含有 "model"、"state"(你的文字)與 "questions" 的 JSON POST 至
http://127.0.0.1:11434/api/classify,每個問題需包含 "type" 與 "instructions"。 - 在回覆的 "answers" 中查看各問題的機率。
- 以
- 組建自訂模型版本未測試
- 移除模型的拒絕回應未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 2 項可用
- 可離線使用
Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 不更改權重即移除模型拒答
- 在主控台執行 LLM 伺服器
- 為模型尋找並安裝草稿模型
- 從 Ollama 或 Hugging Face 拉取模型版本
- 檢查並設定模型上下文長度,最高 4 倍
可替代 Ollama 和 vLLM。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
能產生模型輸出
- 從頭重跑
- 可離線使用
- 檢查於 2026年10月30日
- 版本 0.5.9
測試機器遇到的差異
- README: curl -fsSL https://raw.githubusercontent.com/omgitsbase/llmash/main/install.sh | sh
測試中: 安裝程式在執行期間以二進位檔形式擷取預先建置的 llmash 壓縮檔與 llama.cpp 執行環境壓縮檔,無法事先檢閱