使用
安裝前先知道:有已知漏洞
pickfit 在安裝時會一併裝上的套件裡找到 1 個已知的高風險或嚴重漏洞(OSV.dev,2026年11月3日),安裝前請先考慮。
npm:zod 4.4.3Zod 在驗證過大且含限制的集合時可能耗盡記憶體 (GHSA-mrhx-c7xc-m3w5,高風險,4.6.6 已修正)
Linux x86_64
下載安裝腳本以供閱讀
curl -fsSL https://raw.githubusercontent.com/antonellof/frink/main/scripts/install.sh -o /tmp/frink-install.sh透過發行版腳本安裝 frink
bash /tmp/frink-install.sh
確認能用
frink --version輸出應包含「0.50.0」。
先試試這個
mkdir -p ~/models && curl -fL -o ~/models/stories260K.gguf https://huggingface.co/ggml-org/test-model-stories260K/resolve/main/stories260K-f32.gguf && ls -l ~/models/stories260K.ggufFRINK_EXPERT_CACHE_BYTES=536870912 frink serve -m ~/models/stories260K.ggufcurl -s http://127.0.0.1:8383/v1/models使用 frink serve -m <model.gguf> 以 GGUF 模型檔案啟動伺服器,然後向 http://127.0.0.1:8383 傳送請求。
它能做什麼
- 提供 OpenAI 相容 API已測試
怎麼使用
- 使用
frink serve -m <model.gguf>啟動伺服器。 - 使用
curl -s http://127.0.0.1:8383/v1/models列出已載入的模型。 - 使用
curl -s -X POST http://127.0.0.1:8383/v1/chat/completions -H 'content-type: application/json' -d '{"model":"llama","messages":[{"role":"user","content":"<your text>"}],請求聊天回應。
- 使用
- 提供嵌入向量與重新排序服務已測試
怎麼使用
- 使用
frink serve -m <model.gguf>啟動伺服器。 - 使用
curl -s -X POST http://127.0.0.1:8383/v1/embeddings -H 'content-type: application/json' -d '{"model":"llama","input":"<your text>"}'取得嵌入向量。
- 使用
- 在 GGUF 檢查點上執行推論未測試
- 執行 Mixture-of-Experts 模型未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 2 項可用
- 可離線使用
macOS:專案說支援,但 pickfit 還沒試過。
適合用來
- 透過相容 OpenAI 的 API 提供 GGUF 模型服務
- 執行 GGUF 檢查點進行文字補全
- 在同一主機上與 llama.cpp 比較推論效能
可替代 llama.cpp。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
能產生模型輸出
- 從頭重跑
- 可離線使用
- 檢查於 2026年10月30日
- 版本 0.50.0
測試機器遇到的差異
- README: curl -fsSL .../install.sh | bash
測試中: 下載到 /tmp/frink-install.sh,閱讀後再執行 bash /tmp/frink-install.sh - README: frink -m <model> -p ... -n ... runs directly
測試中: 在這台 2GiB 的機器上以 FRINK_EXPERT_CACHE_BYTES=536870912 執行 - README: frink -m ... -dev metal -ngl all
測試中: 在 Linux CPU 上省略 -dev metal -ngl all;不加裝置旗標執行