使用
Linux x86_64
透過 npm 全域安裝 superfluid
npm install --global @basecompute/superfluid
確認能用
superfluid --version輸出應包含「superfluid 0.1.6」。
先試試這個
superfluid runtimes 2>&1
mkdir -p ~/models && curl -fL -o ~/models/stories260K.gguf https://huggingface.co/ggml-org/test-model-stories260K/resolve/main/stories260K-f32.gguf && ls -lh ~/models/superfluid runtime install llamacpp 2>&1superfluid serve ~/models/stories260K.gguf --port 8453 2>&1curl -s http://127.0.0.1:8453/v1/models執行 superfluid runtime install llamacpp 新增執行環境,再執行 superfluid serve <model.gguf> --port 8453 開始提供模型服務。
它能做什麼
- 跨執行環境提供本機 LLM 推論服務已測試
怎麼使用
- 以
superfluid runtime install llamacpp安裝執行環境。 - 以
superfluid serve <model.gguf> --port 8453開始提供模型服務。 - 向 API 傳送請求,例如
curl -s http://127.0.0.1:8453/v1/completions -H 'content-type: application/json' -d '{"model":"<model>","prompt":"<your text>","max_tokens":16}'。
- 以
- 服務 OpenAI、Anthropic 與 Ollama 用戶端沒有看到它可用
- 以本機模型執行程式設計代理未測試
- 新增機器分擔服務工作未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 1 項可用
- 可離線使用
macOS:專案說支援,但 pickfit 還沒試過。
適合用來
- 透過 OpenAI、Anthropic 或 Ollama API 提供本機 LLM 推論
- 在本機模型上執行 coding agent
- 在區域網路的多台機器間分散服務
可替代 llama-server、Ollama 和 mlx_lm.server。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
能產生模型輸出
- 從頭重跑
- 可離線使用
- 檢查於 2026年11月1日
- 版本 0.1.6
測試機器遇到的差異
- README: runtime installed on first use from its own project's releases
測試中: 在 serve 前明確執行 `superfluid runtime install llamacpp` 以確保 CPU 版本存在;serve 日誌顯示執行環境已就緒 - README: model has chat template for OpenAI/Anthropic/Ollama examples
測試中: stories260K GGUF 沒有聊天範本,聊天路由回傳 'codec has no chat dialect';改用 /v1/completions 進行推論且可正常運作,並確認 Ollama/Anthropic 端點存在,但需要具聊天範本的模型