使用
macOS arm64
需要先準備
- 執行環境:
Go>=1.27
下載 goinfer-serve darwin-arm64 二進位檔並設為可執行
curl -fsSL -o goinfer-serve https://github.com/townsendmerino/goinfer/releases/latest/download/goinfer-serve-darwin-arm64 && chmod +x goinfer-serve && ls -lh goinfer-serve && ./goinfer-serve --version
確認能用
curl -fsSL -o goinfer-serve https://github.com/townsendmerino/goinfer/releases/latest/download/goinfer-serve-darwin-arm64 && chmod +x goinfer-serve && ls -lh goinfer-serve && ./goinfer-serve --version輸出應包含「goinfer-serve v0.23.0」。
用 goinfer-serve -model <model.gguf> 啟動本機伺服器,或執行 goinfer-chat models 查看可用模型。
Linux x86_64
需要先準備
- 執行環境:
Go>=1.27
下載 linux-amd64 的 serve 與 chat 二進位檔至 ~/.local/bin
mkdir -p ~/.local/bin ~/models && curl -fL -o ~/.local/bin/goinfer-serve https://github.com/townsendmerino/goinfer/releases/latest/download/goinfer-serve-linux-amd64 && curl -fL -o ~/.local/bin/goinfer-chat https://github.com/townsendmerino/goinfer/releases/latest/download/goinfer-chat-linux-amd64 && chmod +x ~/.local/bin/goinfer-serve ~/.local/bin/goinfer-chat
README 與實測不符之處
- README 寫: curl ... goinfer-serve-darwin-arm64 (macOS only)
實際可行: curl -fL -o ~/.local/bin/goinfer-serve .../download/goinfer-serve-linux-amd64(以及 goinfer-chat-linux-amd64),chmod +x
確認能用
goinfer-serve --version輸出應包含「backends: cpu cuda」。
先試試這個
goinfer-chat models用 goinfer-serve -model <model.gguf> 啟動本機伺服器,或執行 goinfer-chat models 查看可用模型。
它能做什麼
- 透過 OpenAI 與 Anthropic API 提供模型服務已測試
怎麼使用
- 用
goinfer-serve -model <model.gguf>啟動伺服器。 - 用
curl -fsSL http://127.0.0.1:8080/v1/models列出已載入的模型。 - 將聊天請求傳送到
http://127.0.0.1:8080/v1/chat/completions(OpenAI 格式)或http://127.0.0.1:8080/v1/messages(Anthropic 格式)。
- 用
- 將輸出限制為 Go struct 或 JSON Schema未測試
- 從 Hugging Face 下載並執行 GGUF 模型沒有看到它可用
pickfit 測到哪一步
macOS arm64
- 可以安裝
- 可以啟動
- 3 項功能中 0 項可用
- 需要網路
Linux x86_64
- 可以安裝
- 可以啟動
- 3 項功能中 1 項可用
- 可離線使用
其他系統
Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 將生成內容限制為 Go struct 或 JSON Schema
- 透過 OpenAI API 將本機模型提供給 coding agent
- 將掃描的發票圖片擷取為 Go struct
可替代 Ollama、vLLM 和 llama.cpp。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
macOS arm64
可安裝並啟動
- 從頭重跑
- 需要網路
- 檢查於 2026年11月1日
- 版本 v0.23.0
測試機器遇到的差異
- README: curl -fsSL -o goinfer-serve https://github.com/townsendmerino/goinfer/releases/latest/download/goinfer-serve-darwin-arm64
測試中: 在 ./goinfer-serve --version 之前也要執行 chmod +x goinfer-serve - README: flag examples use goinfer-serve -model and -web (single dash)
測試中: -model/--model 皆可用,但監聽位址參數是 -addr/--addr(預設 127.0.0.1:8080),而非 --listen - README: goinfer-chat models lists checkpoints
測試中: goinfer-serve 二進位檔沒有 'models' 子指令;只有 pull、check、connect 與 --version - README: install step 1 runs goinfer-serve
測試中: 無需變更;備註:環境直接執行了下載的 goinfer-serve 而未先讀取,因此 pickfit 未檢查它
Linux x86_64
能產生模型輸出
- 從頭重跑
- 可離線使用
- 檢查於 2026年10月30日
- 版本 v0.23.0
測試機器遇到的差異
- README: go get / go install with Go>=1.27
測試中: 略過 go get/go install 方案(環境沒有 Go 且禁止安裝工具鏈);改用發行版二進位檔