使用
Linux x86_64
複製 InferBridge 原始碼
rm -rf /tmp/ib2 && git clone https://github.com/Quazmoz/InferBridge.git /tmp/ib2 && cp -r /tmp/ib2/. ./以 pip 可編輯模式安裝開發相依套件
pip install -e .[dev]
README 與實測不符之處
- README 寫: `pip install -e .[dev]` then `.\start_server.bat --mock` / `.\start_server.bat --check-devices`
實際可行: 在 Linux 上使用 `OV_LLM_MOCK=1 python -m app.server --mock --host 127.0.0.1 --port 8123 --model tinyllama-1.1b-chat-fp16`(已安裝的 `inferbridge` CLI 用法相同);`start_server.sh --mock` 需要由 `./setup.sh --minimal` 建立的 `.venv`,而 `start_server.bat` 僅適用於 Windows。
確認能用
inferbridge --help輸出應包含「usage: inferbridge」。
先試試這個
OV_LLM_MOCK=1 python -m app.server --mock --host 127.0.0.1 --port 8123 --model tinyllama-1.1b-chat-fp16curl -sf http://127.0.0.1:8123/health/ready伺服器執行後,以 curl -sf http://127.0.0.1:8123/health/ready 確認是否就緒。
它能做什麼
以下依據 README;pickfit 沒有逐項檢查。
- 透過相容 OpenAI 的 API 提供本機 LLM未測試
- 在瀏覽器中以串流回覆聊天未測試
- 與本機視覺語言模型聊天未測試
- 在本機產生文字嵌入未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 能回應請求
- 可離線使用
Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 透過 OpenAI 相容的 chat completions 與本機 LLM 聊天
- 在本機產生文字嵌入
- 使用圖片與本機視覺語言模型聊天
- 透過 System Doctor 診斷執行環境、裝置與 NPU 就緒狀態
- 執行本機硬體推論基準測試