使用
Linux x86_64
需要先準備
- 執行環境:
python>=3.11 - 需要 GPU
使用 uv tool install 安裝 narwhal-inference
uv tool install narwhal-inference
README 與實測不符之處
- README 寫: narwhal dev init then narwhal dev status
實際可行: 即使建立了 ~/.cache/huggingface 與 ~/.cache/huggingface/hub,`narwhal dev init` 仍以代碼 2 結束,並對 `~/.cache/huggingface/hub/models--Qwen--Qwen3.5-0.8B` 回報 FileNotFound;未先成功 init 就執行 `narwhal dev status` 會以代碼 2 結束,缺少 runs/dev/instance.json。
確認能用
narwhal-serve --version輸出應包含「narwhal-inference 0.8.0」。
它能做什麼
以下依據 README;pickfit 沒有逐項檢查。
- 免重新載入即可切換 prefill 與 decode 角色未測試
- 處理補全與對話請求未測試
- 分析引擎效能並執行基準測試未測試
- 將指標匯出至 Prometheus 與 Grafana未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 還沒實際使用
- 可離線使用
適合用來
- 以串流或緩衝方式處理 completion 與 chat 請求
- 在 GPU 叢集間重新分配 prefill 與 decode 角色
- 剖析引擎並依序執行基準測試點