pickfit 測到哪一步
pickfit 還沒驗證過 Atlas Inference Engine,所以沒有測過的安裝步驟。
以下只依據它的 README。
使用
需要先準備
- 執行環境:
Rust - 系統套件:
rocm-hip-dev - 需要 GPU
它能做什麼
pickfit 還沒測過它,所以以下只依據 README。
- 在自己的電腦上執行語言模型未測試
- 啟動經驗證的模型配方未測試
- 提供相容 OpenAI 與 Anthropic 的 API未測試
- 將資料卸載至 NVMe 儲存裝置以執行大型 MoE 模型未測試
適合用來
- 用 sparkrun 啟動經驗證的模型配方
- 透過支援串流的 OpenAI 相容 API 提供 LLM