使用
Linux x86_64
需要先準備
- 執行環境:
Python 3.11+ - 可選用 GPU
透過 uv tool 安裝 flyweight
uv tool install flyweight-llm
確認能用
flyweight --version 2>&1輸出應包含「flyweight 0.25.0」。
先試試這個
flyweight doctor 2>&1先執行 flyweight doctor 檢查設定。
它能做什麼
- 透過相容 API 提供語言模型服務未測試
- 在內建網頁介面與模型聊天未測試
- 將圖片傳送給模型作為輸入未測試
- 以文字提示詞產生圖片未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 0 項可用
- 可離線使用
Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 以對話介面和 HTTP API 提供 GGUF 模型服務
- 在內建對話介面中與本機模型對話
- 從模型產生一則回應後結束
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
主要功能可用
- 從頭重跑
- 可離線使用
- 檢查於 2026年10月30日
- 版本 0.25.0
測試機器遇到的差異
- README: flyweight serve model.gguf
測試中: 以 --backend cpu 及支援系列的模型提供服務(測試 LiquidAI LFM2-350M Q4_0,209 MB);建議的 stories260K 測試模型在載入時被拒絕 - README: CPU backend serves without a GPU
測試中: 在 CPU 後端以 LFM2-350M 產生 16 個 token 未在 300 秒內完成;/v1/models、/health 和 /props 立即回應