使用
Linux x86_64
需要先準備
- 系統套件:
WebKitGTK 4.1
從 releases 下載 install.sh
curl -fsSL https://github.com/Helldez/BigMoeOnEdge/releases/latest/download/install.sh -o /tmp/install.sh執行 install.sh(安裝 bmoe-cli/bmoe-server 至 ~/.local/bin)
sh /tmp/install.sh
確認能用
bmoe-cli --version輸出應包含「0.39.0」。
先試試這個
mkdir -p ~/models && curl -fL -o ~/models/SmolLM2-135M-Instruct-Q8_0.gguf https://huggingface.co/bartowski/SmolLM2-135M-Instruct-GGUF/resolve/main/SmolLM2-135M-Instruct-Q8_0.gguf && ls -lh ~/models/SmolLM2*.ggufbmoe-cli -m ~/models/SmolLM2-135M-Instruct-Q8_0.gguf --plan它能做什麼
- 自動設定快取與執行計畫已測試
- 為 coding agent 提供 OpenAI 相容 API已測試
- 執行大於記憶體的 MoE 模型沒有看到它可用
- 於資料夾中執行檔案編輯 agent未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 2 項可用
- 可離線使用
macOS 和 Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 在 12GB 手機上執行 21GB MoE 模型
- 提供本機 OpenAI 相容聊天 API
- 執行 agent 讀寫資料夾檔案
- 將 coding agent 連接至本機伺服器
可替代 Strata、ds4、colibri 和 KTransformers。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
能產生模型輸出
- 從頭重跑
- 可離線使用
- 檢查於 2026年11月2日
- 版本 0.39.0
測試機器遇到的差異
- README: bmoe-cli -m model.gguf --auto -p "Explain MoE routing." works with any model
測試中: stories260K.gguf 因 K cache q8_0 block size 出現 'failed to create context' 失敗;SmolLM2-135M-Instruct-Q8_0.gguf 可運作並用於驗證 - README: README examples use trailing pipes for brevity
測試中: 此沙盒因會隱藏結束碼而拒絕在冒煙測試中使用尾端 pipe(| head);已改為不使用 pipe 重跑檢查