使用
Linux x86_64
需要先準備
- 執行環境:
python>=3.10
從 GitHub 複製 PocketLLM 原始碼
git clone --depth 1 https://github.com/lvyufeng/PocketLLM.git /tmp/PocketLLM從複製的原始碼以 pip 安裝 PocketLLM
pip install --user /tmp/PocketLLM 2>&1 && python3 -m pocketllm --help
README 與實測不符之處
- README 寫: pip install pocketllm then `pocketllm devices`
實際可行: 複製 GitHub 原始碼樹並執行 `pip install --user /tmp/PocketLLM`,再以 `python3 -m pocketllm devices` 呼叫(未提供 `pocketllm` 執行檔;pyproject.toml 未定義 [project.scripts]) - README 寫: pip install pocketllm installs the documented tool
實際可行: PyPI 上的 pocketllm 0.1.1 在隔離環境中建置失敗:未安裝 torch 時,setup.py 以 BuildExtension=None 定義 `class BuildExtensions(BuildExtension)`,引發 `TypeError: NoneType takes no arguments`;目前的 GitHub 原始碼樹(0.2.0.dev0,僅需 numpy,無 ext_modules)可順利安裝
確認能用
python3 -m pocketllm --help 2>&1輸出應包含「usage: pocketllm」。
先試試這個
python3 -m pocketllm devices 2>&1執行 python3 -m pocketllm --help 查看可用指令。
它能做什麼
以下依據 README;pickfit 沒有逐項檢查。
- 在單一加速器上執行大型語言模型未測試
- 透過相容 OpenAI 的 HTTP API 提供模型服務未測試
- 將語音音訊轉錄為文字未測試
- 以視覺語言模型處理圖片未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 主要功能可用
- 可離線使用
適合用來
- 透過 CLI 從 Qwen3 GGUF 檢查點產生文字
- 以相容 OpenAI 的 HTTP 提供模型服務
- 用 Qwen3-ASR 將語音轉成逐字稿
可替代 llama.cpp。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
主要功能可用
- 從頭重跑
- 可離線使用
- 檢查於 2026年10月30日
- 版本 0.2.0.dev0