使用
Linux x86_64
需要先準備
- 執行環境:
python>=3.11 - 需要 GPU
- 需要網路
複製 Helios 原始碼
git clone https://github.com/sidmanale643/helios.git /tmp/helios-src以 uv sync 安裝相依套件
cd /tmp/helios-src && uv sync
README 與實測不符之處
- README 寫: uv sync
實際可行: 先複製儲存庫(git clone https://github.com/sidmanale643/helios.git),再於複製的資料夾中執行 uv sync;工作目錄只有 README.md - README 寫: Standard --version/--help CLI flags
實際可行: helios 進入點是沒有 --version/--help 旗標的伺服器;版本透過 importlib.metadata 確認(helios 0.1.0),/health 回報 model 與 warmup_batch_sizes
確認能用
cd /tmp/helios-src && ls -l .venv/bin/helios && .venv/bin/python -c "import importlib.metadata, torch; print('helios', importlib.metadata.version('helios')); print('torch', torch.__version__); print('cuda', torch.cuda.is_available())"輸出應包含「helios 0.1.0」。
先試試這個
cd /tmp/helios-src && ls -l .venv/bin/helios && .venv/bin/python -c "import importlib.metadata, torch; print('helios', importlib.metadata.version('helios')); print('torch', torch.__version__); print('cuda', torch.cuda.is_available())"它能做什麼
適合用來
- 在本機提供 OpenAI 風格的聊天補全服務
- 連續批次處理並行的聊天請求
- 以計時資料對並行推論進行基準測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 能產生輸出
- 可離線使用
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
能產生模型輸出
- 從頭重跑
- GPU:NVIDIA A10
- 可離線使用
- 檢查於 2026年11月1日
- 版本 0.1.0
測試機器遇到的差異
- README: First start downloads tokenizer and model weights
測試中: 啟動伺服器前,先用 huggingface_hub snapshot_download 預先下載 Qwen/Qwen3-4B 快照(tokenizer.json + safetensors),讓伺服器重複使用快取,檢查期間不再下載