使用
Linux x86_64
需要先準備
- 執行環境:
Python 3.10+
從 GitHub 複製儲存庫
git clone --depth 1 https://github.com/InferMatrixLab/vllm-rlt.git repo建立 venv 並執行 uv pip install -e ./repo
uv venv --python 3.12 /tmp/venv && source /tmp/venv/bin/activate && uv pip install -e ./repo
確認能用
/tmp/venv/bin/python -m vllm_rlt.entrypoints.serve --help輸出應包含「--attention-backend」。
先試試這個
/tmp/venv/bin/python -c "
from vllm_rlt import SchedulerConfig, CacheConfig, ExecutionConfig
# F1: loop-level continuous batching
cfg = SchedulerConfig(mode='refill', max_num_seqs=4, wavefront_chunked_prefill=True)
print('F1 SchedulerConfig ok', cfg.mode, cfg.wavefront_chunked_prefill)
# also mixed 它能做什麼
- 在迴圈層級批次處理遞迴模型請求沒有看到它可用
- 管理可追蹤迴圈深度的分頁 KV 快取沒有看到它可用
- 在迴圈範圍內以自適應提前退出進行解碼未測試
- 提供串流式、相容 OpenAI 的補全沒有看到它可用
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 0 項可用
- 可離線使用
適合用來
- 執行固定深度解碼或自適應提前退出解碼
- 提供串流式、相容 OpenAI 的補全
- 在單一主機的多張 GPU 上執行 prefill/decode 分離
可替代 vLLM。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
主要功能可用
- 從頭重跑
- 可離線使用
- 檢查於 2026年11月1日
- 版本 0.2.0
測試機器遇到的差異
- README: uv pip install -e .
測試中: 先執行 uv venv 或加上 --system 旗標;單純執行 uv pip install 會失敗並顯示 No virtual environment found