pickfit

瀏覽本機 AI 工具

vllm-rlt

用於循環語言模型的推論引擎,具備迴圈層級連續批次處理。

已在 Linux 上測試

使用

Linux x86_64

需要先準備

  • 執行環境:Python 3.10+
  1. 從 GitHub 複製儲存庫

    git clone --depth 1 https://github.com/InferMatrixLab/vllm-rlt.git repo
  2. 建立 venv 並執行 uv pip install -e ./repo

    uv venv --python 3.12 /tmp/venv && source /tmp/venv/bin/activate && uv pip install -e ./repo

確認能用

/tmp/venv/bin/python -m vllm_rlt.entrypoints.serve --help

輸出應包含「--attention-backend」。

先試試這個

/tmp/venv/bin/python -c "
from vllm_rlt import SchedulerConfig, CacheConfig, ExecutionConfig
# F1: loop-level continuous batching
cfg = SchedulerConfig(mode='refill', max_num_seqs=4, wavefront_chunked_prefill=True)
print('F1 SchedulerConfig ok', cfg.mode, cfg.wavefront_chunked_prefill)
# also mixed 

它能做什麼

  • 在迴圈層級批次處理遞迴模型請求
    沒有看到它可用
  • 管理可追蹤迴圈深度的分頁 KV 快取
    沒有看到它可用
  • 在迴圈範圍內以自適應提前退出進行解碼
    未測試
  • 提供串流式、相容 OpenAI 的補全
    沒有看到它可用

pickfit 測到哪一步

Linux x86_64

  1. 可以安裝
  2. 可以啟動
  3. 4 項功能中 0 項可用
  4. 可離線使用

適合用來

  • 執行固定深度解碼或自適應提前退出解碼
  • 提供串流式、相容 OpenAI 的補全
  • 在單一主機的多張 GPU 上執行 prefill/decode 分離

可替代 vLLM。

pickfit 怎麼測的

每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證

Linux x86_64

主要功能可用

  • 從頭重跑
  • 可離線使用
  • 檢查於 2026年11月1日
  • 版本 0.2.0

測試機器遇到的差異

  • README: uv pip install -e .
    測試中: 先執行 uv venv 或加上 --system 旗標;單純執行 uv pip install 會失敗並顯示 No virtual environment found

怎麼看工具卡

縫線
pickfit 親自安裝過這款工具,縫線下方的內容都來自那次測試。沒測過的工具,一律沒有縫線。
已在你的作業系統上驗證
安裝步驟在你選的系統上跑過。「只在 Linux 上執行過」表示還沒在你的系統上跑過。
macOS、Linux 和 Windows在哪裡測過
綠色系統標記:pickfit 在該系統跑過安裝步驟。灰色:README 說支援,但 pickfit 還沒試過。
測試進行到哪一步
能安裝並啟動、主要功能可用、服務有回應、能產生模型輸出。視窗代表桌面應用程式已開啟;插頭代表 MCP 用戶端用過它。標記在測試結果旁邊:展開「為什麼適合、我們怎麼知道」,或在「pickfit 怎麼測的」裡。
視覺檢查
pickfit 看過應用程式的截圖。綠色:畫面正常。黃色加數字:有看起來不對的地方,點開就能看到。灰色虛線:還沒檢查。
已知漏洞
它安裝的套件有沒有已知的高風險或嚴重漏洞(OSV.dev)。綠色:沒有已知漏洞。紅色加數字:有幾個,點開看清單,安裝前先看過。灰色虛線:沒有檢查,不代表安全。
關於這次測試
測試日期,以及測到的版本。
理由的來源
每個推薦理由都依據簡介裡的一個欄位。展開理由就能看到欄位和值。
寶藏
品質高、少有人知。
品質與知名度
兩個分數,滿分都是 100。品質:pickfit 試裝、試用的結果,以及安裝文件和維護狀況。知名度:看星數、下載量和 Hacker News。
已檢查的功能
README 宣傳的主要功能裡,實測通過幾項(綠色)、失敗幾項(紅色)。灰色是沒檢查的,工具卡會說明原因。
未驗證
Fitz 依一般知識提到的知名工具。沒有測試紀錄、沒有步驟、沒有分數。