pickfit

瀏覽本機 AI 工具

mini-infer

極簡教育用 LLM 推論引擎,具備連續批次處理與分頁 KV-cache,適用於 Qwen2.5。

已在 Linux 上測試

使用

Linux x86_64

需要先準備

  • 執行環境:python 3.11+
  • 可選用 GPU
  • 需要網路
  1. 透過 uv tool 安裝 mini-infer

    uv tool install mini-infer
README 與實測不符之處
  • README 寫: InferenceEngine accepts num_blocks/block_size implying any block size works
    實際可行: Sequence BlockTable 寫死為 block_size 16,因此 InferenceEngine 必須以 block_size=16(預設)建立;自訂 block_size=4 會在 write_sequence_kv 中當機

確認能用

mini-infer --help 2>&1

輸出應包含「serve」。

先試試這個

mini-infer info 2>&1

執行 mini-infer info 查看工具詳細資訊與可用指令。

它能做什麼

  • 以連續批次處理執行 LLM 推論
    怎麼使用
    1. 在 Python 中,使用 Qwen2 模型及其設定,從 mini_infer.engine 建立 InferenceEngine。
    2. 使用 engine.add_request(prompt_token_ids=<tokens>, max_tokens=<n>) 將提示加入佇列。
    3. 重複呼叫 engine.step(),直到每個請求都取得輸出 token。
    已測試
  • 以分頁區塊管理 KV 快取
    怎麼使用
    1. 以 num_blocks=<n> 和 block_size=<size> 建立 InferenceEngine。
    2. 以 engine.block_pool.num_free 查看可用區塊,以 seq.block_table.physical_block_ids 查看請求的區塊。
    已測試
  • 透過快取重複使用共同的提示前綴
    怎麼使用
    1. 從 mini_infer.cache 建立 PrefixCache 與 BlockPool。
    2. 用 insert_prefix_block(<tokens>, <block>, <pool>) 儲存前綴。
    3. 用 match_prefix(<tokens>, <pool>) 查詢新提示詞,取得快取的區塊。
    已測試
  • 以推測式解碼產生 token
    怎麼使用
    1. 載入目標模型與較小的草稿模型。
    2. 從 mini_infer.speculative.verifier 呼叫 speculative_step(target_model=<model>, draft_model=<draft>, prefix_ids=<tokens>, k_draft=<k>)。
    3. 讀取其回傳的新 token 與被接受的草稿 token 數量。
    已測試

pickfit 測到哪一步

Linux x86_64

  1. 可以安裝
  2. 可以啟動
  3. 4 項功能中 4 項可用
  4. 可離線使用

macOS 和 Windows:專案說支援,但 pickfit 還沒試過。

適合用來

  • 透過相容 OpenAI 的串流 API 提供 Qwen2.5 模型服務
  • 在終端機中與程式碼庫對話,具持久記憶
  • 為程式碼庫產生符合 token 預算的 AST 骨架
  • 在本機提供程式設計模型作為編輯器後端

可替代 vLLM、llama.cpp 和 HuggingFace Transformers。

pickfit 怎麼測的

每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證

Linux x86_64

主要功能可用

  • 從頭重跑
  • 可離線使用
  • 檢查於 2026年10月30日
  • 版本 0.2.7

怎麼看工具卡

縫線
pickfit 親自安裝過這款工具,縫線下方的內容都來自那次測試。沒測過的工具,一律沒有縫線。
已在你的作業系統上驗證
安裝步驟在你選的系統上跑過。「只在 Linux 上執行過」表示還沒在你的系統上跑過。
macOS、Linux 和 Windows在哪裡測過
綠色系統標記:pickfit 在該系統跑過安裝步驟。灰色:README 說支援,但 pickfit 還沒試過。
測試進行到哪一步
能安裝並啟動、主要功能可用、服務有回應、能產生模型輸出。視窗代表桌面應用程式已開啟;插頭代表 MCP 用戶端用過它。標記在測試結果旁邊:展開「為什麼適合、我們怎麼知道」,或在「pickfit 怎麼測的」裡。
視覺檢查
pickfit 看過應用程式的截圖。綠色:畫面正常。黃色加數字:有看起來不對的地方,點開就能看到。灰色虛線:還沒檢查。
已知漏洞
它安裝的套件有沒有已知的高風險或嚴重漏洞(OSV.dev)。綠色:沒有已知漏洞。紅色加數字:有幾個,點開看清單,安裝前先看過。灰色虛線:沒有檢查,不代表安全。
關於這次測試
測試日期,以及測到的版本。
理由的來源
每個推薦理由都依據簡介裡的一個欄位。展開理由就能看到欄位和值。
寶藏
品質高、少有人知。
品質與知名度
兩個分數,滿分都是 100。品質:pickfit 試裝、試用的結果,以及安裝文件和維護狀況。知名度:看星數、下載量和 Hacker News。
已檢查的功能
README 宣傳的主要功能裡,實測通過幾項(綠色)、失敗幾項(紅色)。灰色是沒檢查的,工具卡會說明原因。
未驗證
Fitz 依一般知識提到的知名工具。沒有測試紀錄、沒有步驟、沒有分數。