使用
Linux x86_64
需要先準備
- 執行環境:
python 3.11+ - 可選用 GPU
- 需要網路
透過 uv tool 安裝 mini-infer
uv tool install mini-infer
README 與實測不符之處
- README 寫: InferenceEngine accepts num_blocks/block_size implying any block size works
實際可行: Sequence BlockTable 寫死為 block_size 16,因此 InferenceEngine 必須以 block_size=16(預設)建立;自訂 block_size=4 會在 write_sequence_kv 中當機
確認能用
mini-infer --help 2>&1輸出應包含「serve」。
先試試這個
mini-infer info 2>&1執行 mini-infer info 查看工具詳細資訊與可用指令。
它能做什麼
- 以連續批次處理執行 LLM 推論已測試
怎麼使用
- 在 Python 中,使用 Qwen2 模型及其設定,從
mini_infer.engine建立InferenceEngine。 - 使用
engine.add_request(prompt_token_ids=<tokens>, max_tokens=<n>)將提示加入佇列。 - 重複呼叫
engine.step(),直到每個請求都取得輸出 token。
- 在 Python 中,使用 Qwen2 模型及其設定,從
- 以分頁區塊管理 KV 快取已測試
怎麼使用
- 以
num_blocks=<n>和block_size=<size>建立InferenceEngine。 - 以
engine.block_pool.num_free查看可用區塊,以seq.block_table.physical_block_ids查看請求的區塊。
- 以
- 透過快取重複使用共同的提示前綴已測試
怎麼使用
- 從
mini_infer.cache建立PrefixCache與BlockPool。 - 用
insert_prefix_block(<tokens>, <block>, <pool>)儲存前綴。 - 用
match_prefix(<tokens>, <pool>)查詢新提示詞,取得快取的區塊。
- 從
- 以推測式解碼產生 token已測試
怎麼使用
- 載入目標模型與較小的草稿模型。
- 從
mini_infer.speculative.verifier呼叫speculative_step(target_model=<model>, draft_model=<draft>, prefix_ids=<tokens>, k_draft=<k>)。 - 讀取其回傳的新 token 與被接受的草稿 token 數量。
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 4 項可用
- 可離線使用
macOS 和 Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 透過相容 OpenAI 的串流 API 提供 Qwen2.5 模型服務
- 在終端機中與程式碼庫對話,具持久記憶
- 為程式碼庫產生符合 token 預算的 AST 骨架
- 在本機提供程式設計模型作為編輯器後端
可替代 vLLM、llama.cpp 和 HuggingFace Transformers。