使用
安裝前先知道:有已知漏洞
pickfit 在安裝時會一併裝上的套件裡找到 10 個已知的高風險或嚴重漏洞(OSV.dev,2026年11月3日),安裝前請先考慮。
crates:zip 8.6.0zip:透過雙重標頭不一致性導致的重大解析器差異與安全控管繞過(Zip Cloaking),可造成任意檔案覆寫與 RCE (GHSA-m665-v7pm-7grj,嚴重,9.0.5 已修正)npm:dompurify 3.4.16DOMPurify SAFE_FOR_TEMPLATES 繞過:分割的樣板運算式在 DOM 輸出模式下仍殘留於已附加的 shadow root 內容中 (GHSA-cg2g-xh64-v4q7,嚴重,3.4.17 已修正)
再看 8 個
crates:zip 8.6.0— RUSTSEC-2026-0369(嚴重),9.0.0 已修正crates:quinn-proto 0.11.16— RUSTSEC-2026-0340(高風險),0.11.18 已修正crates:quinn-proto 0.11.16— RUSTSEC-2026-0341(高風險),0.11.17 已修正crates:zip 8.6.0— GHSA-9hj8-73fh-9963(高風險),9.0.0 已修正crates:zip 8.6.0— GHSA-hjqx-j4rw-g7xv(高風險),9.0.0 已修正crates:zip 8.6.0— GHSA-q7v9-x93c-xqv3(高風險),9.0.0 已修正crates:zip 8.6.0— RUSTSEC-2026-0367(高風險),9.0.0 已修正npm:dompurify 3.4.16— GHSA-mrv2-3pqr-j5jr(高風險),3.4.17 已修正
Linux x86_64
git clone MFQ
git clone https://github.com/Tylogi/MFQ.git MFQuv sync 基本相依套件
cd MFQ && uv syncuv sync --extra train 以取得量化所需的 torch
cd MFQ && uv sync --extra train
確認能用
cd MFQ && uv run mfq --version 2>&1輸出應包含「mfq 0.1.0」。
先試試這個
cd MFQ && uv run python -c "
import json, os, pathlib
import torch
from safetensors.torch import save_file
# create tiny hf model
out='/tmp/tiny_hf'
os.makedirs(out, exist_ok=True)
config={
'model_type':'qwen3',
'hidden_size':128,
'num_hidden_layers':2,
'num_attention_heads':4,
'num_key_value_heads':4,
'intermediate_size':256,
'vocab_size':32000,
'max_position_embeddings':512,
'hidden_act':'silu',
'rms_norm_eps':1e-05
}
open(os.path.join(out,'config.json'),'w').write(json.dumps(config))
# create dummy weights matching qwen3?
# Look at expected keys: model.embed_tokens, model.layers.0 etc
sd={}
def rand(shape): return torch.randn(shape, dtype=torch.float16)
sd['model.embed_tokens.weight']=rand((32000,128))
for i in range(2):
p=f'model.layers.{i}'
sd[f'{p}.self_attn.q_proj.weight']=rand((128,128))
sd[f'{p}.self_attn.k_proj.weight']=rand((128,128))
sd[f'{p}.self_attn.v_proj.weight']=rand((128,128))
sd[f'{p}.self_attn.o_proj.weight']=rand((128,128))
sd[f'{p}.mlp.gate_proj.weight']=rand((256,128))
sd[f'{p}.mlp.up_proj.weight']=rand((256,128))
sd[f'{p}.mlp.down_proj.weight']=rand((128,256))
sd[f'{p}.input_layernorm.weight']=rand((128,))
sd[f'{p}.post_attention_layernorm.weight']=rand((128,))
sd['model.norm.weight']=rand((128,))
sd['lm_head.weight']=rand((32000,128))
save_file(sd, os.path.join(out,'model.safetensors'))
print('done', os.listdir(out))
" 2>&1cd MFQ && uv run mfq quantize /tmp/tiny_hf /tmp/tiny.mfq --preset S4-M --backend cpu --dry-run 2>&1在 MFQ 資料夾中執行 uv run mfq quantize <model_dir> <output.mfq> --preset S4-M --backend cpu --dry-run 預覽量化。
它能做什麼
- 將 Hugging Face 檢查點轉換為 MFQ 格式已測試
怎麼使用
- 用
uv run mfq quantize <model_dir> <output.mfq> --preset S4-M --backend cpu --dry-run預覽工作。 - 用
uv run mfq quantize <model_dir> <output.mfq> --preset S4-M --backend cpu --overwrite進行量化。 - 在結果中找出 "status": "ok" 與輸出路徑。
- 用
- 在自己的硬體上執行大型模型未測試
- 在 MFQ Studio 中下載並執行模型未測試
- 透過 OpenAI 相容 API 提供模型服務未測試
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 4 項功能中 1 項可用
- 可離線使用
適合用來
- 在本機硬體上執行大型模型
- 在 MFQ Studio 中下載並執行模型
- 透過 OpenAI 相容 API 提供模型服務
可替代 Strata、llama.cpp 和 oMLX。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
主要功能可用
- 從頭重跑
- 可離線使用
- 檢查於 2026年11月1日
- 版本 0.1.0
測試機器遇到的差異
- README: uv sync + uv run mfq build --backend auto works on any host
測試中: 建置需要 CUDA toolkit nvcc/CMake 或 Apple Silicon Metal;在沒有加速器的一般 Linux x86 上會失敗,顯示 'no supported inference accelerator was detected' - README: uv run mfq serve starts server
測試中: serve 也會自動偵測後端,沒有加速器時同樣以 BuildError 失敗,因此 F3 無法在此沙箱中測試 - README: quantize from HF safetensors
測試中: quantize --backend cpu 搭配 torch 與 extra train 相依套件可運作,已用小型合成 Qwen3 檢查點驗證;README 範例使用 --backend auto,需要加速器