使用
Linux x86_64
需要先準備
- 執行環境:
Rust>=1.88 for build from source
下載安裝腳本以供閱讀
curl -fsSL https://raw.githubusercontent.com/maximpri/mlxtop/main/scripts/install.sh -o /tmp/mlxtop-install.sh透過腳本安裝 mlxtop
sh /tmp/mlxtop-install.sh
確認能用
mlxtop --version輸出應包含「mlxtop 3.1.2」。
先試試這個
mlxtop --once在終端機執行 mlxtop 開啟即時監控,或執行 mlxtop --once 取得一次性報告。
它能做什麼
- 檢查記憶體、分頁與 GPU 瓶頸已測試
怎麼使用
- 執行
mlxtop --once,依 1 秒取樣輸出靜態報告。 - 閱讀報告中的記憶體、分頁與 GPU 數據。
- 執行
- 以白話判斷拖慢速度的原因已測試
怎麼使用
- 執行
mlxtop --once。 - 閱讀靜態報告中的健康判定。
- 執行
- 查看即時生成與 prefill 速度沒有看到它可用
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 3 項功能中 2 項可用
- 可離線使用
macOS 和 Windows:專案說支援,但 pickfit 還沒試過。
適合用來
- 找出拖慢本機模型的是記憶體、分頁還是 GPU
- 即時觀察生成與 prefill 速度及快取重用
- 在未載入模型時檢查記憶體與 GPU 數值
- 檢查執行環境連線與可用數值
- 檢視模型程序的 CPU、記憶體與 page-in