使用
Linux x86_64
需要先準備
- 執行環境:
python>=3.11 - 可選用 GPU
- 至少 3 GB 記憶體
從 git 安裝 jevalt[serve](缺少 gcc 時 gguf extra 會失敗)
pip install "jevalt[serve] @ git+https://github.com/mertkayacs/jevalt"
確認能用
jevalt --help輸出應包含「usage: jevalt」。
先試試這個
cat > /tmp/check_f1.py << 'PY'
from jevalt.engine import DecisionEngine
class DummyBackend:
name="dummy"
def count_tokens(self,t): return len(t.split())
def field_logits(self,text,compiled): return [[5.0 - i*2 for i,_ in enumerate(f.symbols)] for f in compiled.fields]
def continue_reasoning(self,prefix,max_tokens): return "trace"
b=DummyBackend()
e=DecisionEngine(b, model="dummy")
payload={"state":"I was charged twice for March. Please refund the duplicate.","questions":{"team":{"type":"choice","instructions":"Which team should handle this ticket?","criteria":{"billing":"payments, refunds","technical":"bugs, outages","sales":"prices, contracts"}}}}
res=e.predict(payload)
print(res)
assert "probabilities" in res["answers"]["team"] and "choice" in res["answers"]["team"]
print("F1_OK probabilities choice")
PYpython3 /tmp/check_f1.py它能做什麼
- 在選項間做選擇並取得機率已測試
怎麼使用
- 在 Python 中,以後端與模型名稱從
jevalt.engine建立DecisionEngine。 - 呼叫
predict,傳入state文字及類型為choice的questions項目,並為每個選項提供instructions與criteria。 - 在結果的
answers下查看choice與probabilities。
- 在 Python 中,以後端與模型名稱從
- 為各種問題類型取得校準後的機率已測試
怎麼使用
- 在傳給
predict的questions中,將type設為choice、score或noul。 score需以等級清單提供criteria;noul則提供單一準則。- 在
answers下查看每個問題的probabilities、score或noul值。
- 在傳給
- 取得「未知」選項與推理過程已測試
怎麼使用
- 在傳給
predict的請求中加入"abstain": True與"reasoning": "on"。 - 在結果的
answers下查看每個問題的unknown與reasoning。
- 在傳給
pickfit 測到哪一步
Linux x86_64
- 可以安裝
- 可以啟動
- 3 項功能中 3 項可用
- 可離線使用
適合用來
- 將客服工單分派給負責團隊
- 依書面政策檢查輸入
- 分類事件嚴重程度
可替代 Kev-4B 和 Laya。
pickfit 怎麼測的
每次測試都從乾淨的機器開始,照上面的步驟執行。 pickfit 怎麼驗證
Linux x86_64
主要功能可用
- 從頭重跑
- 可離線使用
- 檢查於 2026年11月1日
- 版本 0.1.0
測試機器遇到的差異
- README: pip install "jevalt[serve,gguf] @ git+https://github.com/mertkayacs/jevalt"
測試中: pip install "jevalt[serve] @ git+...";llama-cpp-python wheel 建置失敗:CMake Error Could not find compiler gcc,此平台沒有可用的二進位 wheel