在本地运行类 Jev 决策模型

你无法下载 Jev 本身——权重是闭源且托管的。但开源生态如今提供了形态相同、可自托管的真实决策模型。选择你的硬件,得到跑通本地部署的最短路径:安装、模型、服务器,以及一段可整体复制的测试调用脚本。

These are independent, open Jev-like decision models (Laya, OpenJev) — not TypeSafe's official Jev weights, which are closed and hosted. Same primitives (choice · score · noul), but you own calibration and quality. Some third-party checkpoints even ship uncalibrated confidence (their MLX build warns about out-of-range temperatures), so validate on your own labelled data before wiring a threshold in production.

Apple Silicon (M1–M4)macOS 14+Python 3.11+~420M paramsmizorewww/laya-mlx ↗

1 · Install the MLX runtime

bash

python3.11 -m venv .venv && source .venv/bin/activate
pip install laya-mlx

2 · Download the model (optional — it auto-downloads on first run)

bash

hf download aac6fef/laya-mlx

3 · Run a typed decision (local inference, in-process)

python

import laya_mlx as laya

agent = laya.load("aac6fef/laya-mlx")
result = agent.predict(
    "I was billed twice. Please refund the duplicate.",
    {
        "department": {
            "type": "choice",
            "instructions": "Who should handle this?",
            "criteria": ["billing", "technical", "sales"],
        }
    },
)
print(result["answers"]["department"])

Laya-MLX runs in-process — there is no HTTP server, you call it from Python. Types: choice · score · noul (calibrated P(true)). For 30+ languages load aac6fef/laya-multilingual-mlx instead.

Prefer the hosted API? Get a key →

我该选哪个?

Mac / Apple Silicon → Laya-MLX. 最小最省事:约 420M 的模型,在 M 系列 Mac 上进程内毫秒级运行。无需 GPU、无需服务器。最适合本地开发和隐私场景。
Node.js / TypeScript → @receptron/laya. 同样的思路,经 ONNX 从 JS 运行时跑——完全不用 Python。如果你的技术栈已经是 Node,最合适。
Docker (GPU) → OpenJev. 更大的、由 GPU 提供服务的模型,通过兼容 Jev 的 HTTP API 暴露在 :8080。当你想要一个即插即用的 API 端点且有 NVIDIA 显卡时最合适。
NVIDIA bare-metal → OpenJev. 同一个模型但不用 Docker,完全掌控 vLLM 运行时。

这些不是官方 Jev

Laya 和 OpenJev 是独立的社区项目,在开源权重上重建了类型化决策的思路——它们不是 TypeSafe 的 Jev,其校准与质量自负其责。这正是相对托管 API 的真实取舍:本地意味着零网络跳转、无按次成本,但校验由你负责。如果你想要固定、校准过、免运维的决策,托管路线只需一次 POST /api/v1/decide。