Model routing
Let Jev pick which model should handle a request.
jev-router is an open-source, OpenAI-compatible LLM router built on LiteLLM: clients send one model id ("jev-router") and Jev picks which model actually serves each request. A pre-call hook summarizes the messages, filters candidates by capability (image support, output length), and lets Jev choose — with a rules-based cheapest-eligible fallback when no key is set. It's the exact pattern below, in production: a compact typed decision, easy to threshold and audit, instead of embedding similarity or hand-tuned rules.
Canlı deneyin
Bu gerçek olanı, bir maket değil. Girdiyi düzenleyin, Çalıştır'a basın ve Jev her tipli cevabı tek bir gidiş-dönüşte döndürsün — ücretsiz, kayıt yok. Şimdi aynı çağrının binlerce öğe üzerinde paralel olarak tetiklendiğini hayal edin.
Pick a demo, tweak the input, and hit Run Jev.
Jev'in verdiği kararlar
Tek bir çağrıda Jev bunların her birini değerlendirir — paralel olarak, aynı girdiye karşı:
How complex is this request?
onu sıralı bir ölçekte puanlar:
- trivial
- simple
- moderate
- hard
- very hard / architectural
Which model should handle it?
şu seçeneklerden birini seçer:
fast— fast cheap model — trivial edits, formatting, lookupsbalanced— mid model — normal features and fixesstrong— frontier model — architecture, migrations, hard reasoning
Will this likely require tool calls (reading files, running commands)?
kalibre edilmiş bir evet/hayır olasılığı döndürür.
Tam istek
Bu, canlı demonun arkasındaki gerçek payload — kopyalayın, state'i değiştirin ve inşa etmeye başlayın:
{
"model": "jev-latest",
"state": "Incoming user request to an AI coding agent: \"Refactor our auth service to support multi-tenant SSO with SAML and SCIM, keep backward compatibility, and write a migration plan.\" Available models: fast (cheap, small), balanced (mid), strong (expensive, frontier).",
"questions": {
"complexity": {
"type": "score",
"instructions": "How complex is this request?",
"criteria": [
"trivial",
"simple",
"moderate",
"hard",
"very hard / architectural"
]
},
"route": {
"type": "choice",
"instructions": "Which model should handle it?",
"criteria": {
"fast": "fast cheap model — trivial edits, formatting, lookups",
"balanced": "mid model — normal features and fixes",
"strong": "frontier model — architecture, migrations, hard reasoning"
}
},
"needs_tools": {
"type": "noul",
"instructions": "Will this likely require tool calls (reading files, running commands)?"
}
}
}Kodunuza entegre edin
Tipli cevapları okuyun ve düz kodda dallanın — ayrıştırma yok. Yüksek güvenli durumları otomatik ele alın ve belirsiz olanları daha büyük bir modele veya bir insana yönlendirin. Tek bir API çağrısıdır ve çıktı ücretsizdir, bu yüzden ihtiyaç duyduğunuz her soruyu aynı anda sorun.
Kendinizinkini inşa edin
Yukarıdaki her senaryo tek bir API çağrısıdır. Herhangi birini playground'da ücretsiz deneyin, ardından onu dakikalar içinde yayınlamak için barındırılan bir anahtar edinin.