Exécuter et servir localement des modèles de décision avec Unsloth : API Laya + Jev

Exécutez et servez des modèles de décision comme Laya, une alternative open source à Jev, sur votre appareil local Mac, Windows et Linux appareil avec Unsloth. Les modèles de décision transforment les entrées texte en décisions structurées sur lesquelles vos applications peuvent agir - du routage des tickets d'assistance, au filtrage des e-mails, jusqu'aux balises et classifications automatisées.

Vous pouvez utiliser l’interface graphique Unsloth pour exposer Laya via une API Jev compatible TypeSafe, afin que les intégrations Jev existantes puissent fonctionner en les pointant vers votre serveur local.

Toutes les données restent sur votre appareil et CPU, mémoire unifiée, et GPU sont tous pris en charge.

Envoyez au modèle de décision des morceaux de texte, définissez les décisions dont vous avez besoin (oui/non, choix ou scores), et récupérez des probabilités calibrées.

🖥️ Paramètres recommandés

Le CPU est la valeur par défaut. Passez Exécuter sur au GPU pour des réponses plus rapides. Le GPU conserve le modèle en mémoire jusqu'à ce que vous appuyiez sur Décharger ou redémarriez Unsloth. Si le GPU manque de mémoire, Laya bascule vers le CPU et continue de répondre.

⚡ Démarrage rapide

1

Configurer Unsloth

La manière la plus simple de commencer est de télécharger l’ application de bureau Unsloth. Fonctionne sur macOS, Windows, et Linux.

Télécharger Unsloth

• Télécharger pour macOS

• Télécharger pour Windows

• Télécharger pour Linux

Ou, si vous préférez installer manuellement :

MacOS, Linux, WSL :

Windows PowerShell :

2

Configurer Laya

Allez dans Paramètres → API → API de décision et activez Servir les requêtes. Le modèle Laya par défaut (678 Mo) commencera alors à être téléchargé après confirmation de votre souhait de lancer le téléchargement.

Votre clé API se trouve sur la même page, sous Jetons d’accès. Ou activez Accès API sans clé → Chat et inférence et passez la clé sur localhost.

3

Envoyer une requête de décision

Il est temps d’envoyer une requête de décision. Dans cet exemple, nous classons un ticket d’assistance, détectons les demandes de remboursement et attribuons un score d’urgence.

Vous obtenez :

La première requête charge le modèle, ce qui prend 10 à 20 secondes. Ensuite, les requêtes prennent bien moins d’une seconde sur la plupart des CPU.

state peut être une chaîne ou n’importe quel JSON. model accepte laya, par défaut, ou jev-latest pour le modèle que vous avez choisi dans les paramètres, ou laya-multilingual, laya-english, laya-typed-decisions pour n’en citer qu’un.

❓ Types de questions

noul signifie oui/non. Il renvoie la probabilité de « oui » : 0.98 signifie très probable, 0.5 signifie également probable dans un sens comme dans l’autre.

choix et score renvoie aussi la confiance. Proche de 1 signifie qu’une réponse se démarque. Proche de 0 signifie que les probabilités sont réparties uniformément.

Pour agir sur un choix, utilisez sa valeur dans probabilités, pas la confiance. Par exemple, ne créez un rapport de bug que lorsque technical est supérieur à 0.8. Laya et Jev calculent la confiance différemment, donc ne réutilisez pas vos seuils de confiance Jev.

Chaque requête prend en charge jusqu’à 64 questions, avec jusqu’à 255 options par choix et 10 niveaux par score.

🔁 Migration depuis Jev

Installez le SDK avec pip install typesafe-sdk, définissez deux variables d’environnement, et votre code existant communique avec Unsloth :

Le modèle par défaut du SDK, jev-latest, correspond au modèle que vous avez choisi dans les Paramètres.

Deux choses diffèrent de Jev. la confiance utilise une formule différente, donc un seuil réglé sur Jev ne sera pas transposable ; appliquez plutôt un seuil sur probabilités à la place. Et les options d’un choix partagent un budget de jetons fixe, donc au-delà d’environ 20 options décrites, les libellés sont tronqués.