使用 Unsloth 在本地运行并提供决策模型服务：Laya + Jev API

运行并提供如下决策模型： Laya，作为一个开源的 Jev 替代方案，在你的本地 Mac, Windows 和 Linux 设备上借助 Unsloth。决策模型会将文本输入转换为结构化决策，供你的应用程序执行——从���由支持工单、过滤邮件，到自动标签和分类。

你可以使用 Unsloth GUI 界面，通过一个与 TypeSafe 兼容的 Jev API 暴露 Laya，这样现有的 Jev 集成只需指向你的本地服务器即可正常工作。

所有数据都保留在你的设备上，并且 CPU, 统一内存，并且 GPU 配置都受支持。

向决策模型发送文本片段，定义你需要的决策（是/否、选项或评分），然后返回校准后的概率。

🖥️ 推荐设置

CPU 是默认选项。切换 到 GPU 可获得更快的回答。GPU 会将模型保留在内存中，直到你按下 卸载 或重启 Unsloth。如果 GPU 内存不足，Laya 会回退到 CPU 并继续回答。

⚡ 快速上手

1

设置 Unsloth

最简单的上手方式是下载 Unsloth 桌面应用。支持 macOS, Windows，并且 Linux.

下载 Unsloth

• 下载适用于 macOS 的版本

• 下载适用于 Windows 的版本

• 下载适用于 Linux 的版本

或者，如果你更喜欢手动安装：

MacOS、Linux、WSL：

Windows PowerShell：

2

设置 Laya

前往 设置 → API → 决策 API 并开启 处理请求。确认是否开始下载后，默认的 Laya 模型（678 MB）就会开始下载。

你的 API 密钥就在同一页面的访问令牌下。或者开启 无密钥 API 访问 → 聊天和推理 ，在 localhost 上跳过密钥。

3

发送决策请求

现在该发送一个决策请求了。在这个示例中，我们会对支持工单进行分类，检测退款请求，并给紧急程度打分。

你会得到：

首次请求会加载模型，这需要 10 到 20 秒。之后，在大多数 CPU 上，请求耗时都远低于 1 秒。

state 可以是字符串或任何 JSON。 model 可接受 laya, 默认，或 jev-latest 对应于你在设置中选择的模型，或 laya-multilingual, laya-english, laya-typed-decisions 举一个例子。

❓ 问题类型

noul 表示是/否。它返回“是”的概率： 0.98 表示非常可能， 0.5 表示两边同样可能。

choice 和 score 还会返回 confidence。接近 1 表示有一个答案更���出。接近 0 表示概率分布得很均匀。

要根据某个 choice 采取行动，请使用其在 probabilities，而不是 confidence。例如，仅在 technical 高于 0.8时才提交错误报告。Laya 和 Jev 计算 confidence 的方式不同，所以不要重复使用你的 Jev confidence 阈值。

每个请求最多支持 64 个问题，每个 choice 最多可有 255 个选项 和 每个 score 10 个等级.

🔁 从 Jev 迁移

使用以下命令安装 SDK： pip install typesafe-sdk，设置两个环境变量，你现有的代码就能与 Unsloth 通信：

SDK 的默认模型， jev-latest会映射到你在设置中选择的模型。

有两点与 Jev 不同。 confidence 使用了不同的公式，因此在 Jev 上调优的阈值不会迁移；应基于 probabilities 改为这样做。并且，choice 中的选项共享固定的 token 预算，因此大约超过 20 个描述性选项后，标签就会被截断。