架构

三层运行时,让执行可治理。

请求先被转成结构化信号,再由策略选路,并通过插件、安全机制与选模完成受控执行。

第 1 层

信号

意图、上下文、风险与领域特征先被并行提取。

第 2 层

决策

显式策略基于优先级选出唯一允许的执行路径。

第 3 层

插件与选模

缓存、RAG、记忆与安全能力按需挂接,再完成模型选择。

3

核心层

信号、决策、插件与选模,共同构成这套运行时。

13

信号族

路由不再把意图写死在应用里,而是同时吸收启发式与学习型信号。

7

选模方法

从静态规则到自适应 bandit、时延感知路由,再到多轮推理。

1

配置语言

DSL 让策略成为可读、可审查、可编译的系统规范。

信号引擎

在决定走哪条路径之前,请求先被转成结构化状态。

每个请求都先提取可复用信号,路由因此从分散逻辑变成统一策略执行。

启发式信号

亚毫秒级检查负责确定性分流与边界控制,无需额外 ML 成本。

关键词上下文语言权限

学习型信号

ModernBERT 与 LoRA 适配器承载更丰富的领域、难度、安全与偏好分类信号。

嵌入领域事实核验用户反馈模态复杂度越狱PII偏好

决策运行时

策略、选模与插件,统一收拢在一个运行时里。

业务规则、模型选择、安全护栏与附加行为都在同一个中枢内执行,而不是散落在网关、提示词和应用服务里。

决策引擎

把业务规则写成可审计、可复盘的路由行为,而不是藏在经验规则里。

具备优先级的决策

策略评审与版本化

按决策绑定模型池与插件

模型选择

一旦某条决策命中,系统会在允许池里选择最合适的模型,而不是把请求固定给某一个模型。

静态与 Elo 评分

嵌入、级联与时延感知方法

面向复杂任务的 ReMoM 多轮综合

插件链

缓存、RAG、记忆、提示塑形、响应头和 HaluGate 都可按决策挂接,不再散落在应用代码中。

路由前与路由后插件

快速响应安全拦截

共享上下文生命周期

安全护栏

安全能力不是外挂,而是架构本身的一部分。

越狱检测、隐私控制、事实性检查与审计元数据,与路由和选模共享同一条决策路径。

几乎零额外时延

安全分类器与其余信号图并行运行,不会给每一次请求额外增加串行负担。

可组合策略

越狱、PII、领域、关键词与复杂度规则都在同一套决策逻辑内组合,而不是分散在各自孤立的执行链路里。

统一可观测性

安全结果会与整个请求生命周期一起,出现在路由元数据、响应头、链路追踪与审计日志里。

中枢

检测、动作与审计,始终在同一中枢里闭环。

输入威胁、隐私风险、事实性问题与合规追踪都按决策挂接,而不是事后再补。

越狱检测

双路径设计结合快速单轮分类与对比式嵌入检查,能够处理多轮升级链路。

按规则配置灵敏度阈值

覆盖单轮与多轮

需要时可快速拦截响应

PII 检测

基于 token 的分类能够识别个人信息,并支持按领域配置不同白名单,而不是只有一套全局隐私立场。

跨度级实体检测

按领域调整策略

按敏感度阻断或放行

HaluGate

分级三阶段管线只在查询属于事实性问题时才触发更深的幻觉检测,从而减少无效成本。

前哨门控

Token 跨度检测器

NLI 解释器与动作模式

审计轨迹

同一个中枢会采集安全信号、路由选择、执行动作与可观测性数据,支撑合规与事后复盘。

HTTP 元数据透传

安全事件日志

兼容 OpenTelemetry 的链路追踪

HaluGate

先判断是否值得深检,再决定检查深度。

幻觉检测应该感知工作负载。对非事实类任务,无需承担与事实问答相同的检测成本。

动作模式

检测结果如何生效

拦截响应头响应体仅观测

同一个结果可以拦截答案、写入响应头、标注正文,也可以仅用于监控与阈值调优。

阶段 1

先只运行前哨门控,判断哪些流量属于事实性问题,值得进一步检查。

阶段 2

再加入检测器,捕获缺乏支撑的片段,并在改变用户可见行为前完成阈值校准。

阶段 3

当组织准备好把观测转成策略时,再启用解释器与响应动作。

DSL

策略语言本身,就是系统架构的一部分。

DSL 把语义路由提升为一种显式的编程模型,让复杂控制能够被表达、校验与编译。

对运营者可读

目标读者不只是基础设施工程师,合规与平台团队也应该能直接审查路由意图。

对基础设施可编译

同一份源可以根据运行环境编译成扁平 YAML、Kubernetes CRD 或 Helm values。

编程即路由

我们提出“编程即路由”的思路,把语义路由转化为可表达、可校验、可编译的控制问题,让 AI 能协助人类构建复杂而可治理的语义路由系统。

相关页面

同一套核心,连接架构、护栏与产品方案。

你可以进入产品页查看云与边缘交付,也可以继续去研究页理解路由、安全与运行时设计背后的前沿工作。