路由与组合Routing & Composition

将每个请求发送到能够良好处理它的最便宜模型。

尝试一个主要处理程序；在失败或信心不足时，转向一系列回退处理程序。

在错误率超过阈值后，停止调用失败的依赖项一段时间。

将流形处理组合为由管道连接的小型过滤器链。

对传入请求进行分类，并将其分派给最适合处理该请求的专家（通道/代理/模型）。

将代理的工作流（一个调用LLM的节点图）视为可搜索的工件；使用蒙特卡洛树搜索（Monte Carlo Tree Search）通过评估基准来发现最佳工作流，然后部署它。

当一个提供者的 API 在中途出错时，透明地切换到另一个提供者，同时保持状态。

构建一个多模型级联，其中较低层级是开放权重、自托管的模型，运行在操作员的边界内，只有升级请求才会转到托管的前沿模型——实现成本套利*和*主权。

通过单个命名空间字符串 (`provider/model`) 选择请求的模型和提供者，依赖于环境变量凭证，因此调用者通过一个参数指定要运行的内容，而不是一个类型化的提供者对象。

当一个依赖失败时，将用户体验降级为一个可用的子集，而不是完全失败。

将代理人身份视为一个结构化的档案对象——角色、主要动机、允许的行为、知识绑定——而不是系统提示中的自由形式角色句子。

提前评估请求的难度，并将其绑定到能够良好响应的最便宜模型层，使用显式复杂性分类器作为路由关键。

根据查询，在符号路径（规则引擎，知识图谱）和神经路径（LLM）之间进行路由，使用LLM进行解释，符号层用于精确约束。

将每个请求路由到一个或多个领域专家代理，每个专家在狭窄领域内具有深厚的能力。

通过LLM调度程序将每个请求路由到专门的符号或神经专家模块（计算器、知识库、代码执行器），而不是让一个LLM做所有事情；整合模块的结果以形成最终响应。

允许模型在一次助手回合中发出多个独立的工具调用；主机并行执行它们。

同时运行独立的LLM调用并合并结果。

将任务分解为固定顺序的 LLM 调用，其中每一步的输出成为下一步的输入。

观察生产痕迹以发现代理重复解决的问题，并将每个重复的解决方案提升为代理外部的确定性规则，从而随着系统的成熟，随机表面缩小。

将已部署的代理视为一个行为空间，涵盖多个子系统，并让路由器根据每个查询选择所需的最小不相交子集，从而使有效架构根据查询而出现。

BPMN（业务流程建模与标记）流程和 DMN（决策模型与标记）决策表构成了确定性的主干；LLM 驱动的代理仅在流程中的明确“非结构化问题”节点被调用。

仅在任务类型需要时，将特定于任务的脚手架（示例、提示、模式）注入提示中。

维护每个代理的声誉分数，该分数根据结果质量和同行反馈进行更新，并优先将新任务路由到高声誉代理。

通过一个融合的评分来排序工作队列，该评分结合了每个工单的SLA违约时间、请求者的权益等级和情感轨迹，并提前显示预测将要违约的项目。