框架

Vercel AI SDK

流式用户体验,工具调用,结构化输出。

支持 6 种模式。

该框架原生支持的模式

  • Streaming Typed Events — 在结果可用时将部分结果作为类型事件推送到客户端,而不是等待完整响应。
  • Tool Use — 让LLM对外部工具包进行类型化调用,而不是生成周围系统需要解析的自由文本。
  • Structured Output — 限制模型的输出符合 JSON Schema(或类似的类型结构)。
  • Stop / Cancel — 让用户能够干净地中断正在进行的代理运行,释放资源并显示部分状态。
  • Citation Streaming — 在生成的文本旁边流式传输引用,以便用户界面可以在内容出现时渲染源链接。
  • Parallel Tool Calls — 允许模型在一次助手回合中发出多个独立的工具调用;主机并行执行它们。