返回资讯
作者:meeka编辑部 · 编辑整理 · 来源发布于 2026/10/22 05:23:26

基于 Strands Agents 的自适应智能体框架 AAIF:用本地小模型分流请求

企业在构建 AI 智能体时常见的问题是:无论是一次例行状态查询还是复杂分析,请求往往都被送到同一个大型、昂贵的模型。这种"一刀切"的做法会推高 API 成本、带来不可预测的延迟,也失去了离线运行的可能。AWS 博客介绍的 Adaptive Agentic Intelligence Framework(AAIF)基于 Strands Agents 构建,思路是把常规任务交给本地小语言模型(SLM),复杂请求再经 Amazon Bedrock 路由到云端模型。

三层处理结构

AAIF 把 AI 处理分为三层:

  • 智能编排:用轻量 SLM(llama3.2:1b)作为决策层,对传入请求分类并路由到相应处理层,不依赖硬编码规则。
  • 本地处理:通过 Ollama 在本地硬件上运行 SLM,处理设备遥测读取、图像分析等常规任务,延迟低且不依赖云。
  • 云端处理:复杂模式分析和策略建议交给 Amazon Bedrock 中的前沿模型,这类请求需要更广的上下文和多步推理。

参考实现与工具

文章以物联网(IoT)监控场景作为参考实现。Strands 智能体连接托管 1B 参数编排模型和视觉模型的 Ollama 运行时,对外暴露三个工具:get_device_telemetry 用于本地传感器数据读取,analyze_camera_feed 通过 llama3.2-vision 在设备端做视觉处理,get_expert_insights 通过 boto3 调用 Amazon Bedrock 做复杂分析。用户请求先经 SLM 编排器分类,再按任务复杂度分派到本地工具或云端端点。

部署条件

该架构可运行在 8 GB 内存的 Raspberry Pi 等边缘设备上,也可全部推理走 Amazon Bedrock 的全云端部署,或结合本地速度与云端推理的混合配置。灵活性来自把路由逻辑(SLM 编排器)与处理工具分离,二者可按可用硬件和网络状况独立替换或重新配置。

按文章列出的前提条件,实践者需要 AWS 账户、在所需区域配置 Amazon Bedrock 模型访问、Python 3.10+、安装 Ollama 并拉取 llama3.2:1b 与 llama3.2-vision,以及安装 strands-agents、strands-agents-tools、boto3 并配置 AWS CLI 凭证。文中遥测工具使用模拟设备数据,生产环境需接入真实 IoT 传感器。

编辑部观察

这一框架的价值主张来自 NVIDIA 研究者 Belcak 等人的研究立场——小语言模型对智能体系统中的许多调用而言"足够强大、更适合且更经济"。需要注意的是,文章给出的是参考实现和演示代码,并未披露成本下降幅度、延迟对比数据或生产环境验证结果;本地视觉模型的实际效果也取决于边缘设备的算力。对计划试点的团队,可先按自身请求分布统计常规任务与复杂任务的比例,再决定本地模型与云端模型的分流阈值,并在真实硬件上测量延迟后再评估是否推广。

作者:meeka编辑部

信息来源:AWS Machine Learning Blog · 原文作者:Nitin Eusebius

原始标题:Adaptive agentic intelligence framework using Strands Agents

编辑部依据所列来源整理事实;“编辑部观察”和“实践建议”为本站分析。