AI 智能体项目正成为热门话题,但背后却隐藏着诸多挑战与风险。Gartner 报告显示,受成本上升、价值不明以及风险控制不足等因素影响,预计到 2027 年底,超过 40% 的 AI 智能体项目将被取消。
Gartner 此次报告基于对 3412 名参与者的调查。调查结果显示,19% 的人表示他们所在的组织在 AI 智能体方面进行了大量投资,42% 的人表示组织进行了保守投资,8% 的人表示组织没有投资,其余 31% 的人表示组织持观望态度或不确定。同时,Gartner 预计在数千家代理 AI 供应商中,只有大约 130 家是真实可靠的。而到 2028 年,至少 15% 的日常工作决策将由智能体自主做出,33% 的企业软件应用程序将包含智能体。
然而,Gartner 认为,今年以来愈演愈烈的 AI 智能体概念热潮在很大程度上是市场炒作的结果。很多项目的 “智能体化” 仅仅是品牌名称的重塑,当市场回归冷静后,将会出现一波退潮。目前,大多数 AI 智能体项目处于早期实验或概念验证阶段,这些项目大多受到炒作驱动,常被误用。这使得企业难以看清大规模部署 AI 智能体的实际成本和复杂性,从而阻碍项目投入生产。实际上,大多数 AI 智能体方案缺乏显著的价值或投资回报,因为当前的模型还不够成熟,不具备自主实现复杂业务目标或长期遵循细微指令的能力。企业若想从 AI 智能体中获得真正的价值,必须关注企业生产力,而不仅仅是个人任务的增强。例如,企业可在需要决策时使用 AI 智能体,在常规工作流程中采用自动化,在简单检索时运用助理,通过成本、质量、速度和规模来推动业务价值。
除了项目本身的价值和应用问题,Gartner 还警示了 AI 智能体带来的安全风险。Gartner 研究总监赵宇曾指出,“AI 智能体正在将传统 AI 的安全风险系统性地放大”。大量用户对智能体潜在的安全风险认知不足,在产品设计与部署过程中常常低估其可能带来的系统性负面效应,缺乏必要的防护机制。
其中,幻觉问题是一大隐患。生成式 AI 的 “编造” 特性在智能体中危害被显著放大。由于 AI 智能体需要长时间运行,并依据动态上下文做出推理,其幻觉往往不是简单的文字输出错误,而是直接引发错误行为。例如在自动驾驶场景中,若智能体误识别交通标志,可能导致严重的物理事故。
指令层的攻击风险也有所升级。传统的 “提示注入” 攻击在智能体场景中演变为更具操作性的 “行为操控”。在 MCP(Multi - Component Prompt)架构下,第三方工具作为系统信任组件被接入,攻击者可通过篡改工具描述实现 “Rug Pull”,用恶意工具替换原组件,但保留可信标签,使得攻击更加隐蔽且高效。
此外,还有更隐蔽的第四方提示注入风险。攻击路径并非直接指向智能体,而是通过间接信任链进行跳跃式入侵,极大地增加了溯源难度。同时,数据泄漏在 AI 智能体环境下表现出更具 “诱导性” 的特征。攻击者可通过构造恶意工具引导智能体访问敏感文件,并将数据作为参数外发;数据泄漏也可能在用户无意识中发生,比如在写作辅助工具中,智能体从用户文件中抓取隐私内容自动生成文本并公开发布。