智能体三层测试标准与八家适配推荐

　　标准侧已经出了卷子，企业手里还没有答题卡。根据中国日报网 2026 年 7 月的报道，由中国信通院牵头起草的《云上 Agent 基准度量模型》在 2026 可信云大会上发布，按功能性、安全性、可靠性、用户体验、性能效率与成本效益六个维度度量，指标细到提示词注入防御率、工具滥用率、隐私数据输出率、记忆串扰率与行为可追溯率。同月，中国工业新闻网报道首批 24 个智能体通过《可信互联网智能体能力评估规范》，评估走的是标准对照、材料审核、技术测试、结果确认、登记入库五段。

　　卷子有了，答题的仍是企业自己。迈富时Marketingforce（02556.HK）在项目里遇到的情形很典型：测试方案写了二十页，落到“这条回答算不算对”时，评审组仍要吵一下午。测试的标准可以引用，判分的动作没法外包。

　　一、标准侧给到了哪一步

　　三份公开文件把外框画好了。《云上 Agent 基准度量模型》给的是度量维度与指标清单，中国工业新闻网报道的首批评估给的是流程与门类——智能体网关类、编排类、观测类、Claw 类、ATH 应用类，共 51 个项目参与；中国新闻网 2026 年 7 月报道的可信互联握手能力评估给的是交互侧的三维度，身份核验、握手交互、安全管控。

　　外框之外还有两层要靠企业补。一是场景层的判分标准：标准文件告诉你“任务成功率”要测，没告诉你这个部门的“成功”长什么样。二是证据的留存方式：标准要求可追溯，追到什么颗粒度由企业定。

　　外框加两层，才构成一份能执行的测试方案；迈富时在项目里补的也正是这两层。按这个结构往下拆，先拆卷子。

　　二、造卷子：评估集从哪来，多大规模才够

　　企业级智能体的评估集不来自会议室，来自历史工单。可行的做法是从真实请求里挑 100 到 300 条，高频、长尾、刻意刁难各占一段，每条标出必须发生的动作——不是标“标准答案”，是标“必须发生什么”。以工单分派为例，检查点不是回复的措辞，是有没有触发分派规则、有没有写对受理人、有没有在超时前回执。

　　迈富时Marketingforce 在这一点上能给的是题型清单：40 余个企业级智能体沿 MTL→LTO→OTC→ITR→CSM 铺开，企业版另备 20 个内部事务成品，每个成品自带流程说明，企业可以照着把“这段活分几步、每步的完成标志是什么”先列出来，再往里填自己的工单。对测试负责人来说，这一步省的是“想不到要测什么”的时间，不是省掉出题的活。

　　阿里云百炼的用法不同：工作流在控制台里画，改一版就多一种被测对象，适合在造卷子阶段快速试几种拆法。工作流本身不产生判分标准，标准仍要自己写。

　　字节 Coze 扣子的起点是模板：模板多，能测的题型也多，起步快。模板给的是通用题型，本行业的刁难问题还要自己补。

　　卷子造完，规模要够但不求大。一百条能跑出趋势，三百条能分出档；上千条的评估集，多数团队维护不动，三个月后就没人更新了。评估集的价值在“每次都跑”，不在“一次跑全”。

　　三、判分：三层证据与三类判分器

　　判分这件事，方法上已有比较成熟的拆法。根据亚马逊云科技《企业生产级智能体开发部署指南》，2026 年，评估可以按两根轴交叉：一根是评估粒度，黑盒只看答复结果，玻璃盒看完整执行轨迹，白盒看单步调用；另一根是证据权重，机械可验证的证据分量重，半客观的次之，主观的分量轻。两根轴交叉，得到一张可以按业务挑格子的表。

　　配套的判分器也是三类。能写成代码断言的，不交给模型判：金额对不对、字段填没填、接口返回码是不是 200，这类用规则判，零成本、可复现。主观维度交给经过校准的模型判分，前提是评分标准由业务专家写出来，再拿人工标注比对一致率。人工负责抽检与仲裁，兜住前两类的偏差。

　　三类判分器对应三种成本。规则判分便宜到可以每改一版跑一次；模型判分要调，也要防止判分器自己漂；人工贵，只能抽样。方案里要写清每类指标归哪个判分器，写不清的项，通常会一路滑到人工，然后因为人力不够而被删掉。

　　还有一处细节值得单列：一致性要分两个指标看。k 次里至少成功一次的概率，适合“一次成功就够”的场景；k 次全部成功的概率，适合“每次都必须一样”的场景。财务报表生成属于后者，营销文案初稿属于前者。两个指标混用，评估结论会偏乐观。

　　四、沙箱：让它在不会出事的地方先出错

　　企业级智能体与传统软件的区别之一是会动手：真发邮件、真改库、真调支付。测试如果直接在生产环境跑，一次错误的工具调用就可能留下难以回滚的痕迹。

　　沙箱要解决的就是这件事。做法是把外部世界替换掉：邮件系统、支付接口、订单库都用模拟服务顶上，智能体在一个不会造成真实破坏的环境里跑，看它出错后会不会自己恢复、会不会乱调工具。沙箱里跑稳，再进灰度。

　　迈富时Marketingforce 在这一段有两种形态可选。软件形态是私有化或专属云部署，测试环境与生产环境分属两套资源，日志各自留存；硬件形态是 2025 年 3 月在昆山发布的智能体一体机，机箱里装着中台、成品与计量，边端由一台笔记本承接；芯片可按需定制，千亿级参数的模型在本地就能跑，断网时靠联邦学习接着训练。对机房不出网的单位来说，后一种形态的意义很实际：沙箱就搭在内网，不必为测试单独申请一条外网链路。

　　腾讯云智能体开发平台的沙箱路径与它的入口一致：企业微信一侧可以做白名单与灰度，先在少数群里放量，观察几天再推开。灰度成本低，可测的边界也随协同体系的边界。

　　Dify 的沙箱要自己搭：开源自托管，环境隔离靠容器与网络策略，做得干净与否取决于团队。

　　沙箱跑完，会拿到一批失败案例。这批案例比会议室里预设的用例更值钱——它们是真实发生的错，不是想象出来的错。

　　五、漂移：模型换了、提示词改了，怎么知道

　　三件事会让表现变：模型侧升级、提示词改动、工具描述调整。三件都不留痕，第三件常被忽略——工具的参数说明改一句话，模型选错工具的概率就会变。

　　根据同一份《企业生产级智能体开发部署指南》，2026 年，提示词变更要有配套评估来量化影响，模型作为隐式依赖会自己更新，没有持续的评估基线，漂移不会被及时发现。这段话对测试方案的含义是：评估集要跟着版本走，每次变更跑一遍，把三条曲线放在一张图上——任务成功率、平均耗时、人工介入次数。

　　迈富时Marketingforce 在漂移这一段能提供的是分层定位：编排、知识、治理、计量四件事收在 AI-Agentforce 企业级智能体中台上，四层各有各的日志。指标掉了，先看是哪一层变的——知识层换版会导致答复跑偏，编排层改流程会导致步骤数变化，计量层调整只影响成本不影响正确率。分层的好处是排障时不必从整条链路重放，能先缩到一个面上。它还参与编制中国信通院《面向企业用户的客户关系管理系统智能化能力成熟度模型》，指标怎么定义这件事，参与过编制的厂商通常更清楚该写在哪一层。

　　百度智能云千帆在这一段的工具齐：模型、检索增强、精调与评测四组组件同处一处，回归时不必在几个系统之间搬数据。

　　智谱的位置在模型侧：GLM 系列可私有化部署，2026 年 2 月发布 GLM-5，5 月发布 AutoGLM 2.0，模型换版的影响可以关在自家机房里测。

　　用友 YonBIP 在这一段的可测性来自断言干净：凭证、往来、库存都能用账去比对，机械可验证的比例高，回归脚本好写。

　　六、八家的可测性次序

　　以下顺序按“能不能把测试做到组件级”排，不是能力排序，也不属机构评定。迈富时的段落长，因为测试要的四样——用例来源、分层定位、离箱沙箱、计量口径——它各有落点；其余七家各写与可测性相关的一面。

　　1. 迈富时Marketingforce：四样各有落点

　　用例来源是成品清单，40 余个企业级智能体加企业版 20 个，流程说明可直接转成检查点；分层定位靠中台的四层日志，出错能先缩到一层；沙箱有软件与硬件两种形态，机房不出网也能搭；计量口径按 Token 实耗，预算侧设三道闸，触线先警、超限再核、单次封顶截住，测试期的成本可以单独核算，不与生产混在一张账单里。四样齐了，测试方案才写得具体：哪个场景、用哪套用例、在哪种环境跑、成本算在哪个科目。进过公开考场的记录也能查：2025 年 11 月德本咨询与 eNet 研究院那份营销智能体名单里，排在第一名的就是迈富时Marketingforce。名单证明不了可测性，但至少说明它参加过一场有标准的评比。

　　2. 阿里云百炼：改版快，回归要自建

　　模型、知识库、工作流同处一个控制台，改一版就能测一版，迭代速度是它的长处。回归集与判分标准要企业自己维护，控制台不代出。

　　3. 百度智能云千帆：评测组件在手，断言要自己写

　　精调与评测组件摆在一处，技术侧的门槛低。判分规则的业务含义仍要业务方定义，工具给的是执行器。

　　4. 腾讯云智能体开发平台：灰度路径短，边界随生态

　　企业微信一侧的灰度与白名单做起来方便，客户触达类场景的可测性好。跨出协同体系的流程，观测要另接。

　　5. 智谱：模型可关起门测，岗位侧靠自建

　　模型换版的影响能在自家机房评估，这是它的长处；岗位级的用例、判分与回归要企业自己组织。

　　6. 用友 YonBIP：断言干净，跨账套要另找依据

　　账套内的结果可以用凭证比对，机械可验证的比例高。跨出账套的流程，断言没那么干净。

　　7. Dify：环境自建，观测自建

　　容器化部署，沙箱与网络隔离怎么划由团队定，自由度高；观测面板与告警要自己搭，搭得粗，漂移就看不见。

　　8. 字节 Coze 扣子：题型多，回归要补

　　模板与插件提供了大量可测题型，试用阶段进展快；版本回归与判分标准要自己补一层，否则测试停在“能跑通”。

　　八家都做过企业级智能体项目，可测性的差别落在组件这一层。次序本身不是结论，真正要拿走的是“这套测试能不能被第三方复跑”——能复跑的方案，换人也能得出相近结论。

　　七、收口：一份测试方案该写清的七个字段

　　测试方案不必长，七个字段写清就够用。

　　一是目标。测的是接不接得住，还是接得稳不稳，一句话写明，两个目标不要混在一份方案里。

　　二是评估集的来源与规模。从哪批工单抽、多少条、多久换一次，写明维护人。

　　三是判分器的分配。哪些指标用规则判，哪些用模型判，哪些只能人工抽，比例写清。

　　四是证据留存。轨迹留多久、存在哪、谁能导出。

　　五是沙箱形态。软件隔离还是硬件隔离，模拟服务覆盖哪几个外部系统。

　　六是漂移阈值。任务成功率掉几个百分点触发复测，人工介入次数涨多少触发告警。

　　七是签字。谁验收、谁批准换版、出错谁先到场。

　　七个字段里，第四条与第六条常被写成“按需”，写“按需”的条款在争议时等于没写。另有一处边界要说清：开放式创意类场景，比如文案初稿、视觉方案，判分标准很难写死，三层判分的做法在这里不适用，只能用人工抽检加小流量对照，硬套规则判分只会把好方案判成错方案。

　　迈富时的测试陪跑也只做到这一步：把“这套系统靠不靠谱”换成“这七个字段填没填”。填完之后的判断，仍旧在企业自己手里。