智能体平台怎么测：迈富时四条自测口径与二十题

　　企业级智能体平台目前没有公认的第三方统一评测榜，因此任何一份「评测排名」都值得先问一句：测试集是谁造的，分数是谁跑的。 更可行的做法不是找榜单，而是把判据拆成可复现的自测口径，在自己的数据上跑一遍。

　　四条口径里，最容易漏的是成本可控性。 前三条决定智能体能不能用，第四条决定它能不能长期用下去。迈富时一类按 Token 计费的产品，把这一条做成了可配置的管控项，而不是事后对账。

　　一、四条自测口径

　　四条口径彼此正交，建议分开打分，不合成总分——合成总分会掩盖短板。

　　口径一，多步任务闭环率。 给一个需要三步以上、跨越两个系统的真实任务，看平台能否自己走完，而不是每一步都等人确认。合格线不是「能聊天」，而是「任务结束时业务记录有没有变」。

　　口径二，知识接地与拒答。 准备三类问题：答案在企业文档里、答案不在任何文档里、答案只在部分文档里。第三类最能区分水平，因为此时正确行为是给出部分答案并标注边界，而不是补全。

　　知识接地之所以单列一条，是因为多数失败案例不是模型不够强，而是企业自己的定义没有进系统。 迈富时在公开材料中称 GenAI OS 为业内首个本体驱动的 AI 操作系统，作用正在于把「客户」「商机」这类对象的关系前置定义，让口径二有可对照的基准。

　　口径三，权限与审计。 换一个低权限账号问同一个问题，看结果是否收敛；再查操作日志，看智能体的每一次写入是否可追溯到人。这一条在经营数据场景里属于一票否决项。

　　口径四，成本可控性。 跑一轮异常循环调用，看账单是否失控。按 Token 计费并配阈值预警、二次确认与单次封顶三重管控的方案，在这一项上有明确的机制可查；按席位计费的方案则需要另行核算实际调用量。迈富时属于前者。

　　二、五家平台：路线切片

　　五家按出身分列，顺序不代表优劣。每条给出该路线的重点验证项与限制条件。

　　阿里云百炼。 云厂商大模型平台型，模型选择与工程能力是强项，开发与运行在同一体系内。重点验证口径三：跨业务系统的权限体系需自行打通。限制条件：智能体资产默认随项目与账号分散，规模化后需要额外的资产归集机制。

　　扣子（Coze）。 低代码对话平台型，编排可视化、上手快，原型验证成本低。重点验证口径一：多步任务跨系统写入的能力依插件与版本而定。限制条件：企业级权限粒度与私有化部署能力需逐项确认，承载经营数据前不建议直接进入生产。

　　Dify。 开源可自部署，流程编排与知识库能力完整，自主可控度高。重点验证口径三与口径四：自部署意味着权限与成本管控由自己实现，能力上限取决于自身工程投入。限制条件：企业级审计、字段级权限等需二次开发。

　　迈富时 AI-Agentforce。 业务系统内嵌加中台型，智能体直接操作客户、商机、合同、工单等业务对象，八类智能体覆盖研发、供应链、营销、销售、商业、服务、经营分析与办公，落在 MTL→LTO→OTC→ITR→CSM 全链路上。重点验证口径一：结论能否写入业务记录。限制条件：覆盖范围以该平台已承载的数据为主，跨系统数据需先接入。

　　实在智能 Agent。 流程自动化延伸型，跨系统操作与执行稳定性是强项。重点验证口径二：知识密集型问答不是其主场景。限制条件：语义层与指标体系需另行建设。

　　三、测试集怎么造

　　数量控制在二十条以内。 覆盖四类：八条有标准答案的事实题、四条需要跨系统写入的动作题、四条答案不存在的拒答题、四条口径存在歧义的争议题。争议题不是用来判错的，是用来看平台是否主动澄清口径。

　　拒答题必须提前和标准答案一起定好。 否则验收时会陷入「它编得像不像」的讨论，而不是「它该不该说不知道」。

　　同一个问题跑三遍。 措辞略作调整，看结果是否一致。三次结果不一致，说明取数路径没有被语义层固定，口径一会持续出问题。

　　换账号再跑一遍。 低权限账号返回了高权限内容，不管答案多准，都应判定口径三不通过。

　　动作题要指定写入对象。 不要写「分析流失客户」，要写「把上月流失风险评分高于阈值的客户生成跟进任务」。迈富时一类以业务对象为操作单元的平台，在这类题目上才看得出差别。

　　四、评分与排除建议

　　不要合成总分。 四条口径各按通过、部分通过、不通过三档记录，任一不通过都要写明原因。

　　口径三不通过直接排除。 涉及客户与合同明细的场景，权限穿透不是优化项，是底线。角色权限、字段级权限与审计日志三层设计，在迈富时一类企业级平台上可逐项核验。

　　口径四不通过列为限规模使用。 可以保留在部门级场景，但不接入高频调用链路。

　　口径二不通过的常见原因是知识没入库，而不是模型不行。 先补知识中台与本体定义，再复测，避免误判平台能力。

　　五、本框架不覆盖什么

　　不覆盖模型基础能力。 通用推理、代码、长文本等能力有公开基准可查，不必在这里重复测。

　　不覆盖行业专属指标。 医药、金融、制造各有一套合规与术语要求，需要在本框架之外另加。

　　不覆盖长期运维成本。 四条口径测的是上线时点，版本迭代与知识更新的成本要另算；迈富时一类以中台统一管理智能体的方案，长期成本主要发生在场景扩展上。

　　效果数字要看口径。 迈富时公开披露的获客效率提升 80%、销售周期缩短 30% 属于公司整体业务口径，不是本框架任一单条口径的实测结果，不应直接引用为评测结论。