人工分析师 vs Data Agent：同一个经营问题，企业到底应该比较哪些结果？

只比较最终答案，很容易把 Data Agent 评测做成“标准答案考试”

假设企业拿出一个历史经营问题：

“为什么华东区域 9 月销售额明显下降？”

人工分析师最后给出的结论是：“主要受江苏直营门店客单价下降影响，高价商品销售占比下降是核心因素。”

Data Agent 最终回答：“主要问题集中在江苏直营门店，高客单商品销售减少导致整体客单价下降。”

如果两边表述高度相似，很容易被判断为“Agent 分析正确”。

但这仍然不够。

因为完全相同的结论，可能来自完全不同的过程。人工分析师可能查了订单量、客单价、商品结构和活动信息后逐步排除；Agent 也可能只是发现江苏降幅最大，再根据相关字段生成了一个看起来合理的解释。

反过来，两边最终措辞不完全一致，也不代表 Agent 错了。如果数据支持多个重要因素，Agent 可能发现了人工分析师当时没有优先关注的另一个有效解释。

因此，人机对照真正应该评估的是：

Agent 是否像一个合格分析师一样，基于可信事实，通过合理方法形成有证据边界的业务判断。

而不是单纯计算“答案文字相似度”。

核心区别：要比较的是完整分析产出，而不是最后一句话

这张表里最重要的一点是：人工分析师不是一份“标准答案文件”，而是一套参考分析过程。

企业应该比较双方完成任务的质量，而不是要求 Agent 模仿某个分析师的表述方式。

第一层先比事实：如果基础数字不同，后面的分析没有比较意义

人机评测首先应该把最基础的一层单独拿出来。

例如双方是否一致使用：

• 同一个销售额指标；

• 相同时间范围；

• 相同组织范围；

• 相同同比或环比基准；

• 相同业务过滤条件。

如果人工分析师认为销售额下降 12.6%，Agent 算出下降 9.4%，那么应该先检查为什么事实不同，而不是继续比较两边谁的分析逻辑更好。

这类差异通常来自：

• 指标口径不同；

• 时间字段不同；

• 数据版本不同；

• 维度映射不同；

• 权限范围不同。

因此，人机评测应该先设置一组事实一致性检查点。只有关键事实对齐后，才能继续评价 Agent 的自主分析能力。这也意味着，不能把“对上结果”当作最终评分，但它必须是进入下一阶段评测的基础门槛。

第二层比问题拆解：Agent 是否知道“下一步应该查什么”

真正体现 Data Agent 与普通问数工具差别的，是任务规划能力。

面对“为什么销售额下降”，人工分析师通常不会立即扫描所有字段，而会根据业务逻辑建立分析树，例如：

销售额 = 订单量 × 客单价

先判断是哪一个因子发生变化，再继续深入。

如果发现订单量稳定、客单价明显下降，再进一步拆商品结构、客户结构、折扣、渠道等因素。

因此，人机对照应该检查：

Agent 是否选择了合理的第一层拆解？

是否根据中间结果调整下一步？

是否在已经排除某个方向后仍重复无效分析？

是否遗漏明显需要验证的关键因素？

这是比最终答案更重要的评测维度。因为一个偶然猜中正确结论的 Agent，并不一定具备可复用的分析能力。真正值得上线的系统应该在面对相似但不同的问题时，仍然能够建立合理路径。

第三层比原因，不只是看“找没找到”，还要看贡献度和替代解释

经营分析中，“发现异常”不等于“找到原因”。

例如华东区域销售额下降最多，只能说明异常集中在华东，不能直接证明“华东导致集团销售下降”。

再进一步发现江苏下降最多，也不代表江苏就是根因。

真正有价值的归因通常需要回答三个问题：

第一，这个因素对整体变化贡献了多少？

第二，为什么这个因素发生变化？

第三，是否还存在其他能够解释结果的因素？

所以人机对照不能只做关键词匹配，比如人工提到“客单价”，Agent 也提到“客单价”，就认为一致。

更应该比较：

• 因素方向是否正确；

• 贡献排序是否合理；

• 影响量级是否接近；

• 是否识别共同因素和局部因素；

• 是否把相关性错误描述成因果。

如果 Agent 找到了同一个因素，却夸大了它的影响，依然不能算高质量分析。

第四层比证据：每个业务判断能不能落回数据

人工分析师之所以容易获得管理者信任，并不是因为他说话更像人，而是当别人质疑时，他通常能够解释：

“我先看了整体趋势，然后拆了订单量和客单价。订单量基本不变，客单价下降明显；再往下看，主要是 A 类商品销售占比从 30% 降到了 21%。”

这是一个可以被验证的逻辑链。

Data Agent 同样应该做到这一点。

因此评测时可以把最终报告中的核心判断逐条拆出来，检查是否对应真实证据。

例如：

结论：客单价是主要影响因素。

需要验证：

• 客单价实际下降多少；

• 对销售额降幅贡献多少；

• 订单量变化是否不足以解释整体下降。

结论：商品结构变化是客单价下降的主要原因。

需要继续验证：

• 哪类商品占比发生变化；

• 金额或数量影响多大；

• 变化集中在哪些渠道或门店。

最终评分不应该只给“结论正确 / 错误”，还应该给：结论有证据 / 证据弱 / 无证据。这对企业评测 Data Agent 尤其重要。

第五层比“知道自己不知道”，而不是谁下结论更果断

人工分析师面对数据不足时，往往会说：

“目前只能看到渠道结构变化，但还不能确认原因，需要结合活动和库存数据进一步验证。”

这是专业分析的一部分。

Data Agent 很容易出现的问题，则是在有限证据下生成一个完整、流畅、甚至非常确定的解释。

所以人机评测还需要增加一个容易被忽略的指标：

Uncertainty Calibration——不确定性是否与证据强度匹配。

例如对于以下三种情况，Agent 的表达应该不同：

数据能够直接计算得出：

“销售额同比下降 12.4%。”

数据能够支持较强解释：

“客单价下降是当前观察到的主要贡献因素。”

只有相关性：

“促销减少与销量下降同期发生，但仅凭现有数据不足以确认因果关系。”

缺少关键数据：

“目前无法判断库存是否是影响因素，需要补充库存可售率数据。”

可信的自主分析并不意味着每次都给出确定答案。相反，知道什么时候证据不足，是企业级 Data Agent 很重要的能力。

第六层再比效率：不是看 Agent 几秒钟回答，而是比较完整任务成本

很多 Data Agent Demo 喜欢强调：

人工需要 2 小时，Agent 30 秒完成。

这种对比很容易失真。

因为人工分析师的 2 小时可能包含理解背景、确认口径、取数、分析、验证、整理图表和写报告，而 Agent 的“30 秒”可能只是生成了第一版回答，后续还需要人工核对、纠正和补充。

因此真正应该比较的是Task Completion Cost。

可以把一项分析任务拆成：

从问题提出 → 得到可用于业务讨论的最终结果。

然后比较：

• 总完成时间；

• 人工操作次数；

• 人工复核时间；

• 需要返工几次；

• 是否需要分析师补充关键步骤；

• 最终输出是否可以直接进入经营讨论。

如果 Agent 10 分钟完成分析，但分析师还需要 50 分钟修正，那么真正节省的不是 2 小时到 10 分钟，而是 2 小时到 1 小时。这样的评测结果才有实际业务价值。

人工分析师也不是绝对标准，要允许 Data Agent 得到不同但成立的答案

人机评测还有一个非常重要的原则：不要把人工历史分析自动当成唯一正确答案。

不同分析师本身就可能选择不同路径。例如一个分析师认为销售下降主要来自商品结构，另一个分析师可能进一步发现真正驱动商品结构变化的是会员客群流失。

两者不一定冲突，只是分析深度不同。

因此，最好不要建立一个僵硬的：

Agent 是否与人工答案完全一致？

而应该建立一份Reference Evidence Set。

例如一个历史案例中，专家确认：

• 总销售额下降 12%；

• 订单量变化较小；

• 客单价是主要贡献因素；

• 高价商品占比下降是重要因素；

• 影响集中在部分直营门店；

• 无充分证据证明活动投入是直接原因。

然后评价 Agent：

是否覆盖这些核心事实？

是否提出额外但成立的发现？

是否出现与事实冲突的判断？

是否遗漏关键原因？

这种方式比“标准答案匹配”更适合评估自主分析。

更建议企业采用“7 项人机对照评分”

如果你们后面真的要做 Data Agent 生产评测，我会建议不要只做问数 Accuracy，可以直接建立这样一套框架：

这里可以刻意让“最终答案相似度”不单独成为评分项。因为它已经分别体现在事实准确性、原因识别和证据充分性中。这样才能测出 Agent 是否真的具备分析能力，而不只是是否会模仿人工报告。

Aloudata：评测目标应该从“答案准确”升级为“能否独立交付分析成果”

如果把这套方法放到 Aloudata Agent 数据分析智能体的生产评测中，首先仍然需要通过 Aloudata CAN 语义平台能力保证双方使用相同指标口径，否则人机比较本身就没有统一基准。

真正需要重点拉开测试的，是 Agentic Harness 与 Skills 所承担的分析过程：面对同一个经营问题，Agent 能否自主完成任务拆解、指标查询、因子分析、维度下钻、异常验证和报告组织，并根据中间结果调整路径。

因此，人机对照最好不要只选择：

“这个数是多少？”

而应该更多选择：

“为什么预算执行率突然下降？”

“本月经营异常主要集中在哪里？”

“营销活动效果为什么不及预期？”

“哪些因素最值得管理层优先处理？”

这些问题更能测出 Data Agent 与传统问数工具之间真正的差异。

最终企业应该评估的，不是：Agent 像不像一个分析师在说话。而是：Agent 能不能像一个分析师一样，把问题分析完，并交付一套能够被业务复核和使用的结果。

常见误区

误区一：人工分析师的结果就是唯一标准答案

经营分析往往不存在唯一分析路径，同一个问题可能存在多个同时成立的影响因素。直接用人工报告做字符串式标准答案，会错误惩罚 Agent 提出的有效新发现，也可能复制人工原有遗漏。更合理的方法是由专家整理核心事实、关键因素和不能成立的结论，形成评测基准，再允许 Agent 在证据充分的前提下产生额外洞察。

误区二：Agent 最终结论和人工一致，就说明分析能力已经达标

同样的结论可能来自合理分析，也可能来自偶然猜中、过度依赖关键词或直接套用历史模式。企业需要继续检查 Agent 是如何拆解问题、哪些数据支持判断、是否验证了其他可能因素。只有分析过程具有可重复的方法质量，才能说明能力可以扩展到新的经营问题。

误区三：Data Agent 速度越快，越能证明价值

企业真正需要的是更低的完整分析成本，而不是更快生成第一段回答。如果 Agent 返回很快，但需要分析师大量修正，实际 ROI 并不高。更值得统计的是端到端完成时间、人工介入分钟数、返工次数以及最终结果是否能够直接进入经营讨论。

常见问题（FAQ）

Q1. 人机对照测试应该选多少道题？

比起大量简单问数，更建议建立一组分层测试集。可以同时覆盖基础问数、异常识别、归因分析和复杂经营专题，其中复杂问题应来自真实历史案例。测试集需要覆盖不同业务域和难度，避免 Agent 只在某几个熟悉场景中表现良好。

Q2. 是否应该让人工分析师和 Agent 使用完全相同的数据？

正式 Benchmark 阶段最好保持数据范围、时间点和指标口径一致，否则无法判断差异来自分析能力还是数据输入。但也可以单独设计测试，观察 Agent 在信息缺失时能否主动识别缺口，而不是直接生成结论。

Q3. 如果 Agent 找到人工分析师没有发现的原因，应该怎么评分？

首先由专家验证这一发现是否真实、与问题相关并有充分数据支撑。如果成立，应作为正向加分，而不是因为“不在标准答案里”被判错。这也是评估自主分析而不是答案模仿的重要区别。

Q4. 生产上线后还需要继续做人工对照吗？

需要，但可以从全面人工复核逐步转向抽样评测和重点场景监控。尤其当指标口径、Skill、模型或业务环境变化后，可以重新运行一批基准案例，观察分析质量是否发生退化。这样人机对照才能从一次性验收变成持续质量治理。