AI 基准测试尽职调查：签署前复现模型与产品声明

1. 将每一项基准测试声明转化为可检验的命题

一项基准测试声明应明确系统、任务、总体、干预、比较对象、指标和决策相关性。仅声称某模型比竞争对手更准确并不完整，除非买方知道是哪一模型检查点、提示策略、工具配置、数据集、排除项、评分规则和置信区间产生了该结果。仅声称某应用更快或更便宜并不完整，除非纳入并发、硬件、缓存、重试、人工审核和故障处理。

尽职调查登记册应保留向客户、投资者和交易委员会呈现的准确措辞。每项声明都应关联至源代码、权重或 API 版本、评估数据、执行日志、硬件、软件依赖项、指标实现、分析师笔记本和审批记录。在可行情况下，证据应保留时间戳和哈希值。无法追溯至可复现运行的展示数字应归入未解决状态。

每项声明还应对应交易用途。某项结果可能支持产品差异化、客户留存、定价能力、毛利率、监管准备度或有条件付款。所需测试强度取决于该用途。营销比较可能需要更正，但不改变价值。支撑大部分预测的声称能力可能需要在签署前进行独立盲评并提供合同救济。

2. 构建基准测试证据图谱

证据图谱将所报告的分数与产生该分数的材料和决策联系起来。节点表示模型、数据集、任务、提示词、工具、硬件、软件版本、指标、排除项、人工评分员、运行记录和已发布声明。边记录依赖关系和转换过程。该图谱应使审阅者能够从董事会幻灯片中的数字回溯到原始输出，并向前追溯到该数字所支撑的商业假设。

每个节点都需要一个证据状态：已留存并核验、已留存但未核验、管理层陈述、第三方记录、不可获取或已被取代。哈希可确立文件身份，但不能证明文件完整、适当或未受污染。因此，审阅者应同时记录来源和用途适用性。

该图谱会揭示未明示的替换。公开声明可能引用某一基准测试，而评估笔记本使用的是经过修改的数据划分。产品可能调用比尽职调查中所述更新的模型。延迟图表可能遗漏失败请求。机器辅助核对可以标记标识符、日期、样本数量和版本不匹配的情况，供专家审阅。由此形成的图谱成为复现、例外处理和交易处理的管控界面。

与交易相关的声明应能从源材料经由评估追溯到其支撑的商业假设。

表 1. 基准测试声明的最低记录

记录将身份、方法、结果和交易用途区分开来。

3. 先界定决策，再选择测试

评估设计应以交易决策为起点。买方若需判断产品是否达到合同约定的准确率阈值，就需要具有代表性的客户群体、合同指标以及约定的失败处理方式。对毛利率进行承销评估的买方需要吞吐量、硬件、推理成本、人工审核和支持负担。董事会评估技术差异化时，需要相关的可比对象，以及证明该优势在精心策划的演示之外仍然存在的证据。

单一基准测试很少能回答所有这些问题。能力测试衡量在既定任务上的表现。稳健性测试改变输入和运行条件。安全测试探查有害或违反政策的行为。经济性测试将质量与延迟、算力、劳动力和服务水平联系起来。产品测试涵盖界面、检索、工具、工作流和人工升级。尽职调查计划应说明每项测试回答哪个问题，以及不能回答哪个问题。

团队应在看到复现结果之前就重要性达成一致。重要性可与收入集中度、合同罚则、预测利润率、受监管用途、客户损害、资本需求或估值相关。预先登记的决策规则可减少在出现不利结果后重新定义成功的诱惑。它还有助于卖方提供正确的材料，并保护买方免于把时间花在对交易影响甚微的评分上。

4. 冻结所声明的系统和评估环境

复现需要一个已识别的对象。尽职调查团队应冻结模型检查点或 API 版本、系统提示、检索语料库、工具定义、安全层、采样参数、软件包、硬件配置和评估代码。容器、依赖锁定、哈希和运行清单可以为冻结提供支持。当第三方 API 导致无法完整保存时，团队应记录提供商、端点、模型标识符、日期、区域和观察到的响应元数据。

冻结的系统应反映正在接受尽职调查的声明。卖方可能展示研究检查点，而客户使用的是经过优化的产品栈。两者都可能值得测试，但结果应保持区分。微调、检索、后处理和人工审核可以创造并不存在于基础模型中的价值。当优势来自可替换的外部组件时，买方应避免将产品性能归因于专有模型能力。

访问控制很重要。复现环境可能包含机密代码、客户数据和模型权重。洁净团队应记录用户、数据传输、执行和导出。复现证据应在签署后仍然保留，同时遵守许可证、隐私、商业秘密和安全要求。法律顾问和安全专家应界定允许的访问、保留和销毁。

5. 重建数据集谱系和目标人群

数据集的溯源应说明样本的来源、收集、筛选、标注、去重和划分方式，以及哪些版本进入了训练、调优和评估。买方需要条目级标识符或可辩护的替代证据来检验重叠情况。当估值取决于数据优势时，关于专有数据的汇总性陈述所能提供的保证有限。

评估总体应与商业主张相匹配。医疗工作流程、信贷决策、工业检测或法律起草工具可能面临与公开基准不同的案例构成、语言、地域、发生率和用户行为。当罕见但代价高昂的案例被赋予更高权重时，性能可能发生变化。尽职调查团队应将基准分布与实际情况或合同约定用途进行比较，并记录覆盖缺口。

许可与同意需要分开审查。数据集可能在统计上有用，同时带来合同、隐私、知识产权或监管风险。基准记录应关联来源、允许用途、留存和转移限制。合格顾问应评估适用义务。技术性复现不能弥补目标公司并不拥有的权利。

6. 检验训练集与测试集的直接重叠

直接重叠是指评估条目、答案或高度相似的重复项出现在训练或调优材料中。它会夸大表面泛化能力，因为模型已经接触过测试内容。检测可结合精确哈希、规范化文本匹配、n-gram 重叠、语义相似度、图像指纹和元数据。该方法应涵盖格式变化、翻译、改写和衍生样本。

匹配结果需要解释。广泛公开的知识可以合理地出现在多个来源中，而独特的基准问答对则会引发更强的担忧。团队应记录匹配强度、方向、时间以及该条目是否可能影响训练。当卖方无法披露训练数据时，可采用的替代方案包括声明、数据生成记录、成员推断研究、金丝雀样本和新的隔离测试。

适当的应对取决于问题普遍程度和主张的敏感度。审查人员可在剔除疑似重叠项后重新计算性能，比较受影响与未受影响的分层，并测试新的等效集合。结果应展示一个范围，而不是将不确定性压缩为“受污染”或“干净”的二元标签。若支撑定价的结果出现重大下降，则需要升级处理。

7. 检测语义污染与基准熟悉度

污染可能超出完全复制。教程、解答代码库、基准讨论、合成变体和模型生成的训练数据都可能编码任务或答案结构。模型也可能在没有记忆单个条目情况下学习基准特有的格式和策略。语义搜索、代码库历史、网络抓取日期和暴露分析有助于识别可能的途径。

尽职调查团队应比较在既有公开条目与全新编写、隔离且结构等效条目上的表现。较大差距可能表明暴露、分布偏移、测试构建差异或多种效应共同作用。这是需要调查的证据，而不是某一特定原因的证明。盲法实施和严格访问控制可增强推断。

基准熟悉度也会影响智能体系统。工具、提示词或路由逻辑可能包含基准名称、答案模式或特定任务捷径。因此，系统冻结应包含编排器代码和提示词库。当手工构建的测试框架针对测试定制时，表现一般的基座模型可能显得很强。该测试框架可能仍有价值，但必须证明其可迁移到客户工作流程。

更有力的证据结合了工件匹配、时间分析和全新的隔离评估。

表 2. 泄漏测试矩阵

解读结果时应结合时间、访问权限和基准设计。

8. 检验基准选择与被省略的替代项

选择偏差可能在任何运行之前就产生。目标公司可能只报告其表现良好的基准，选择有利的子任务，或省略受认可的替代项。尽职调查团队应根据产品声明、客户需求、监管预期、学术实践和竞争对手披露，重建候选基准集合。管理层应解释纳入和排除标准。

相关性比数量更重要。运行数十个公开排行榜可能营造出一种虚假的覆盖感，却让买方的商业用途仍未得到检验。团队应将每个选定的基准映射到预期人群、错误成本和决策。还应检查内部生成但未发布的结果，因为被放弃或不利的实验可能揭示选择效应。

基准组合可以包括公开可比性测试、模拟客户的非公开测试、压力测试、经济性测试和安全测试。权重应反映交易敞口，并在结果已知前保持固定。如果卖方选择了不同的组合，买方应保留双方观点并弥合差异。

9. 从原始输出复现指标计算

报告的分数应依据原始预测、标签和指标代码重新计算。审查者应测试分母、平均方式、类别权重、并列、弃权、超时、无效输出和重复记录。宏平均和微平均可能得出不同结论。准确率可能掩盖类别不平衡。综合得分可能掩盖某一维度上的重大失败。

不确定性应与点估计并列呈现。样本量、依赖性、重复运行、标注者差异和随机生成都会影响精度。NIST 关于自动化基准评估统计模型的工作强调，需要明确测量目标以及支持结论的假设。尽职调查报告应说明置信区间或其他合适的不确定性度量，并避免虚假精度。

指标应与其后果相连接。一分的改进可能对客户价值不大，而高成本错误类别中的小幅恶化却可能影响重大。阈值应依据合同、工作流经济性、风险偏好和用户需求加以论证。仅凭排行榜名次很少能证明经济意义。

10. 重建提示词、工具和人工干预

生成式和智能体系统可能对提示词、工具访问、检索、采样和评估者指令高度敏感。所声称的协议应保留系统和用户提示词、少样本示例、工具模式、重试逻辑、温度、受支持的随机种子、上下文限制和停止条件。未记录的手动编辑或精挑细选的补全应视为干预。

人工协助必须可见。员工可能选择输入、修复输出、在候选结果中作出选择、标注边界答案或覆盖失败结果。人工工作可以是有价值服务中有意设计的一部分。其时间、技能、成本、一致性和可扩展性应纳入基准和商业模型。一个被描述为自动化的产品，若其已展示的质量依赖于未记录的专家劳动，就不应获得自动化经济性。

复现计划应首先运行已披露的配置。随后敏感性分析可以改变提示词和控制项以检验稳健性。仅在一条精细调校指令下才成功的方法，可能适用于稳定工作流，但对其通用能力提供的证据较弱。

11. 控制硬件、并发和系统优化

延迟、吞吐量和成本声明取决于硬件、精度、批量大小、序列长度、缓存、网络、区域、并发和利用率。目标系统可能在低负载下于稀缺加速器上产生亮眼的实验室结果，而预测却假设采用通用基础设施和持续流量。尽职调查环境应同时采集硬件和系统遥测数据与质量数据。

热启动和冷启动、缓存命中、重试和失败请求需要分别报告。对于服务承诺，百分位延迟通常比平均值更具信息量。吞吐量应包含背压和排队。每次成功任务的成本应纳入推理、检索、工具、存储、可观测性、人工审核和分摊基础设施成本，而不仅仅是 token 成本。

优化可以具有专有性和持久性。量化、编译、路由和调度可能创造真实优势。买方应测试该优化是否能随所收购资产转移、是否依赖第三方许可，或是否需要可能不会留任的专家。因此，基准声明与交易可交付性应相互关联。

12. 运行预先注册的复现协议

协议应在独立团队看到最终结果之前获得签核。协议应说明所声称的系统、测试总体、样本、指标、统计方法、环境、允许的干预、例外规则和决策阈值。它应明确谁可以访问标签、谁执行运行以及谁批准偏离。预注册可减少事后更改，并支持经得起审查的审计追踪。

执行可按以下流程推进：受理、完整性检查、试运行、锁定运行、独立重算、敏感性分析和例外审查。试运行在非计分项上验证流程管道。锁定运行使用受控工件并生成不可变日志。任何重新运行都应保留原始输出及原因。

团队应区分可复现性与复制验证。复现可以指使用卖方的工件和方法获得结果。复制验证可以用独立构建的数据或方法检验底层主张。完善的尽职调查计划可能需要两者，尤其是当公开基准存在暴露风险或商业总体不同时。

决策规则和允许的变更在计分运行前确定。

表 3. 复现协议门控

每个关卡为下一项交易决策提供证据。

13. 在存在暴露风险时使用盲测与隔离评估

盲测限制被评估方接触标签、预期输出或最终测试项的权限。隔离测试将数据保存在受控环境中，并可防止其被纳入未来训练。NIST 的 AI 技术评估计划使用盲数据和隔离环境，以降低污染风险并提高可比性。交易团队可将这一原则应用于重大声明。

卖方可以提供容器或受控端点，由独立团队持有测试集。输入应反映约定的总体范围，流程应记录输出、拒答、错误、耗时和资源使用情况。安全控制应防止通过日志、工具或模型更新造成数据外泄。协议还应防止在执行过程中通过非正式反馈造成评估方信息泄露。

新数据不会自动形成公平的测试。条目质量、难度和标注都需要审核。在可能的情况下，可在锁定评分集之前共同审查一个校准子集。争议应遵循预定义的裁决流程，该流程应保留盲评决策并避免选择性重新标注。

14. 在有意义的运行条件下测试稳健性

单一分数所描述的只是更大运行空间中的一个点。稳健性测试会改变语言、地域、用户专业水平、输入质量、文档长度、类别占比、对抗行为、时间压力、工具故障和系统负载。这些变化应反映客户与监管敞口，而不是任意扰动。

团队应区分优雅降级与断崖效应。随着文档噪声增加，模型性能可能温和下降，但一旦超出上下文或检索阈值便会突然失效。工作流可能保持准确，而延迟和成本却突破服务水平。这些转折点可驱动容量规划、合同条款和集成路线图。

稳健性主张需要附带不确定性和覆盖范围。测试所有条件是不可能的。报告应说明抽样区域、未测试的组合以及交割后所需的监测。当重大条件仍未测试时，买方可以通过分阶段部署、暂扣款、支持承诺或或有对价来保护价值。

15. 与可信替代方案进行比较

差异化需要一个买方或客户实际可用的比较对象。这可能包括现有产品、开源模型、商业 API、专业供应商、人工工作流或更简单的统计方法。比较对象应获得合理的优化，并采用相同的数据、指标、硬件边界和服务要求。刻意弱化的基线会夸大优势。

测试还应将模型价值与系统价值区分开来。即使底层模型可被替代，目标公司仍可能通过专有数据、工作流集成、反馈循环、分销渠道或专家运营创造更优结果。反过来，如果产品缺乏数据权利、客户采用情况或单位经济性，领先的模型分数也只能创造有限的商业价值。

比较对象的可用性可能迅速变化。交易方案应包含签署至交割期间以及交割后的更新触发条件。可获取替代方案的重大改进可能改变预测定价、资本要求或专有技术的价值。协议和审批流程应界定如何评估此类变化。

16. 将统计显著性与经济显著性相协调

具有统计显著差异的结果可能在经济学上无关紧要，而经济上严重的风险在小样本中可能在统计上仍不确定。尽职调查团队应界定会改变客户价值、成本、安全、合同履行或估值的最小效应。样本设计应旨在可行情况下分辨该效应。

决策分析可以结合效应估计、不确定性和后果。高频低成本错误可通过运营管理，而罕见严重故障可能需要有针对性的压力测试和控制。团队应避免将所有维度转换为一个不透明的分数。在进行任何加权之前，质量、安全、延迟、成本和人工投入都应保持可见。

在证据仍然薄弱的情况下，交易处理可以直接反映不确定性。价格区间、或有支付、保证、契约、分阶段投资和交割条件，可以比缺乏支持的概率调整更透明地分配风险。董事会应了解所选机制如何应对已观察到的证据缺口。

17. 将实验室质量与生产绩效相衔接

生产环境会引入流量构成、不完善输入、用户适应、检索漂移、工具中断、安全控制、监测、人工升级以及模型变化。尽职调查团队应建立从基准质量到端到端任务成功的衔接。每个步骤都应明确证据、损失、成本和责任人。

影子测试可以重放或镜像具有代表性的生产案例，同时不允许候选系统控制真实结果。有限试点可在约定的保障措施下测试实时工作流和用户行为。历史回测可以增加规模，但可能遗漏不断变化的分布和反馈效应。最强证据通常来自多种方法的结合。

这一衔接应使模型层面的指标与客户及财务指标相协调：成功任务、周期时间、返工、升级、留存、价格、服务补偿、算力和人工。模型可以提高准确性，却因昂贵的推理或审核而降低毛利率。当较低的总分在目标工作流中可靠、快速且经济时，反而可以创造更多价值。

报告的基准质量在转化为客户与现金成果之前，会因分销、工作流和运营效应而下降。

表4. 生产差距证据桥接表

每个层面都将技术绩效转化为运营和财务结果。

18. 重构推理与支持的经济性

单位经济性应按每个成功的客户成果来衡量。成本构成可以包括模型调用、加速器算力时间、检索、存储、网络、第三方工具、可观测性、安全、重试、人工审核、支持以及分摊的平台成本。合同最低量和预留容量可能在利用率较低时仍产生成本。

质量与成本相互影响。较小的模型可以降低推理费用，但会增加错误和审核。较大的模型可以提高一次通过质量，同时提高延迟和供应商集中度。当路由将每项任务发送到满足所需阈值的最低成本系统时，它可以创造价值。因此，基准测试应报告质量-成本前沿，而不是某一配置下的单一分数。

预测应使用观测到的分布和容量约束。批量折扣、硬件价格和模型效率可能改善，而客户组合、上下文长度和服务预期可能推高成本。情景应保留两个方向。未经核实的未来效率应作为管理层估计，直到得到合同支持或被工程实践证明。

19. 审查基准测试治理与激励

买方应了解每项评估由谁设计、执行、审查和批准。研究人员、创始人、销售团队和顾问可能面临展示有利结果的激励。通过分离角色、预注册规则、保留原始输出以及由未提出该主张的人员进行审查，可以增强独立性。

不利运行之后发生的变更尤其值得关注。有些变更纠正了真实错误；另一些则缩小样本总体、替换指标或排除失败。日志应保留原始结果、原因、审批人及其影响。反复进行无记录的重跑或缺失原始输出，即使后来的分数看似合理，也会削弱依赖程度。

董事会应以通俗语言收到重大局限性。技术附录无法弥补一个暗示比证据支持更广泛表现的标题性表述。治理还应界定谁可以作出公开、客户或交易陈述，以及这些陈述如何与经过验证的结果保持一致。

20. 评估第三方基准测试与认证证据

当其范围、方法、能力和独立性符合相关主张时，独立评估、审计和认证可以增强证据。尽职调查团队应获取实际报告、受测版本、期间、排除项和发现。一个标识或证书可能涵盖信息安全管理，但对模型质量说明甚少。

团队应审查原始证据的可获取性、抽样、可复现性、利益冲突、依赖措辞，以及评估者是测试了产品还是接受了管理层陈述。标准可以支持一致的控制，但不能证明商业预测可实现。保证应映射到交易主张，而不是被视为通用徽章。

当目标公司依赖基准测试组织者时，买方应审查规则、提交限制、测试保密性、硬件披露和审计机制。MLCommons 及其他基准测试机构会针对特定计划发布规则。适用版本和类别很重要。尽职调查报告应避免合并不同规则下生成的分数。

21. 评估监管与合同相关性

AI 评估义务因角色、司法管辖区和用途而异。欧盟委员会关于通用 AI 的指南解释了《AI 法案》下的文档和评估预期，包括对具有系统性风险的模型的额外义务。英国政府指南将 AI 保证描述为一套支持评估和风险沟通的机制。行业监管机构和客户合同可能施加额外要求。

交易团队应梳理提供者、部署者、进口者和分销者角色；预期用途；高风险或安全相关性；以及地理覆盖范围。技术结果应与所需文档、监控、事件响应和人工监督相衔接。合格法律顾问应解释适用法律和执法日期。

合同可能规定验收测试、服务水平、审计权、模型变更控制、数据限制、保证和救济。买方应将尽职调查测试与这些承诺进行比较。若基准测试排除了客户保证所涵盖的确切情形，即使平均分数很高，也可能产生隐性风险敞口。

22. 测试安全性和对抗性能

一个 AI 产品可能在普通用例上表现良好，却仍然容易受到提示注入、数据投毒、模型提取、工具滥用、不安全输出或拒绝服务的影响。安全测试应反映架构和威胁模型。英国国家网络安全中心的 AI 安全开发指南以及 NIST 的 AI 风险管理资源提供了有用的控制锚点。

基准环境应保留系统边界。沙盒化的模型质量测试并不能确立检索、插件、智能体、凭据或部署基础设施的安全性。红队和对抗性结果应说明范围、访问权限、成功标准、缓解措施和剩余风险。演示一次攻击并不能衡量所有暴露面。

交易后果可能包括补救成本、部署延迟、客户通知、保险限制、合同违约和监管沟通。买方应将重大发现与交割计划、保证、托管、投资预算和运营权限联系起来。安全证据应继续受到保护，并按需知悉原则共享。

23. 将评估代码视为交易关键软件

评估代码可能通过解析、答案匹配、超时处理、随机化、数据加载和汇总来改变结果。它应接受与其他交易关键计算相当的代码审查、测试和版本控制。审查人员应通过评分器运行已知正例和反例，并确认失败被正确体现。

依赖项可能引入漂移。库更新可能改变分词、数值行为或默认参数。环境清单应包括包版本和平台详细信息。在系统支持确定性的情况下，种子可提高可追溯性，而随机输出可能仍需重复运行。

生成的评估代码可以加速测试创建，但应经过检查和验证。机器辅助可以检测重复项、不一致标签和异常评分模式。它不能确定某项指标代表客户价值。方法学责任仍由合格审查人员承担。

24. 将客户证据与基准证据核对

客户使用情况、续约、投诉和实际结果提供了不同的证据层。团队应将基准分层与客户群体、工作流程和支持记录进行比较。尽管公开评分一般，强劲的客户留存可能验证产品价值。领先的基准评分可能与有限采用或繁重服务工作并存。

推荐人和案例研究需要核实。在获得许可的情况下，买方应检查合同、发票、使用日志和约定的结果衡量指标。客户访谈应区分产品能力与创始人参与、定制工程和价格让步。少数成熟客户的集中使用可能无法推广到更广泛市场。

该衔接分析应识别哪项基准指标可预测续约、扩展、价格或成本。小历史样本中的相关性是有限证据。预测应保留不确定性，并在交割后监测该关系。当客户结果数据与基准相矛盾时，团队应先调查测量方法、总体和工作流程，再选择采信其中一种说法。

25. 识别签署至交割期间的基准漂移

AI 系统、竞争对手和公开基准可能在交易期间发生变化。目标公司可能发布新模型、更换第三方提供商或更改产品栈。公开测试集可能变得更易暴露。协议应界定允许的正常业务过程变更、通知、证据保全和重新测试触发条件。

买方应保全已签署的配置并监控生产配置。新版本获得更高评分并不能消除过渡、许可、成本或可靠性风险。较低评分可能反映了一项安全控制或更便宜但提升总价值的运行点。应从质量、成本、安全、合规和客户影响方面评估变更。

交割条件可以聚焦于具体交付成果、访问权限或补救措施，而不是泛泛承诺技术仍令人满意。重大性和救济需要由法律起草。尽职调查框架为该项工作提供证据和门槛。

26. 将可复现性差距转化为估值

可复现性差距是指所声称的经济论证与受控证据支持的经济论证之间的差异。它可能源于质量较低、成本较高、部署较慢、可服务用途更窄、额外补救或耐久性较弱。估值桥接应识别每一种机制，而不是施加任意的折价。

收入可能因转化、留存、价格和合格客户群体而变化。利润率可能因推理、审核、支持和基础设施而变化。资本需求可能因补救、数据获取和部署而变化。时机会影响现值和融资。情景区间应避免将单一证据缺口在多个项目上重复计算。

买方可以将战略期权价值与承销价值分开保留。一项有前景的能力可能证明继续投资是合理的，但并不能支撑与已复现的生产成果相同的购买价格。董事会应看到这两类价值以及能够将期权价值转化为承销价值的里程碑。

27. 通过交易条款分配风险

条款可以回应签约前无法解决的证据问题。或有对价可以将付款与独立计量的客户、业绩或利润率结果挂钩。保证条款可以针对已披露基准记录的准确性、工件完整性或不存在未披露的人工干预。契约可以保全系统并要求提供测试访问权限。

用于合同目的的指标需要精确。协议应明确系统、群体、测试管理员、环境、计算方式、不确定性、例外情形、变更控制和争议流程。公开排行榜排名对于盈利支付安排而言往往过于易变。付费使用、续约或毛利润等运营结果可能更具持久性，不过它们会引入其他依赖因素。

救济应当相称且可执行。法律顾问、税务和会计顾问应评估处理方式。技术团队应提供事实和可复现的方法，不应在其专业范围之外进行起草。

28. 保护融资论证

贷款人和信贷委员会可能依赖受 AI 声明影响的预测收入、利润率、现金流和资本支出。融资模型应使用有证据支持的论证，并测试复现延迟或失败、客户流失、补救、供应商价格变化和额外算力。债务容量应保持与战略上行空间可区分。

信息承诺可以要求报告重大模型变更、服务故障、监管事件和客户集中度。担保方案和契约很少能弥补尚未得到证据支持的产品论点。买方应评估在验证和补救该系统所需期间内的流动性。

强有力的基准可以支撑信心，但其本身并不创造现金。信贷论证应将测试结果与合同收入、回款、毛利率、营运资金和投资进行勾稽。这可保护交易和被收购业务，避免其依赖假设实验室成果可立即转化为市场成果的运营计划。

29. 示例：一项假设的 AI 工作流收购

假设一位假设性买方评估一家 AI 文档工作流公司。管理层报告在公开任务集上得分为 92，延迟中位数为两秒，毛利率为 78%。预测假设基于质量领先的企业业务扩张。这些数字是说明性假设，并不描述任何公司或交易。

证据图谱识别出一个未披露的提示词库、经过修改的测试集划分以及排除超时案例的做法。受控复现得到87分的示意性得分。一个代表客户文档的全新盲测集得到81分，在长文本和多语言输入上表现较弱。在预测业务量下，计入重试、人工审核和分摊推理成本后，示意性毛利率降至66%。

买方不将该结果视为单一折扣。它会重新构建合格收入、留存率、支持能力、算力和补救措施。在一个示意性情景下，有证据支持的独立价值比初始方案低18%。各方可以通过价格、与付费生产成果挂钩的或有对价、补救契约和保留技术支持来应对。实际处理方式将取决于证据、谈判和专业意见。

随着商业重要性和证据薄弱程度上升，交易处理力度会增强。

表5. 对基准证据的交易响应

答复应说明该缺口影响价值的机制。

30. 将证据纳入整合计划

基准登记册应在交割后继续存续。整合负责人需要冻结的系统、未解决的缺口、整改措施、模拟客户的测试套件、成本模型、监控阈值以及模型变更的审批权。变更后重复进行尽职调查测试，可在估值与运营之间建立连续性。

最初一百天可优先处理重大证据缺口和依赖关系。工作可能包括确保数据权利、加固评估基础设施、减少人工复核、谈判供应商条款、提升长上下文性能或建立客户成果衡量。每项行动都应与交易案例和预算挂钩。

买方应避免未经审查就将尽职调查基准变成永久性产品目标。市场、系统和客户需求会变化。持久资产是一套受治理的评估流程，它能在更新测试的同时保留溯源关系和决策历史。

31. 监控交割后漂移，而不重写基线

交割后报告应将实际表现与签约时的证据案例进行比较。团队可以更新预测，同时保留原始基准、假设和交易处理方式。这可防止有利的重定基准掩盖投资论点是否已实现。

监控可包括数据分布偏移、分群组质量、安全事件、延迟、成本、人工复核、客户成果以及模型或供应商变更。阈值应触发调查和可问责的决策。统计警报需要运营层面的解读；小幅波动可能是噪声，而稳定的平均值可能掩盖群组恶化。

观察到的差异应改进未来的尽职调查。买方可以记录哪些签署前测试预测了生产环境表现、哪些缺口具有财务影响，以及哪些控制措施降低了不确定性。敏感信息应继续受到治理，并在适当情况下匿名化。

32. 使方法适配受监管和高后果行业

金融服务、医疗、能源、基础设施和公共部门的使用可能需要行业特定样本群体、错误成本、可解释性、人工监督、韧性和文档记录。通用基准应辅以反映适用决策和用户的测试。合格专家应界定监管和专业要求。

在信贷或保险领域，类别流行率、公平性、不利结果和模型变更可能很重要。在医疗领域，临床相关性、站点差异和人因可能占主导。在工业系统中，传感器漂移、环境条件和安全回退可能比公开准确率评分更重要。在法律或合规工作流中，引文有效性、保密性和复核负担可能决定价值。

通用框架保持不变：识别主张、保全证据材料、界定总体、复现结果、测试生产条件，并将证据与交易处理相衔接。行业适配改变的是测试和后果，而不是可追溯性的必要性。

33. 保护保密性、隐私和知识产权

基准测试尽职调查可能暴露模型权重、代码、客户数据、商业秘密和安全信息。清洁团队协议应界定允许的用户、环境、传输、输出、保留和销毁。合成数据或去标识化数据可以降低暴露风险，但可能改变总体，并应经过验证。

标的公司应证明其对数据集、标签、基准测试内容和评估工具拥有权利。开放许可证可能包含署名、再分发或使用条件。客户合同可能限制二次测试或控制权变更时的转让。法律顾问应评估具体权利和救济措施。

买方还应保护自身的测试设计和战略阈值。披露封存数据集可能破坏未来价值。受控执行、审计日志和分区访问有助于保持完整性，同时不妨碍适当的卖方审查和争议解决。

34. 管控尽职调查过程中的机器辅助

机器辅助可以清点证据材料、比较版本、检测可能的重叠、对错误进行聚类、生成测试变体、执行测试框架并准备敏感性分析。每项输出都应保留来源链接、代码版本和复核人决定。自动化在提高覆盖率和可追溯性时最为有用。

尽职调查系统本身可能引入错误。生成的测试项可能有歧义，合成标签可能有误，语义匹配可能高估污染，自动评分可能误读有效输出。需要验证集、人工复核和异常日志。重大决策不应依赖未经测试的工具产生的不透明汇总结果。

访问和保密控制适用于辅助模型。将标的代码或客户记录发送到外部服务可能违反义务。团队应使用经批准的环境，并记录提供商、保留设置和数据流。安全和法律复核人员应批准敏感用途。

35. 围绕证据缺口构建董事会决策包

董事会决策包应展示所主张的结果、复现结果、生产环境衔接、不确定性、商业关联和未解决的局限。应识别预测收入、利润率和价值在多大程度上依赖每项重大主张。简明热力图可将证据薄弱环节和财务敞口与拟议决策关联起来。

问题应包括：受测系统能否迁移、数据是否反映合同约定用途、污染是否已得到限定、是否测试了替代方案、单位经济效益是否涵盖全部工作，以及融资方案能否在不利情形下成立。回答应关联已保全的证据材料，而不是无依据的保证。

批准应说明哪些主张支撑价格、哪些仍为可选、哪些条款分配风险、交割前必须发生什么，以及谁负责交割后验证。新信息一旦超过约定阈值，应触发重新批准。

36. 运行可重复的基准测试尽职调查协议

可重复的协议包含六个阶段：主张接收、证据图谱、证据材料冻结、预注册测试、商业桥接和交易决策。每个阶段都有明确负责人、证据截止时点、例外流程和输出。交易团队可根据重要性调整深度，同时保持相同的控制结构。

流程指标可以包括可追溯至原始证据的声明、接收时缺失的产物、泄漏发现、复现分数差异、生产差距驱动因素、锁定后的例外事项、已耗时间以及价值假设变化。这些指标反映尽职调查质量和工 作量。它们不能证明某项测试导致了交易结果。

采用可以从少数能驱动大部分价值的声明开始。买方可以先冻结所声称的系统，复现一项重要测试，运行具有代表性的盲测集，并重建单位经济模型，然后再投资于通用平台。机构能力通过留存的协议、测试套件、评审人员和交割后反馈而增长。结果是形成从技术断言到可问责的价格、合同和整合决策的更快速路径。

该协议还应定义停止规则。当额外测试能够改变价格、风险分配、融资、交割准备或整合预算时，它才具有价值。当重大决策在约定不确定性范围内得到支持，或当剩余不确定性通过条款和交割后控制得到更有效分配时，测试可以停止。尽职调查负责人应记录该判断、仍然缺失的证据以及接受剩余风险敞口的人员。这可防止开放式技术工作在不改善决策的情况下拖延交易。

可重复性还取决于维护受控的基准库。测试集应带有负责人、预期用途、访问分类、暴露历史、刷新日期和退役规则。公开条目仍可用于可比性，而全新且类客户的测试集可为迁移提供更强证据。该库应记录哪些系统已见过每个条目，以便未来团队不会将已暴露的测试误认为盲测。这种运营纪律可在跨交易中保护评估资产的价值。

结论

AI 基准尽职调查应将报告的分数视为证据流程的起点。可供决策的声明将已识别系统、适当总体、受控协议、可重新计算的指标和不确定性与一项商业假设联系起来。泄漏、选择、执行条件和生产经济性必须保持可见。

受控复现可以确定报告结果在披露方法下是否仍然成立。全新盲测和类生产评估可以为泛化能力和客户价值提供更强证据。二者都不能消除超出采样条件的不确定性。董事会应看到剩余差距及其影响收入、利润率、资本、时点和风险的机制。

基准证据图谱、预注册协议和生产桥接为交易团队提供可重复的方法。它们还使各方能够通过价格、或有对价、保证、条件、资金和整合行动来分配未解决风险。机器辅助可以在这一受治理流程内提高覆盖范围和速度。

目标是形成一份可从声明追溯到现金的收购论证。这种纪律支持更可信的估值、融资和交割后问责，尤其是在 AI 表现构成价值重要部分的交易中。

参考文献

1. 美国国家标准与技术研究院。AI 风险管理框架。 https://www.nist.gov/itl/ai-risk-management-framework
2. 美国国家标准与技术研究院。《人工智能风险管理框架：生成式人工智能概况》，NIST AI 600-1。 https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
3. 美国国家标准与技术研究院。AI RMF 操作手册。 https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-rmf-playbook
4. 美国国家标准与技术研究院。AI 技术评估概述。 https://pages.nist.gov/ai-technology-evaluation/
5. 美国国家标准与技术研究院。《迈向自动化基准评估的最佳实践》。 https://www.nist.gov/news-events/news/2026/01/towards-best-practices-automated-benchmark-evaluations
6. 美国国家标准与技术研究院。《以统计模型扩展 AI 评估工具箱》，NIST AI 800-3。 https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.800-3.pdf
7. 美国国家标准与技术研究院。《评估 AI 的风险与影响》，ARIA 计划配套文件。 https://ai-challenges.nist.gov/aria/docs/ARIA_Program_Companion_Document_Dec20.pdf
8. 英国政府。AI 保障简介。 https://www.gov.uk/government/publications/introduction-to-ai-assurance/introduction-to-ai-assurance
9. 英国政府。AI 保障技术组合。 https://www.gov.uk/guidance/portfolio-of-ai-assurance-techniques
10. 英国政府。《负责任 AI 工具包》。 https://www.gov.uk/government/collections/responsible-ai-toolkit
11. 英国国家网络安全中心。安全开发 AI 系统的指南。 https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development
12. 欧盟委员会。AI 法案下通用 AI 的义务。 https://digital-strategy.ec.europa.eu/en/factpages/general-purpose-ai-obligations-under-ai-act
13. 欧盟委员会。关于通用 AI 提供商义务的指南。 https://digital-strategy.ec.europa.eu/en/faqs/guidelines-obligations-general-purpose-ai-providers
14. 欧盟委员会。《关于通用 AI 模型提供者义务范围的指南》。 https://digital-strategy.ec.europa.eu/en/library/guidelines-scope-obligations-providers-general-purpose-ai-models-under-ai-act
15. 欧盟委员会。通用 AI 行为准则。 https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
16. 欧盟。规定人工智能统一规则的 (EU) 2024/1689 号条例。 https://eur-lex.europa.eu/eli/reg/2024/1689/oj
17. UAE 中央银行。《消费者保护与负责任采用和使用人工智能指导说明》。 https://rulebook.centralbank.ae/en/rulebook/guidance-note-consumer-protection-and-responsible-adoption-and-use-artificial-intelligence
18. 经济合作与发展组织。经合组织 AI 原则。 https://oecd.ai/en/ai-principles
19. 国际标准化组织。ISO/IEC 42001 人工智能管理体系。 https://www.iso.org/standard/81230.html
20. 国际标准化组织。ISO/IEC 23894 人工智能风险管理指南。 https://www.iso.org/standard/77304.html
21. MLCommons。MLPerf 政策与结果。 https://mlcommons.org/benchmarks/
22. 竞争与市场管理局。合并评估指南。 https://www.gov.uk/government/publications/merger-assessment-guidelines
23. 美国司法部与联邦贸易委员会。2023 年合并指南。 https://www.justice.gov/atr/2023-merger-guidelines
24. IFRS基金会。IFRS 3 企业合并。 https://www.ifrs.org/issued-standards/list-of-standards/ifrs-3-business-combinations/
25. 美国公众公司会计监督委员会。AS 2501：审计会计估计，包括公允价值计量。 https://pcaobus.org/oversight/standards/auditing-standards/details/AS2501