评分与结论
梦想国际AI为什么不能把"合规评分95分"翻译成"这笔交易95%合法"?
合规评分是对多项信号的量化汇总,反映的是系统识别到的风险信号强弱;法律结论回答的是另一个问题——一组具体事实是否满足某条规则的构成要件。两者性质不同,不能通过换算互相替代。
把一个综合评分拆回它的输入信号、每项信号的来源和权重,是核实这个分数到底代表什么的第一步。
合规评分系统给出的"95分",通常不是凭空产生的单一判断,而是把多项相互独立的信号按权重汇总之后得到的一个数字。常见的输入信号包括:制裁名单与关注名单的筛查命中情况、交易双方所在司法辖区的整体风险等级、历史交易模式中是否存在异常波动或异常路径,以及尽调档案中所要求文件的完整程度。每一项信号本身,往往先被转换成一个0到100之间的子分数,再按照预先设定的权重加总,最终呈现为一个总分。分数越高,通常代表系统识别到的风险信号越少、越弱;但这套计算逻辑从设计的第一步开始,回答的问题就是"这笔交易的风险信号密度大致处于什么水平",而不是"这笔交易在法律上是否合法"。
法律结论是另一种性质完全不同的判断。它通常需要先固定一组具体事实,再把这组事实对照一条或多条规则的构成要件逐项检验,很多时候得到的不是一个连续的百分比,而是一个相对明确、有时甚至是二元的判断——某个条件成立或者不成立、某项义务触发或者未触发。规则的构成要件里,经常包含无法被量化评分直接捕捉的判断,例如某个法律概念在具体情境下应当如何解释、某项披露是否达到"充分"的门槛、某种关系是否构成法律意义上的"控制"。这些问题没有天然的数值刻度,也不会因为其他信号表现良好而被自动稀释或抵消。
合规评分回答的是"风险信号密度大致处于什么水平",法律结论回答的是"这组具体事实是否满足某条规则的构成要件",两者是不同种类的问题,不能通过换算互相替代。
一个具体的例子可以说明两者为什么会同时成立、却指向不同方向。设想一笔跨境股权交易,制裁名单筛查全部未命中,交易双方历史记录良好,涉及金额与行业风险等级均处于系统认为的低风险区间,尽调文件也基本齐全——综合计算后的合规评分可能达到95分。但与此同时,交易对手一方的最终受益所有人链条中,存在一层通过多个离岸主体逐级持股的结构,其中某一层的持股比例披露文件相互之间存在细微出入,不同文件对最终受益人的认定并不完全一致。这个问题不属于评分模型采集的任何一项输入信号,因此不会拉低总分;但如果适用规则要求交易前必须准确识别最终受益所有人,这个尚未解决的事实缺口,恰恰是决定这笔交易能否被认定符合特定规则的关键点,而这一点完全可能被淹没在一个看起来很高的总分背后。
评分模型的权重设置本身,也包含大量需要人为选择的参数:某一类筛查命中应当扣多少分、某个司法辖区的风险等级应当如何划定档位、多久没有更新的尽调文件应当被视为"文件不完整"。这些参数的取值会直接影响最终分数——同一组基础事实,换一套权重设置,完全可能从90分变成70分。这说明合规评分本身是一种建模选择的产物,而不是对"是否合法"这一问题的客观测量;即便模型开发方对权重设置做出了审慎的方法论判断,这套判断依然停留在方法论层面,不构成法律意义上的定论,也不应被当作定论使用。
这个逻辑反过来同样成立:一笔评分只有40分的交易,也不等于这笔交易在法律上必然存在问题。低分可能只是意味着系统识别到的风险信号数量偏多——例如交易对手所在司法辖区被系统归入较高风险类别、部分尽调文件尚未更新——这些都是需要进一步核实的线索,而不是既定结论。梦想国际大模型对偏高与偏低的评分采取同样的处理方式:把导致该分数的具体信号逐项列出,交由专业人员判断这些信号是否真正指向实质问题,而不是让分数本身替使用者做出"高分即放行、低分即拒绝"的二元决定。
梦想国际大模型在处理这类问题时,不会把综合评分包装成一句"这笔交易大致合法"的结论,也不会用百分比语言替代规则适用的判断过程。系统给出评分的同时,会尝试把评分背后的具体信号来源分别列出,并单独标注评分模型没有覆盖、但根据检索到的规则可能同样重要的事实缺口——例如上述受益所有权链条的披露不一致——作为需要专业人员进一步确认的事项,而不是把它悄悄归并进总分,让使用者误以为高分已经等同于问题已经排除。
这也是为什么,任何一款合规工具给出的量化分数,都建议被当作"排查优先级的参考依据"来使用,而不是"最终判断的替代物"。分数可以帮助团队决定先审查哪些交易、投入多少复核资源,但分数达到多高,都不构成对具体交易是否合法、是否合规的确定性结论;这个判断,仍然需要交由熟悉相应规则、并且掌握完整事实的专业人员完成。
法规版本
梦想国际大模型已经拥有百万条法规以后,为什么"当前有效版本"可能比法规数量更重要?
检索到大量法规条文,并不代表这些条文都处于现行有效状态。索引覆盖范围解决的是"能不能找到",版本状态管理解决的是"找到的这一份现在是否仍然算数",两者是不同的问题。
同一条规则在不同时间点,可能处于现行有效、已修订、仍为草案或已被废止这四种状态中的任意一种。
法律大模型评估体系里,最容易被当作核心指标的数字,往往是"索引了多少条法规""覆盖了多少个司法辖区""收录了多少份官方文件"。这些数字确实重要——它们说明检索系统能不能在需要的时候,从海量文本里找到与问题相关的那一份或几份文件。但"能不能找到"和"找到的这份文件现在是否仍然代表规则原文",是两个独立的问题:前者依赖检索系统的覆盖范围和排序能力,后者依赖一套持续更新的版本状态标注。拥有百万条法规的系统,如果没有为每一条法规维护当前状态,检索能力再强,也无法保证给出的答案反映的是"现在"的规则,而不是"曾经"的规则。
法规的生命周期,通常可以粗略划分为几种状态:现行有效(Current)、已修订(Amended)、仍为草案(Draft)、已被废止(Repealed)。以一项假设的跨境数据传输规定为例:该规定最初发布时是一份征求意见的草案,经过一段公开评议期后正式生效,进入现行有效状态;一段时间后,监管机构出于某项新的政策考虑,对其中关于传输前置评估流程的条款做出修订,原条款进入已修订状态,修订后的新条款成为现行有效版本;如果未来监管框架被整体替换,最初生效的这个版本还可能进一步进入已被废止状态,仅具有历史参考价值。在这条时间线上的任意一个时间点提出同一个问题,得到的"正确答案"都可能不完全一样,这正是法规版本管理要处理的核心问题。
从索引规模的角度看,"当前版本过滤"缺失带来的风险,反而会随着索引法规数量的增加而放大,而不是被稀释。一套只收录几百份文件的系统,即便缺少版本管理,出错的范围也有限;但当索引规模扩展到百万级别、覆盖数十个司法辖区,而每个司法辖区又存在多轮修订历史时,同一项规则在库中可能同时存在三到四个不同时期的版本文本。如果检索排序仅依据文本与查询之间的语义相似度,越是被反复讨论、修订次数越多的高关注度规则,库中堆积的历史版本也越多,检索到旧版本的概率反而可能更高,而不是随着数据规模扩大而自然降低。
检索系统能不能找到一份文件,和这份文件现在是否仍然代表规则原文,是两个独立的问题;前者靠覆盖范围,后者靠版本状态标注。
一次监管修订不只是替换了条文文字,通常还会连带影响企业内部依据旧规则设计的具体流程。
维护版本状态,还需要处理跨层级规则之间的联动关系:一国上位法完成修订之后,其下位的实施细则或行业指引往往需要一段时间才能完成相应更新。这段过渡期内,上位规则已经进入已修订状态,但部分下位文件可能仍处于对应旧版本的现行有效状态,两者暂时并存、且各自都真实有效。法律大模型在这种情况下,需要同时呈现这两层规则各自的当前状态,标注两者之间可能存在的衔接空档,而不是简单地用其中一层的状态覆盖另一层,避免让使用者误以为下位细则已经随上位法自动同步更新。
一套缺少"当前版本过滤"环节的法律RAG系统,风险恰恰在于它可以做到"完全准确地引用一段已经不再适用的条文"。检索阶段,系统只是根据语义相似度或关键词匹配,在索引库里找出与查询最相关的文本片段;如果索引库里同时存放着同一项规则的多个历史版本,而排序机制没有把"当前状态"作为筛选或加权依据,检索结果里出现的完全可能是修订之前的旧条款——文字摘录一字不差,出处标注也清清楚楚,但描述的规则已经不是现在生效的版本。这种情况比"编造一条根本不存在的法规"更难被发现,因为答案的每一个细节单独核实都是真实的,唯独"现在是否仍然有效"这一项没有被确认,使用者很容易因为出处看起来齐全而放松警惕。
因此,梦想国际大模型把"当前版本过滤"作为检索流程中独立于关键词匹配和语义排序的一道单独工序:系统为库中的每一份文件维护状态标签与生效区间,在生成引用之前,先核对该文件对应条款在提问所指的时间点是否处于现行有效状态,同时保留修订历史,以便需要追溯适用旧版本规则的场景——例如处理发生在修订之前的历史交易——可以准确定位到当时有效的文本,而不是被新版本覆盖或混淆。对使用者而言,这意味着法律AI给出的每一条引用,除了内容和出处,还应当附带状态标签,并注明该状态是在何时确认的;如果一项规则被标注为"已修订"或"草案",界面会同时提示当前展示的可能不是完整适用的现行文本,需要结合具体时间点重新核对,而不是把索引库里能找到的第一条相关结果直接当作答案呈现。
检索与适用
法律AI引用了官方来源以后,为什么专业人员仍然必须检查模型到底怎样把规则应用到了事实?
"检索到正确的规则"和"把规则正确适用到具体事实",依赖完全不同的能力。模型可以在前一步表现优秀,同时在后一步出现细微但影响结论的偏差。
规则检索这一段流程,解决的是"这条规则是否存在、是否现行有效",还没有回答规则和具体事实之间的关系。
"检索到正确的规则"和"把规则正确适用到具体事实",是法律推理链条上前后相继、但依赖完全不同能力的两个环节。规则检索要解决的问题是:在浩如烟海的法规、指引、监管问答和官方文件中,找到与当前问题主题相关、并且处于现行有效状态的那一份或几份文件——这更接近一个信息检索问题,依赖语义匹配、结构化标签和版本过滤等技术手段。规则适用要解决的问题则完全不同:这条规则写明的构成要件、适用主体、除外情形,逐一对照到眼前这份合同、这笔交易、这个具体情境的事实之后,到底是否满足、以什么方式满足。这一步更接近法律推理,需要准确理解事实细节,并把事实与规则条款做逐项映射,任何一处映射错误都可能改变最终得到的结果。
一套检索能力很强的系统,完全可能在规则适用这一步出现细微但影响结论的错误。常见的错误类型包括:把规则中某个定义术语适用的主体范围理解错——例如一条义务本来只约束"数据处理者",模型却把它套用到实际只承担"数据控制者"角色的一方身上;或者遗漏了规则生效的某个前提条件——例如一项披露义务只在交易金额超过某个门槛、或者交易双方存在特定关联关系时才触发,模型在总结时略过了这个前提,直接把义务套用到了并不满足门槛条件的情形上。这类错误不易被发现,因为模型引用的条款本身完全真实、现行有效,错误出现在"这条规则和眼前这组事实到底是不是同一回事"这一步的判断上,而不是出现在检索结果的真实性上。
规则检索解决"这条规则是否存在、是否现行有效",规则适用解决"这条规则和眼前这组事实是不是同一回事",模型在前一步表现优秀,不代表后一步同样可靠。
核对一条AI引用是否可靠,不只是看它是否真实存在,还要核对模型是否把它准确地映射到了具体事实上。
一个具体的例子:某跨境服务合同中约定,"若因供应商(Supplier)过失导致客户数据泄露,责任限制条款不适用"。合同定义条款里,"Supplier"被明确定义为签约提供服务的一方主体,而实际发生数据泄露的,是Supplier委托的一家分包商,分包商本身并未被合同定义为"Supplier"。如果模型在总结这条例外情形时,没有回头核对"Supplier"这个词在定义条款中的具体范围,很可能会想当然地把分包商的过失也计入"Supplier过失",进而得出"责任限制条款不适用"的初步判断——但如果合同文字确实把"Supplier"限定为签约主体本身,分包商的过失是否落入这条例外,其实是一个需要结合其他条款(例如"转委托"或"分包商责任"相关约定)才能回答的独立问题,检索到这条例外条款本身,并不能替代这一步核对。
另一种常见的适用错误,来自"并列触发条件"被整体略过。以出口合规为例,一项许可要求可能约定:当交易涉及某类特定物项、且最终用户位于特定名单所列国家或地区时,出口方需要在发货前取得许可。这条规则包含两个并列的触发条件——物项类型和最终用户所在地——只有两者同时成立,许可要求才被触发。如果模型在总结时只核对了物项类型是否匹配,却没有同步核实最终用户所在地这一项,就可能把一笔实际上并不满足许可触发条件的交易,错误地标记为"需要取得出口许可";也可能反过来,遗漏掉一笔两个条件确实同时成立、理应取得许可的交易。两个方向的错误,都源于同一个原因:模型准确检索到了规则文本,却没有把规则里"且"这个逻辑关系,完整地映射到具体交易涉及的两项独立事实上。
正因为这两个环节依赖不同的能力,梦想国际大模型在给出带引用的答案之后,会把"这条规则说了什么"和"这条规则如何映射到你提供的具体事实"分别呈现,并在事实映射部分明确标注模型依据了哪些已知事实、哪些细节尚未确认。专业人员核对模型输出时,除了确认引用的规则是否真实、是否现行有效,更重要的一步,是重新走一遍事实到规则的映射过程,检查模型有没有在定义范围、适用主体或触发条件上出现类似上述例子中的偏差。这一步核对工作,目前仍然依赖具备相应司法辖区资质的专业人员完成,梦想国际大模型的定位是把映射过程清楚地摆出来供核对,而不是替代这道核对本身。