规制AI生成虚假信息源头治理是关键

  pg电子新闻中心     |      2026-07-09 18:56

  技术发展速度快于监管适配能力的挑战将长期存在,法律治理应作出适应性与系统性的结构调整,向生态化、体系化和动态化转型——

规制AI生成虚假信息源头治理是关键(图1)

  □对根植于技术因素的生成式AI虚假信息进行源头治理具有必要性。一方面,这类虚假信息的生成与传播高度依赖技术,其源头治理具有与传统监管方法不同的技术相关性与可行性;另一方面,源头治理是全链条治理体系的起点,为后续治理环节的有效展开奠定基础。同时,源头治理并非限制技术,而是平衡技术效率、安全与质量,以规制促进创新。

  生成式人工智能(下称“生成式AI”)虚假信息是通过生成式AI技术生成的与客观事实不符的信息。此类信息既可能是人为指令生成的虚假内容,也可能是因技术性幻觉导致的信息失真,并以数字化文本、图像、音频、视频等形式呈现。它区别于传统虚假信息,是数据、模型与算法共同催生的新型风险样态。生成式AI虚假信息具有生成自动化、传播规模化、内容拟真化等特征,使传统治理模式难以适配治理需求,必须建立覆盖生成、传播与接收的全链条法律治理体系。其中,源头治理是关键环节。

  生成式AI虚假信息的源头成因主要体现在三个方面:训练数据存在错误、偏见且更新不足;模型基于词元概率生成内容,信息不足时会虚构不实内容;算法黑箱致使决策逻辑不可解释,虚假源头难以溯源。因此,对根植于技术因素的生成式AI虚假信息进行源头治理具有必要性。一方面,这类虚假信息的生成与传播高度依赖技术,其源头治理具有与传统监管方法不同的技术相关性与可行性;另一方面,源头治理是全链条治理体系的起点,为后续治理环节的有效展开奠定基础。同时,源头治理并非限制技术,而是通过强化准确性、透明度和稳健性等要求,平衡技术效率、安全与质量,以规制促进创新。

  训练数据是生成式AI的核心。生成式AI输出内容的准确性,本质上取决于训练数据的数量、质量和多样性。

  我国现已形成由《网络数据安全管理条例》等行政法规、《生成式人工智能服务管理暂行办法》等部门规章和《网络安全技术 生成式人工智能预训练和优化训练数据安全规范》(GB/T 45652-2025)等国家标准构成的训练数据治理体系。上述规范对训练数据提出三项核心要求,包括数据来源合法、数据质量保障和数据安全管理。第一,数据来源合法。训练过程中使用具有合法来源的数据,通过用户授权、版权核验和正规采购等方式,降低来源不明、遭篡改或投毒数据的引入风险。同时,合法来源有助于追溯责任,提高虚假信息传播成本。第二,数据质量保障。一方面,强调数据内容质量,提高训练数据的真实性和多样性。相关国家标准将“虚假有害信息”“违法不良信息”与“安全风险信息”作为数据来源筛选和内容过滤的重点对象。同时,要求通过关键词、分类模型和人工抽检等方式过滤如虚假有害信息等信息,检查如存在错误知识、隐含误导性、杜撰或篡改内容等内容。此外,《人工智能拟人化互动服务管理暂行办法》还从立法层面明确训练数据应符合社会主义核心价值观。另一方面,重视数据标注质量,要求标注内容的准确性。如《网络安全技术 生成式人工智能数据标注安全规范》(GB/T 45674—2025)进一步确定了标注核验规范与标注人员管理规定,通过区分功能性标注与安全性标注,并要求对安全性标注进行逐条核验,实现有效标注虚假有害信息等,提升模型训练和输出质量。第三,数据安全管理。这要求在数据采集、存储、传输和使用过程中采取加密、访问控制、安全检测等措施,以防止数据投毒、恶意篡改和敏感信息滥用等风险。同时,通过定期对数据进行优化更新或采取对抗训练等手段,提升内容生成服务的性能。

  针对训练数据治理,我国采取“原则性立法+技术性标准”模式,以立法予以合规底线规制,也预留企业采用国家推荐性标准的灵活空间,促进发展与合规并行。不过,我国现行规范在实际操作中仍面临诸多挑战。如训练数据的界定在相关立法、国家标准之间存在差异;现行立法中原则性与宣示性规定难以直接用于识别和处理训练数据中的虚假信息;对训练数据治理提出具体操作要求的国家标准均为推荐性标准,缺乏强制性约束等。

  对于未来训练数据治理的发展,以“数据可信、质量可控、安全可溯”为核心共识,可从三个方面进行优化:第一,探索训练数据来源的新模式,建立高质量专业数据库。应鼓励建设可信、高质量的数据集,例如政府、科研机构和专业行业等数据库,并通过税收减免、财政补贴、保险激励等方式降低企业获取高质量数据的成本。第二,发展“静态评估+动态监测”的双轨评估机制。除了训练前对数据真实性和合法性等进行审核,训练过程中也应通过对异常输出进行实时监测识别潜在风险。第三,加强数据溯源技术。利用区块链、数字水印等技术建立训练数据全生命周期记录体系,提高可追溯性和问责性。

  通过对AI生成内容的风险识别、评估、监测与处置等综合措施,可防范、减轻并化解生成式AI输出虚假信息风险。

  我国针对AI模型风险管理的规范已初具雏形。在“原则性立法+技术性标准”的模式下,立法予以直接约束主要体现为三类原则性要求:一是禁止设置违背主流价值观、违背伦理道德、含有违法不良信息的模型类型;二是在模型生成与优化过程中应采取措施防止歧视和违法内容的产生;三是要求特定主体承担模型安全评估义务,包括算法推荐服务提供者、深度合成服务提供者、技术支持者等。这三类规范所涉因素直接触及国家意识形态安全、社会公共利益及基本伦理道德底线,立法机关采取了优先守住风险底线,而非进行全方位穿透式监管的审慎态度。

  国家推荐性标准《网络安全技术 生成式人工智能服务安全基本要求》(GB/T 45654—2025),为AI模型风险管理提出了全面且具体的治理方案。在模型训练阶段,通过虚假有害信息测试题库建设、定期代码审计和模型微调等检测,降低模型生成虚假信息的概率,并防止后门攻击和数据投毒。在模型输出阶段,通过拒答机制等控制输出质量,并建立显式和隐式标识制度,实现生成内容可识别与可追溯。在模型运行阶段,通过实时监测、应急管理和模型更新机制,及时修复漏洞,防止诱导生成虚假内容的恶意攻击,提升模型对虚假有害信息等信息输入的免疫力。在模型环境管理方面,通过将训练环境与推理环境隔离,防止外部篡改等事件导致信息失真,提升系统安全性。

  当前,既有立法虽已初步勾勒出监管底色,并隐含了对模型风险的考量,但缺乏具有约束力和系统化的风险治理机制。对此,应进一步完善AI法治框架,实现向结构化治理范式跃迁。

  回归技术治理的本质,AI模型风险管理应覆盖四个关键阶段:一是在模型训练阶段,提高模型的稳健性和抗攻击能力,防止模型受对抗样本影响产生敏感度异常或因后门植入问题影响模型输出可靠性;二是在模型验证阶段,加强模型可解释性和验证真实性,避免验证形式化或虚假合规而使模型带有生成虚假信息倾向的隐患进入部署环节;三是在模型部署阶段,防止提示注入、接口攻击和功能滥用,避免模型被恶意利用生成虚假信息;四是在模型运行阶段,建立动态监测和日志记录体系,避免异常检测滞后、模型窃取或漂移利用,实现对生成式AI虚假信息的实时预警和快速追溯。

  AI提供者是开展训练数据治理和模型风险管理的核心主体,基于技术控制权和风险防控能力,其应当承担相应的主体责任。

  我国目前以生成式AI服务提供者承担统一主体责任。这种模式在产业发展初期有利于提高监管效率,但也存在明显问题:一是不同主体对训练数据和模型的控制能力不同,却承担统一的义务与责任,模糊了不同主体的角色与作用;二是立法中对不同主体的具体义务与责任的相关规范较为原则;三是现行AI立法主要从公法上规定主体义务与责任,尚未与民事责任体系实现充分衔接。

  针对主体责任界分,应重点关注三个方面。第一,建立技术性合规“避风港”。通过制定统一技术指标与标准,并将其纳入AI提供者主体责任的“避风港”规则,作为认定主体是否尽到合规义务的参考因素,明晰源头治理的主体责任。第二,建立差异化责任豁免机制。对于初创企业、非系统性风险的通用型人工智pg电子免费试玩平台能模型提供者等,可以适度减轻责任,或豁免并未造成重大损失的非故意轻微技术瑕疵,保护AI产业活力。第三,协调衔接行政责任与民事责任。杭州互联网法院在我国首例AI“幻觉”侵权案的判决中,首次界定生成式AI服务提供者的责任边界,确立以过错责任为核心的归责原则,并将行政层面的合规基准转化为民事层面的注意义务标准,为解决生成式AI虚假信息源头治理中的归责难题提供了极具参考价值的思路。同时,建立递进式注意义务标准,并实行场景化分级:一是对于如虚假有害信息等法律禁止生成的信息,应承担严格审查义务;二是对于一般生成式AI生成内容,应承担显著提示义务,提示生成式AI生成内容存在不准确的局限性;三是基本注意义务,是所有生成式AI服务提供者应为提高输出可靠性而采取措施,尽到合理注意的标准。此外,对于医疗、金融、教育等高风险领域,应承担更高标准的安全保障义务。

  通过精准合理的责任分配逻辑,确定各主体权责边界与注意义务梯度,平衡产业发展与权益保护的双重需求,有助于推动AI技术与应用向更加规范、透明、安全与普惠的方向稳步前行,促进构建公平、可信和可持续的数字治理生态系统。

  总体而言,生成式AI虚假信息治理是涉及技术、法律与价值的综合治理问题。技术发展速度快于监管适配能力的挑战将长期存在,法律治理应作出适应性与系统性的结构调整,向生态化、体系化和动态化转型。在价值层面,法律治理应坚持FAITH原则,即:友善性,避免价值偏见和歧视;真实性,保证生成内容准确可靠与意义完整;惯习性,要求形成稳定、具体、可理解的技术规范;透明性,强调去黑箱化和可解释性;人本性,要求始终以人的尊严、权利和利益为中心,将生成式AI虚假信息治理的最终目标指向人类社会的良性和可持续运行。在此基础上,中国可与其他国家和地区在技术治理、规则制定和国际合作方面加强协同,共同应对虚假信息全球化风险,推动AI的可信、安全与可持续发展。

  最高人民检察院 (100726)北京市东城区北河沿大街147号 (查号台) 010-12309(检察服务热线)

  为了获得更好的使用,建议使用谷歌浏览器(chrome)、360浏览器、IE11浏览器。