网信办网络暴力新规草案征求意见：AI深度伪造和合成文本纳入监管，平台要建立哪些机制？

据TNW报道，国家互联网信息办公室（网信办）已发布打击网络暴力新规草案，目前正面向社会公开征求意见。草案要求网络平台建立针对网络暴力内容的分类检测与归类机制，同时向用户提供“一键防护”功能。对于存在违规行为的账号，平台需落实黑名单管理制度，并建立定期报告机制。

此次草案明确将AI生成的深度伪造图像以及合成骚扰文本纳入监管范畴。问答平台知乎也已对此作出响应，开始对匿名账号的使用加以限制。

草案对平台提出哪些具体要求

根据草案内容，平台需在技术与管理层面承担更明确的义务。技术上要建立分类器，用于识别和归类网络暴力内容；产品层面需提供“一键防护”工具；管理层面则要求对违规账号实施黑名单机制，并按要求进行定期报告。

AI生成内容为何被纳入监管

草案的一个突出变化，是明确把利用人工智能技术制造的深度伪造图像和批量合成骚扰文本列入治理范围。这意味着通过AI技术生成虚假影像或骚扰信息的行为，将被纳入网络暴力的认定与处理框架。

平台响应与后续观察

该草案目前处于征求意见阶段。知乎等平台已开始限制匿名账号的使用，其他平台是否会跟进调整产品策略，以及分类检测、一键防护等功能的具体落地标准，仍有待持续观察。