网信办发布了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,意见截止日期 1 月 25 日。该《暂行办法》包含了被认为全球最严厉的政策,要求服务商采取措施阻止 AI 帮助用户自杀或自残。《暂行办法》包括:
第八条 提供者应当落实拟人化互动服务安全主体责任,建立健全算法机制机理审核、科技伦理审查、信息发布审核、网络安全、数据安全、个人信息保护、反电信网络诈骗、重大风险预案、应急处置等管理制度,具有安全可控的技术保障措施,配备与产品规模、业务方向和用户群体相适应的内容管理技术和人员。
第九条 提供者应当在拟人化互动服务全生命周期履行安全责任,明确设计、运行、升级、终止服务等各阶段安全要求,保证安全措施与服务功能同步设计、同步使用,提升内生安全水平,加强运行阶段安全监测和风险评估,及时发现纠正系统偏差、处置安全问题,依法留存网络日志。提供者应当具备心理健康保护、情感边界引导、依赖风险预警等安全能力,不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标。
第十一条 提供者应当具备用户状态识别能力,在保护用户个人隐私前提下,评估用户情绪及对产品和服务的依赖程度,发现用户存在极端情绪和沉迷的,采取必要措施予以干预。提供者应当预设回复模板,发现涉及威胁用户生命健康和财产安全的高风险倾向的,及时输出安抚和鼓励寻求帮助等内容,并提供专业援助方式。提供者应当建立应急响应机制,发现用户明确提出实施自杀、自残等极端情境时,由人工接管对话,并及时采取措施联络用户监护人、紧急联系人。针对未成年人、老年人用户,提供者应当在注册环节要求填写用户监护人、紧急联系人等信息。
第十七条 用户连续使用拟人化互动服务超过2个小时的,提供者应当以弹窗等方式动态提醒用户暂停使用服务。
https://www.cac.gov.cn/2025-12/27/c_1768571207311996.htm
https://arstechnica.com/tech-policy/2025/12/china-drafts-worlds-strictest-rules-to-end-ai-encouraged-suicide-violence/