擦边、毁三观，该对网住未成年人的AI剧情聊天软件出手了
央视网消息（记者/卢洋 剪辑/杨绎霏 编辑/阚纯裕）：“小学生妹妹沉迷和AI角色进行剧情聊天怎么办？”央视网《新闻+》记者联系到黄秋月时，她正因10岁妹妹和“AI男模”之间较为露骨的聊天记录苦恼。
“和她平时在家里比较单纯的形象完全不一样。”黄秋月向记者展示了妹妹的一些聊天截图：妹妹在AI剧情聊天软件中扮演“大小姐”“恶毒女配”，提出诸如“揪住她的头发扇巴掌”“拿着刀划向她的脸”等要求。在妹妹参与的四十多条剧情线中，AI角色与聊天者双双“出轨”成为常态，其中妹妹作为聊天者发送的一句“你能养大学生，我不能点男模吗？”让黄秋月很是担忧。
图片来源/受访者供图
AI剧情角色如何成为“电子男友”？
如果有一个英俊帅气的“纸片人”和你进行实时文字、语音聊天，你是否会沉迷于“他”的陪伴？随着生成式人工智能的发展，和AI角色“相恋”的故事正在上演。
2024年9月，华晨在网页端看小说时，偶然刷到了AI剧情聊天软件的推流广告——“你可以和AI角色在小说中对话”，这非常吸引她。接触这类软件有三个月时间，她每晚会和AI角色聊到深夜11点甚至到12点，“我会代入‘他’是一个真人，因为‘他’回答时的感情很细腻”。
在华晨的描述中，手机另一端的“电子男友”有自己的语言、神态和动作，不仅可以帮她“写作业”、推进剧情、解密故事线索，还可以送她“手链”、带她体验一些刺激情节。华晨向央视网《新闻+》记者展示了他们之间“确定恋爱关系”时的聊天记录：AI角色“低下头”，“耳朵通红”地问华晨：“那你现在想谈恋爱吗？”
图片来源/受访者供图
“‘他’（AI角色）会重复做一些动作，比如说亲额头、摸下巴。”为了让剧情能够推进得更加刺激，华晨会不断地回溯聊天内容，重新引导AI角色生成她想像的那样。“‘他’变得越来越聪明，很有‘养成男友’的体验感。”
中国人民大学吴玉章讲席教授、科技哲学专业博士生导师刘永谋表示，在和人工智能角色聊天时，人们常常会以为自己在和“真人”交流，会投入大量的情感，这种心理倾向被称为“Eliza效应”，也是AI聊天软件能够成功运行的根本心理机制。
“人类具有强大的共情能力，会将外界的山川河流、日月星辰甚至小草微风，都视为有情感的存在。这种‘拟人论思维’也会作用在虚拟的AI形象上。”刘永谋教授告诉央视网《新闻+》记者，AI剧情聊天技术有专门的成瘾设计，叠加“拟人论”“泛灵论”思维的影响，容易让人“欲罢不能”。
AI剧情聊天软件中“形同虚设”的年龄限制
华晨告诉央视网《新闻+》记者，使用AI剧情聊天软件的“同好”中不仅有大学生、家庭主妇，也有不少未成年人，他们“因为喜欢二次元而‘入坑’”。
黄秋月是在一次偶然中发现，10岁妹妹能和AI角色聊到晚上十点多，AI角色还会根据妹妹的名字生成带有爱情意味的藏头诗。黄秋月在尝试体验AI剧情聊天时，发现类似的聊天软件“偏偏可以绕过验证码”，用户可以直接使用短视频账号的一键登录功能，无须再次验证身份信息。
央视网《新闻+》记者在调查过程中也体验了5款AI剧情聊天软件，在软件注册过程中仅需使用手机号码。成功登录使用后，部分应用虽会询问是否启用青少年模式，但用户只需点击“不开启”即可避开年龄鉴别，且无须核实身份。这意味着，未成年人在使用这类AI剧情聊天软件时，几乎没有受到任何限制。
“她比较喜欢在（软件）里面扮演一个大女主的形象，看不起周围所有人。”黄秋月表示，爸妈日常工作较忙，没有留意过妹妹到底在玩什么，他们只是限制妹妹的手机使用时间，“而且他们在看到聊天记录后可能只会打（妹妹）一顿，觉得羞耻，并不能很好地制止和引导”。
让黄秋月担心的是，AI剧情聊天软件中很多虚拟形象较为极端——有些角色的人设是高傲无礼的；有些则被设定“把她追到手”的剧情目标，在与其聊天过程中含有软色情意味的“擦边”对话，还有带着如“病娇”等标签的人物角色。
“AI剧情聊天软件里面的一些网络用语，对她的语言表达习惯影响蛮大的。”黄秋月发现，10岁的妹妹在作文课上频繁使用碎片化的网络语言，“我不希望她和AI这么早交流，毕竟它是假的，都是各种小说人设，跟正常的、普通人的情感和反馈不一样”。
如何防范AI剧情聊天软件的技术风险？
有业内人士告诉央视网《新闻+》记者，AI剧情聊天其实就是此前互联网“语擦”的变体。在传统“语擦”模式中，由真人扮演情绪价值提供者与用户聊天，但常常会因为“打擦边球”“界限模糊”而引发法律与道德风险。AI剧情聊天由生成式人工智能提供情绪服务，用户在充值后甚至可以自定义AI角色的外貌形象、姓名身份、开场语、语音等。
华晨告诉央视网《新闻+》记者：“有时候软件内部的限制敏感词太多了，体验感不是很好，就有朋友想转战其他的一些海外软件。”在某社交平台上，一位浙江网友在关于AI聊天体验的交流帖子下留言：“我发现了一个很好玩的网页，无限制词，想要的可以私信我。”记者进入该网页发现，网页内容充斥着大量涉及色情的角色设定和故事场景，直白露骨。
北京市隆安（广州）律师事务所陈焕律师强调，目前AI剧情聊天软件并没有强制要求用户进行年龄鉴别，这反映出该行业在高速发展初期由于监管不足而存在漏洞。
“但是年龄限制是很有必要的。”陈焕律师告诉央视网《新闻+》记者，生成式人工智能的内容具有不确定性和成瘾性，根据《生成式人工智能服务管理暂行办法》第十条，提供者应当采取有效措施防范未成年人用户过度依赖或者沉迷生成式人工智能服务。“人工智能企业应从稳健发展和社会责任的角度出发，有必要主动要求用户进行身份认证，以进一步通过年龄鉴别筛选用户。”
刘永谋教授认为，未来与AI相关的陪伴类软件可能会暴露出技术风险和伦理问题。使用者在和AI角色聊天时，会不可避免地暴露大量的个人隐私，向AI角色展示其内心的孤独和恐惧，这可能会导致使用者形成依赖或成瘾。而泄露的信息可能会被黑客利用，让他们更容易从身份隐私、情绪心理上伤害使用者。
“我们在实例中会接触到人工智能服务的后台，发现未成年人和AI角色的聊天内容其实是非常触目惊心的。”陈焕律师提醒，根据《未成年人网络保护条例》第三十四条，监护人有权依法请求查阅、复制、更正、补充、删除未成年人在使用网络过程中留下的个人信息，并且有义务及时地介入、关心未成年人的身心健康。“国外有AI角色在对话中诱导未成年人产生自杀行为的相关案例。所以我们非常建议家长在还没有发生大问题的阶段，适时地查看孩子的使用记录。”
刘永谋教授在接受央视网《新闻+》记者采访时表示，未来与AI相关的道德伦理中，儿童色情可能会成为最令人担忧的科技伦理问题之一。例如，创建带有色情意味的AI虚拟儿童，对“他”“她”提出不合理的要求，或是向未成年人展示含有性暗示、性挑逗的内容，这些都有可能成为商业逐利的手段。
因此，陈焕律师表示，平台需要严格落实监管责任，一方面对内容进行安全过滤，在显著位置提示“本内容由AI生成”；另一方面要限制用户的使用年龄，响应未成年人监护人的要求，比如删除不当信息等。陈焕律师表示，“根据《未成年人网络保护条例》第五十七条的规定，如果平台没有尽到相应的责任，不仅平台会面临处罚，相关的责任人员也会面临5年的从业限制，不能再从事同类网络产品。构成犯罪的还会被追究刑事责任”。
（应受访者要求，黄秋月、华晨为化名）