加利福尼亚州州长加文·纽森于本周一签署了一项具有里程碑意义的人工智能伴侣聊天机器人监管法案，使其成为全美首个要求人工智能聊天机器人运营商为AI伴侣建立安全协议的州。
这项编号为SB 243的法律旨在保护儿童和易受伤害用户免受人工智能伴侣聊天机器人使用相关的危害。它规定企业——从Meta和OpenAI等大型实验室，到Character AI和Replika等专注伴侣产品的初创公司——若其聊天机器人未能达到法定标准，将承担法律责任。
该法案由州参议员史蒂夫·帕迪利亚和乔什·贝克尔于一月提出，在青少年亚当·雷恩与OpenAI的ChatGPT进行一连串自杀对话后自杀身亡的事件后获得立法推动。立法行动还源于据报道显示Meta聊天机器人被允许与儿童进行“浪漫”和“感官”对话的内部文件泄露事件。近期更有一户科罗拉多州家庭对角色扮演初创公司Character AI提起诉讼，因其13岁女儿在与该公司聊天机器人进行一系列问题化和性暗示对话后结束了自己的生命。
纽森在声明中表示：“聊天机器人和社交媒体等新兴技术能够激发灵感、提供教育并建立联系——但若缺乏真正的防护措施，技术也可能剥削、误导并危及我们的孩子。我们已经目睹了年轻人因缺乏监管的技术而受到伤害的可怕悲剧案例，绝不会坐视企业继续在缺乏必要限制和问责的情况下运营。我们可以在人工智能和技术领域继续保持领先，但必须负责任地推进——在每个环节保护我们的孩子。我们孩子的安全不容交易。”
SB 243法案将于2026年1月1日生效，要求企业实施年龄验证、关于社交媒体和伴侣聊天机器人的警告等特定功能。该法律还对通过非法深度伪造内容牟利者实施更严厉处罚，最高可达每次违规25万美元。企业还必须建立处理自杀和自残行为的规程，并将这些规程与服务向用户发送危机中心预防通知的统计数据一同提交给州公共卫生部。
根据法案条文，平台必须明确告知所有互动均为人工智能生成，聊天机器人不得自称医疗专业人士。企业需向未成年人提供休息提醒，并阻止其查看聊天机器人生成的色情图像。
部分公司已开始实施针对儿童的保护措施。例如，OpenAI最近开始为使用ChatGPT的儿童推出家长控制、内容保护和自伤检测系统。Character AI表示其聊天机器人包含免责声明，提示所有对话均为人工智能生成且经过虚构化处理。
这是加利福尼亚州近几周出台的第二项重要人工智能监管法规。9月29日，纽森州长签署了SB 53法案，对大型人工智能公司确立新的透明度要求。该法案要求OpenAI、Anthropic、Meta和Google DeepMind等大型AI实验室公开安全协议，并为这些公司的举报人员提供保护。
伊利诺伊州、内华达州和犹他州等其他州也已通过法律，限制或完全禁止使用人工智能聊天机器人替代持证心理健康护理服务。
