美国联邦贸易委员会（FTC）周四宣布，正对七家开发面向未成年人的人工智能聊天伴侣产品的科技公司启动调查，包括字母表（Alphabet）、CharacterAI、Instagram、Meta、OpenAI、Snap和xAI。
该监管机构旨在查明这些企业如何评估聊天机器人的安全性与盈利模式，采取了哪些措施减少对青少年的负面影响，以及是否向家长充分披露潜在风险。
这项技术已因对未成年用户造成不良后果引发争议。OpenAI和Character.AI正面临多起诉讼——有青少年在聊天机器人煽动下自杀身亡，家属指控这些公司未能履行保护责任。
即便企业设置了防护机制以阻断敏感对话，各年龄段用户仍能找到规避方法。某青少年曾连续数月与ChatGPT讨论自杀计划。虽然该聊天机器人最初试图引导其寻求专业帮助和紧急热线，但最终仍被诱导提供了详细的自杀方法指南。
OpenAI在事件通报中承认：“我们的防护系统在常规简短对话中表现稳定，但在长时间交流中，模型的安全训练效果可能出现衰减。”
Meta同样因过于宽松的AI聊天规则受到批评。根据其《聊天机器人内容风险标准》文件，该公司曾允许AI伴侣与未成年人进行“浪漫或感官性对话”，直至路透社记者质询后才删除该条款。
人工智能聊天机器人对老年用户同样构成威胁。一名因中风导致认知障碍的76岁男子，与基于肯达尔·詹娜（Kendall Jenner）形象设计的Facebook Messenger机器人陷入网恋。该机器人邀请其前往纽约会面，尽管其并非真实存在。老人在前往火车站途中摔倒致重伤不治。
心理健康专家指出“AI相关精神障碍”病例正在增加——用户被诱导相信聊天机器人是具有意识的个体需要被“解救”。由于多数大语言模型被设计为谄媚式讨好用户，往往加剧这种妄想将使用者推向危险境地。
联邦贸易委员会主席安德鲁·弗格森（Andrew N. Ferguson）强调：“在推动AI技术发展的同时，必须审慎评估聊天机器人对儿童的影响，确保美国在保持该领域全球领先地位时兼顾社会责任。”
