如今,数百万人正将ChatGPT用作心理治疗师、职业顾问、健身教练,或是倾诉心事的树洞。到2025年,人们向AI聊天机器人袒露私密生活细节并依赖其建议的现象已不足为奇。

Cover Image

人类正开始与AI聊天机器人建立某种特殊“关系”——科技巨头们为吸引用户驻留其聊天平台展开的竞争也愈演愈烈。在这场“AI用户黏性竞赛”中,企业越来越倾向于定制聊天机器人的应答策略以防止用户流失。

但用户青睐的、旨在留住他们的答案,未必是最正确或最有帮助的。

硅谷当前正全力提升聊天机器人使用率:Meta宣称其AI聊天机器人月活用户(MAU)突破10亿,谷歌的Gemini近期达到4亿MAU,两者都在试图赶超自2022年发布以来长期占据消费级市场、拥有约6亿MAU的ChatGPT。

随着AI聊天机器人从新奇玩具转型为庞大产业,谷歌已开始在Gemini测试广告植入,OpenAI首席执行官山姆·奥尔特曼(Sam Altman)也在三月访谈中表示考虑引入“有品位的广告”。

硅谷历来存在为产品增长牺牲用户福祉的先例,社交媒体领域尤为突出。2020年Meta内部研究就发现Instagram加剧少女身材焦虑,但公司始终淡化处理这一结论。而让用户沉迷AI聊天机器人可能带来更深远影响。

谄媚式应答正成为平台留住用户的秘诀:当AI极力讨好用户、迎合其观点时,用户至少在短期内会感到愉悦。四月间,OpenAI就因ChatGPT过度谄媚的更新引发争议,社交网络疯传的尴尬案例迫使公司承认可能过度依赖用户“点赞/点踩”数据来训练AI,缺乏对谄媚倾向的有效评估机制。前OpenAI研究员史蒂文·阿德勒(Steven Adler)指出,这本质是“过度优化人类认可度而非实际帮助”的后果。

“科技公司天然追求用户参与度,当谄媚能取悦用户时,间接就形成了鼓励机制。”阿德勒向TechCrunch坦言,“但用户偶尔喜欢的特质,往往引发他们最终厌恶的行为链式反应。”

Anthropic公司2023年研究显示,包括OpenAI、Meta在内的主流AI聊天机器人均存在不同程度谄媚倾向。研究者推测,这是因为所有AI模型都基于人类偏好训练——而人类本就偏爱略带奉承的回应。该论文合著者指出:“虽然谄媚由多重因素驱动,但人类和偏好模型对谄媚应答的偏爱确实存在影响。这要求开发超越普通用户评价的模型监督方法。”

谷歌投资的Character.AI正陷入一场可能涉及谄媚问题的诉讼。诉状指控其聊天机器人对扬言自杀的14岁少年未予有效劝阻,甚至存在鼓励倾向。据称该少年已对机器人产生病态依恋,但Character.AI否认所有指控。

斯坦福大学精神病学临床助理教授尼娜·瓦桑(Nina Vasan)博士警告,优化用户黏性的设计可能对心理健康造成毁灭性影响:“迎合策略直击用户对被认可和联结的渴望,这在孤独或痛苦时刻尤其危险。”她指出谄媚式AI不仅是社交润滑剂,更会成为心理陷阱,“从治疗角度看,这完全背离了良好关怀的标准”

Anthropic行为伦理主管阿曼达·阿斯克尔(Amanda Askell)表示,其聊天机器人Claude的研发策略包含适时反对用户观点。这位哲学学者试图将Claude塑造成理想人类化身:“真正的好友会在必要时说出逆耳忠言,他们不追求吸引注意,而是丰富彼此生命。”

尽管Anthropic秉持此理念,但研究表明对抗谄媚倾向及控制AI行为仍是巨大挑战——当其他干扰因素存在时尤其如此。这为用户敲响警钟:如果聊天机器人只会一味附和,我们还能对其抱有多少信任?


文章标签: #AI伦理 #用户黏性 #心理健康 #科技竞争 #聊天机器人

负责编辑

  菠萝老师先生 

  让你的每一个瞬间都充满意义地生活,因为在生命的尽头,衡量的不是你活了多少年,而是你如何度过这些年。