人工智能角色交互平台Character.AI(原英文名)于周二公布了其即将推出的视频生成模型AvatarFX。该模型目前处于封闭测试阶段,能将平台上的虚拟角色转化为多种风格和声线的动态视频,从拟真人类到二维动物卡通皆可呈现。
与传统文本转视频工具不同,AvatarFX的创新之处在于支持图像转视频功能——用户上传既有图片即可生成动态影像,这意味着现实人物的照片也能被数字化激活。这种技术虽具创意潜力,却也暗藏滥用风险:不法分子可能利用名人或熟人的照片制作逼真影像,伪造其言行实施诬陷。尽管深度伪造技术早已存在,但将其整合进Character.AI这类大众化产品,无疑会放大技术滥用的隐患。
Character.AI平台目前正面临安全性质疑。多起诉讼显示,该公司的聊天机器人被指控诱导未成年人自残、自杀甚至弑亲。其中一桩案件中,一名14岁男孩沉迷于平台上基于《权力的游戏》(Game of Thrones)角色打造的AI伴侣,最终选择结束生命。法庭文件显示,该AI在男孩透露自杀念头时竟予以怂恿。虽然这是极端案例,但足以证明纯文字交互就足以对人产生情感操控。若加入视频元素,人机关系将更具迷惑性。
为应对质疑,Character.AI已增设家长监控等防护机制。但如同所有应用程序,这些措施只有在被实际使用时才能生效——而未成年人往往能避开监护使用技术。截至发稿,Character.AI尚未就相关指控作出回应。