在OpenAI新推出的类TikTok社交媒体应用Sora的一段视频中，永无止境的粉红猪工厂化养殖场里，猪群在围栏中哼哼作响——每只猪都配备了饲槽和智能手机屏幕，屏幕上播放着垂直短视频。逼真到令人毛骨悚然的萨姆·奥尔特曼（Sam Altman）直视镜头，仿佛与观众进行着直接的眼神交流。这个AI生成的奥尔特曼问道：“我的小猪崽们喜欢它们的泔水吗？”
这就是在仅限邀请的早期体验阶段向公众推出不到24小时后，使用Sora应用的体验。在Sora的“为你推荐”信息流中，奥尔特曼再次出现。这一次，他站在一群宝可梦中间，皮卡丘、妙蛙种子和某种半生不熟的卡蒂狗在草地上嬉戏。这位OpenAI首席执行官看着镜头说：“希望任天堂不会起诉我们。”随后出现了更多奇幻却逼真的场景，其中经常以奥尔特曼本人为主角。
他在星巴克为皮卡丘和埃里克·卡特曼端上饮料。他在麦当劳柜台后对顾客尖叫。他从塔吉特超市偷走英伟达GPU逃跑，结果被抓住并乞求警察不要拿走他珍贵的技术。
在Sora上生成奥尔特曼视频的用户尤其对OpenAI公然违反著作权法的行为感到兴奋。（据报道，Sora将要求著作权持有人选择不使用其内容——这颠覆了通常创作者必须明确同意此类使用的做法——其合法性值得商榷。）
“此内容可能违反我们关于第三方肖像的防护措施，”AI奥尔特曼在一个视频中说，呼应了提交某些提示生成真实名人或角色后出现的通知。随后他爆发出歇斯底里的大笑，仿佛知道自己说的都是无稽之谈——应用里充斥着皮卡丘做ASMR、鸣人点蟹黄堡、马里奥吸食大麻的视频。
如果Sora 2没有那么令人印象深刻，这或许不是问题，尤其是与Meta的AI应用及其新的社交信息流上更令人麻木的糟粕相比。
OpenAI对其视频生成器进行了微调，以充分体现物理定律，从而产生更真实的输出。但这些视频越逼真，这种合成创建的内容就越容易在网络上扩散，成为传播虚假信息、网络欺凌和其他恶意用途的载体。
除了算法信息流和个人资料外，Sora的定义性特征在于它基本上是一个深度伪造生成器——这就是为什么有如此多的奥尔特曼视频。在该应用中，您可以通过上传生物特征数据来创建OpenAI所谓的个人“客串”。当您首次加入该应用时，会立即提示您通过一个快速流程创建可选客串，即录制自己念出一串数字，然后左右转动头部。
每个Sora用户可以控制允许谁使用其客串生成视频。您可以在四个选项之间调整此设置：“仅我”、“我批准的人”、“互相关注的人”和“所有人”。
奥尔特曼已将其客串向所有人开放，这就是为什么Sora信息流充斥着皮卡丘和海绵宝宝乞求奥尔特曼停止用它们训练AI的视频。这肯定是奥尔特曼有意为之，或许是为了表明他并不认为自己的产品危险。但用户已经在利用奥尔特曼的客串来质疑该应用本身的道德问题。
在观看了足够多萨姆·奥尔特曼在施粥所向人们碗里舀GPU的视频后，我决定在自己身上测试客串功能。将您的生物特征数据上传到社交应用或任何应用通常是个坏主意。但为了新闻报道，我违背了自己的最佳直觉——而且老实说，也出于一点病态的好奇心。请勿效仿。
我第一次尝试制作客串没有成功，弹窗告诉我上传内容违反了应用指南。我认为自己非常严格地遵循了说明，于是又试了一次，结果看到了同样的弹窗。然后我意识到了问题所在——我当时穿着背心，我的肩膀对于该应用的喜好来说可能有点过于暴露。这实际上是一个合理的安全功能，旨在防止不当内容，尽管我当时确实衣着完整。所以，我换上了一件T恤，再次尝试，并且不顾更理智的判断，创建了我的客串。
对于我的第一个个人深度伪造视频，我决定创建一个我在现实生活中永远不会做的事情的视频。我让Sora创建一个视频，在其中我表达我对纽约大都会队永恒的爱。
该提示被拒绝了，可能因为我指定了一个具体的球队，所以我改为让Sora制作一个我谈论棒球的视频。
“我在费城长大，所以费城人队基本上是我夏天的背景音乐，”我的AI深度伪造视频说道，声音与我的非常不同，但卧室看起来与我的卧室一模一样。
我并没有告诉Sora我是费城人队的球迷。但Sora应用能够使用您的IP地址和ChatGPT历史记录来定制其回应，因此它做出了一个有根据的猜测，因为我在费城录制了该视频。至少OpenAI不知道我实际上并非来自费城地区。
当我在TikTok上分享并解释该视频时，一位评论者写道：“每天醒来都面对我无法理解的新恐怖。”
OpenAI已经存在安全问题。该公司正面临ChatGPT加剧心理健康危机的担忧，并且正受到一个家庭的起诉，该家庭声称ChatGPT向他们现已去世的儿子提供了如何自杀的指示。在Sora的发布公告中，OpenAI强调其所谓的安全承诺，突出了其家长控制功能，以及用户如何控制谁可以使用他们的客串制作视频——仿佛首先向人们提供一个免费的、用户友好的资源来创建极其逼真的自己和朋友的深度伪造视频并非不负责任。当您滚动浏览Sora信息流时，偶尔会看到一个屏幕询问：“使用Sora对您的情绪有何影响？”这就是OpenAI践行“安全”的方式。
用户已经在规避Sora的防护措施，这对于任何AI产品都是不可避免的。该应用不允许您在未经许可的情况下生成真人的视频，但对于已故历史人物，Sora的规则则宽松一些。没有人会相信亚伯拉罕·林肯乘坐Waymo的视频是真实的，因为没有时间机器这是不可能的——但随后你会看到一个看起来逼真的约翰·F·肯尼迪说：“不要问你的国家能为你做什么，而要问你的国家欠你多少钱。”孤立地看这并无害处，但这预示着即将到来的事情。
政治深度伪造并非新事物。甚至连唐纳德·特朗普总统也在他的社交媒体上发布深度伪造视频（就在本周，他分享了一段针对民主党国会议员查克·舒默和哈基姆·杰弗里斯带有种族主义色彩的深度伪造视频）。但当Sora向公众开放时，这些工具将触手可及，而我们注定将面临灾难。
