黑灰产正在兜售杨幂、迪丽热巴、刘亦菲等明星或者政治人物、企业家的AI脸,只需要1280元。《每日经济新闻》记者(简称每经记者或记者)调查发现,AI脸在实时视频通话和直播中都能“瞒天过海”,微信、抖音、快手、小红书等平台也难以识别。
记者暗访了解到,与之前的网络换脸完全不同,新技术实现了声音与图像的实时同步克隆,用户只需模仿目标人物的发型和服装,AI生成高仿真语音和面部表情,即可完成全套伪造。这种技术的成熟使得伪造视频在视觉和听觉上都达到了近乎完美的程度。新技术是通过“绑架”手机摄像头,从而绕开了平台算法监测。通过挥手、大幅遮挡来识别真伪的传统手段,已完全失效。
面对如此逼真的实时AI变身,普通人如何自保?抖音、快手、微信等平台作为亿万用户的守护者,又该如何提升防御能力?站在新的十字路口,我们是否已准备好迎接这一挑战?
1
拍脸按鼻露齿及大幅遮挡
都不会“掉脸”
在技术推动下,AI换脸已能实现实时视频通话和直播不露馅,且成本低廉。
随着人工智能技术的快速发展,AI深度伪造技术在过去几年中经历了显著的迭代升级。在AI换脸技术方面,早期的换脸模型依赖于目标面部的清晰坐标(面部地标)进行操作。因此,普通人可以通过一些简单的方法揭露伪造内容,例如要求视频通话中的对方用手在脸上划过。由于手部动作会遮挡面部地标,导致换脸模型无法准确识别和渲染,从而破坏换脸效果。然而,最新的AI换脸技术已经克服了这一缺陷。
记者暗访了解到,最新的AI伪造技术实现了声音与图像的同步克隆。这种技术的成熟使得伪造内容在视觉和听觉上都达到了近乎完美的程度,进一步增加了识别的难度。
打开“抖快小”等平台搜索AI换脸、AI视频通话等关键词,发现不少IP主发帖,当中暗藏着以此牟利的黑灰产公司等信息。
“照片由你提供,中外明星、名人或者企业家以及素人等,我们都能做。你怎么用,自己把握,我们不会去打听,也不管。”《每日经济新闻》记者以消费者身份暗访时,一家AI换脸公司的工作人员徐盛(化名)表示,“定做一张(脸)1980元,先付500元订金,5个小时左右做好。然后你就可以用这张脸在微信、QQ等平台视频通话,去抖音、快手等直播也是可以的。定做好的‘人脸’永久使用,多做几张,我给你优惠,3张以上1600元,你可随时切换‘脸’来用。”
为向记者展示“AI画皮”术的高超,徐盛主动从微信等平台给记者打来视频电话,其间用力拍脸、按鼻、露齿以及大幅度的脸庞遮挡等,均未露馅。“你看,怎么都不会‘掉脸’。声音也可以克隆,全套做好,你只要模仿对方的发型和服装就行。”
据徐盛介绍,开年后前来“画皮”的人很多,公司接单量较大,超负荷运行。“光我就接了近1000个,我们这里有七八台设备,每天要做到凌晨五点。你想要名人脸,可以先发我名字,如果是我们公司库中已有的(客人定制过的),可以优惠出售,这样大家都方便。像杨幂、刘诗诗、迪丽热巴、刘亦菲等,都是现成的,1280元一张(脸)。”
在谈及公司的“定制脸”时,徐盛表示,目前以素人脸为主,“名人的话,在平台上直播容易被举报。”
2
“绑架”手机摄像头
多平台无法识别真伪
迭代后的“AI画皮”技术,在实时视频通话中,竟能避开多个平台的监测。
暗访中,徐盛转场不同平台向《每日经济新闻》记者打来视频电话,甚至“现身”直播间,都畅通无阻。在这些“实时流”中,相关画面未有任何风险提示或被切断。“我们还没有收到有人被(平台)发现的反馈,因为在手机摄像头里,你打过去的时候,平台上能看到的已经是‘换过的脸’。”
在进一步交流中,记者获悉,使用“AI画皮”时,需在手机和电脑端都安装由上述公司提供的软件。“我们不仅支持在微信、QQ、抖音、快手、小红书上进行视频通话或直播,一些海外平台,如WhatsApp、Telegram、Line也可以。”徐盛告诉记者。
为什么“AI画皮”能在这么多平台“瞒天过海”?“它是通过‘绑架’我们的手机摄像头来实现的‘变脸’,而非篡改平台算法。”国内一家科技公司的相关负责人告诉每经记者。
对此,中国人民大学民商事法律科学研究中心副主任姚欢庆在接受每经记者采访中提醒,当这种技术主要用于“绑架摄像头”的效果时,非常有可能构成“提供侵入计算机信息系统程序罪”。在构罪的情况下,软件的技术开发者、用户都很难脱罪。
“平台对AI生成的深度伪造(包括AI换脸和克隆语音等)难以实时检测,因为平台并非为鉴证级别的(面部或音频)分析而设计。以克隆语音为例,加密使得扫描变得不可能,而压缩则扭曲了语音信号,让检测更加复杂,此外,计算负担也很高。”全球知名科技公司Sensity AI联合创始人弗朗切斯科·卡瓦利向《每日经济新闻》记者表示。Sensity AI专注于网络安全和人工智能领域,特别是通过AI技术检测和预防深度伪造(Deepfake)等威胁。
2024年度《人工智能指数报告》(AI Index Report 2024)指出,2023年报告了123起人工智能滥用事件,比2022年增加了32.3%。自2013年以来,这类事件增加了二十多倍。知名的例子包括由AI生成的美国明星泰勒•斯威夫特,这一具有性暗示的深度伪造视频在网上广泛传播,反映出AI在隐私、安全等方面的风险。该报告由“人工智能教母”李飞飞联合领导的斯坦福以人为本人工智能研究所(Stanford HAI)发布。
世界经济论坛官网今年1月发布的报道指出,生成式人工智能(GenAI)的兴起使欺诈行为以前所未有的速度增长。2023年,利用深度伪造技术绕过身份验证的事件激增704%。
“AI深度伪造已成为网络犯罪分子的一个新兴操作工具。”卡瓦利直言。
姚欢庆向每经记者指出,“但凡采用AI技术模仿明星或者名人的声音或者肖像,用于通话和直播带货,使得他人产生误认的效果,涉嫌违法,并至少构成一种不正当竞争行为,从而要承担停止侵权、赔偿损失的法律责任。至于是否构成对他人肖像权、声音权的侵犯,还需要根据具体情节确定。”
3
平台回应:
严禁售卖 AI换脸
及与之类似的商品
当“AI画皮”频繁出没,拥有数亿月活用户的平台们,也感受到这次危机的严峻。
数据显示,截至2024年三季度,微信月活跃账户数达13.82亿。2月18日,专注移动互联网数据分析的第三方机构QuestMobile发布最新数据,2024年12月全网月活跃用户规模再次刷新历史纪录,达到12.57亿。其中,抖音、快手、小红书的月活跃用户规模分别为9.78亿、5.87亿、2.25亿。
北京市隆安律师事务所上海分所律师贾玉倩向《每日经济新闻》记者表示,平台有义务根据自查、用户投诉等反馈信息,及时下架有欺诈风险的视频。
对此,姚欢庆表示,“提供换脸服务的平台,很有可能要承担责任。因为换脸服务虽然也可以用于正当目的,但更大的概率是用于不正当的活动。当然,这部分需要立法上明确。即换脸服务应当是一种特许经营,类似于开锁,需要获得政府的准入。如果是这样,平台就有审核义务。”
针对技术升级后的“AI画皮”情况,抖音方面相关负责人向《每日经济新闻》记者表示,“我们平台不鼓励对‘AI换脸’等可能涉及侵犯他人权益的内容进行宣传、推广或教授。对于宣传推广AI换脸软件或教学等内容,以及未经他人授权或同意,利用他人形象创作可能误导观众为该人物本人发布或真实发生的视频内容,均会予以相应管控。”
在直播场景下,抖音也全面禁止不当使用AI换脸技术,因为会造成用户的混淆认知。并禁止以猎奇、夸大噱头等对AI技术不当宣传行为。上述负责人表示:“根据不同严重程度,我们会对相关账号进行从警告中断到封禁直播权限不等的处置。”
“我们持续治理‘AI换脸’相关内容,针对‘AI换脸冒充他人’‘违规提供AI换脸服务’等内容,平台会根据规则进行相应管控。”小红书方面相关负责人向记者表示。
微信视频创作安全中心相关负责人亦告诉《每日经济新闻》记者,对于涉及真人出镜的内容,无论是否使用 AI 技术制作,若存在冒充他人的倾向或用于商业用途,均需提供证明材料,确保为本人真实身份或已获得相应授权。“完全由 AI 生成的人脸内容,需提交AI制作过程的相关信息,并使用平台提供的功能进行显著标识。”
同时,微信、“抖快小”等方面的相关人士均向每经记者表示,若用户发现平台上出现“AI换脸”相关的违规内容,都可通过站内官方渠道进行举报。
“为切实保障用户权益,维护平台健康生态,我们明确规定:严禁售卖 AI 换脸及与之类似的商品。”抖音电商相关负责人在接受记者采访时表示,像利用AI 技术进行换脸、换声,以致干扰、误导用户判断的这类商品和信息,均被平台列入违禁范畴。一旦发现商家存在违规操作,平台将秉持从严原则,依据相关规定予以处理;若情节严重,不仅会封禁相关商品,还会责令店铺停业整顿。
4
目前无法实时拦截
审核及监管需升级技术
尽管平台们十分重视“AI画皮”带来的隐患,但采访中,多家平台和技术专家均向《每日经济新闻》记者坦言,目前对在视频通话和直播中的“画皮人”实施拦截的难度极高。
“我们有技术层面的主动识别,但无法穷尽,也有通过举报反向治理。”有平台方面称。
针对平台的审核挑战,卡瓦利向《每日经济新闻》记者表示,加密平台无法直接分析内容,并且,于平台而言,想要在数百万个同时发生的视频通话(直播)中,运行深度学习模型具有很大的挑战性,成本也较高。要阻挡实时AI深度伪造的攻击,最大的技术挑战在于“隐私悖论以及(平台)与攻击者间的猫鼠游戏”。
“平台无法在不违反隐私法律的情况下扫描加密通话,而攻击者则不断改进AI生成的画面、声音以逃避检测。除非模型直接嵌入用户设备,否则实时拦截不太可能有效。”卡瓦利坦言。
在看过《每日经济新闻》记者提供的“AI画皮人”后,有行业人士提出了担忧,“AI换脸人”是否能绕过系统的“真人验证”。未来是否会发生伪装成去世老人“吃空饷”,而一些空壳公司则可能借用AI换脸注册后逃避债务。
“(技术上讲)这是可行的,当前的深度伪造技术可以欺骗面部和语音识别的防伪验证。”卡瓦利向每经记者解释道,大多数系统只是检查出现的脸部和声音是否匹配,而不会检查它们是否来自真人。
卡瓦利预测,“AI深度伪造技术会变得更成熟。模型将继续缩小规模,使实时、超逼真的深度伪造通话对任何拥有智能手机的人都可以访问。我们还将看到多模态深度伪造——语音、视频,甚至行为生物特征被合成在一起,创造出完全虚假的身份。防御措施必须同样快速跟上。”
AI技术在推动社会生产力发展的同时,也正以惊人速度沦为新型犯罪手段。姚欢庆在接受每经记者采访时指出:“整体技术的开发和应用,都应当通过立法来严格限制。目前的环境总体来说过于宽松。”
姚欢庆认为,“AI诈骗数量的大幅增长跟技术的发展是密不可分的。作为诈骗者和整个社会,其实就是一个道魔斗法的过程,这当中,网络诈骗导致技术追踪的难度,以及诈骗者利用不同法域诈骗导致的管辖尤其值得重视。并且,鉴于人工智能技术的滥用具有跨境性质,需要国际合作机制解决,否则很难很好地保护权利人的利益。”
“AI行业可结合司法规范,统一建立便于监管识别的AI内容标识,便于追根溯源。同时,要考虑到AI技术不断迭代、传统审核手段应对的局限性,审核及监管部门需要升级技术,关注技术防御的迫切性。”贾玉倩建议,应从源头肃清技术滥用风险,同时,平台方应加强传播的信息审核,强化通过AI合成的提示标识,并对用户做好此类技术存在侵权风险的教育工作。
策划|宋德萍
记者|杜蔚 孙宇婷
编辑|易启江
视觉|蔡沛君
排版|易启江