作者 | 南风窗记者 奚佑
编辑 | 阿树
又是靳东。
连续两年全国两会，政协委员靳东都提交了有关AI技术与网络平台立法的建议。
3月5日，在政协小组讨论上，靳东回应称：“一些喜欢我影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。希望能建立更好的规则。”
靳东回应AI换脸导致的诈骗问题
靳东所指的，让人们联想到了去年11月，江西宜春，一位老人来到银行，扬言要贷款200万，给网恋男友“靳东”拍戏。她的材料不全，银行没给办，但坚持不肯离开。好在民警赶来劝阻，才知所谓靳东是AI换脸视频。一场骗局险些成真。
这不是孤立案件。“AI假靳东”登上热搜后，一些网友纷纷讲起在家帮老人和AI“斗法”的过程。老人们沉迷刷AI靳东，无法自拔。帮他们破除AI迷障，成了家庭生活的日常。
考虑到靳东在中老年群体中的观众基础，即便类似诈骗近年来屡见报端，但“假靳东”依然在互联网的隐秘处招摇。
2020年秋天，江西都市频道报道了当地一则轶闻，一名61岁女子，因与“假靳东”网恋数年，离家出走。“假靳东”至此广为人知，但大都是演员靳东的影视片段，配上腔调生硬的机械男声，有的甚至操着浓重的地方口音，破绽百出。
五年过去，骗术套路未变，技术却愈发逼真了。有了AI换脸和AI拟声技术的加持，“假靳东”在方寸屏幕之间愈发栩栩如生、真假难辨起来。
换脸技术不新鲜。只是，如今AI技术以假乱真，互联网空间AI信息泛滥成灾。年轻一代网友“冲浪”经验丰富，练就了“火眼金睛”，依然难免被骗，何况中老年和未成年群体，对AI技术不甚了解，所以存在巨大认知盲区。
因此，对人工智能生成内容的规范和治理，也成了今年全国两会期间多个委员代表的关注议题。
全国人大代表、小米集团创始人雷军建议，加强“AI换脸拟声”违法侵权重灾区治理——去年国庆期间，“AI雷军”那句“开小米Su7创死你们”，就让他本人深受其扰。全国政协委员、四川大学华西医院教授甘华田则称，应当加快制定针对AI生成虚假信息的专项法律法规。
雷军深受AI拟声恶搞视频所扰
甘华田在接受媒体采访时强调，AI生成的虚假信息“已严重干扰公众判断、损害社会公信力和稳定”。
清华大学新闻与传播学院副教授陆洪磊告诉南风窗，如果对AI谣言放任自流，很可能会对社会的信心和稳定在造成巨大冲击。
他说：“我们正在面临一场前所未有的认知战争。”
真与假的边缘
一个看起来不过周岁左右的婴儿，左手端握着瓷碗，右手熟练地使用筷子，把沾满辣椒酱的面条喂进嘴中、咀嚼吞下。
光是文字描述，大多数人都能立刻意识到上述场景违反常理之处，如果进一步仔细辨认其中的细节，人们会发现，面条在被夹起以后骤然变得稀疏，与婴儿吞咽的节奏并不一致——显然，这是AI生成的“杰作”。
但仅凭这样粗糙的完成度，就足以令一部分中老年用户蒙在鼓中。在AI生成的婴幼儿短视频的评论区，鲜花、爱心和大拇指的表情包，被“人海沉浮”“上善若水”们反复敲下，堆砌成一片热烈的海洋。
一则广为流传的AI视频中，一群胖嘟嘟的婴儿，抱着硕大的金元宝，迎面走来。评论区清一色是“爷爷（或奶奶）接住了。”
春节期间，有网友回家过年，发现家中老人对着这样一段短短几秒的视频，反复观看了一个小时，笑得合不拢嘴，“老人沉迷假孙子”现象，这才引起了广泛的关注，也让AI假信息在老年群体中的泛滥问题，引发了广泛讨论。
部分AI短视频底部，会附以一行半透明的小字：“作者提示：内容为AI技术制作，虚构内容请谨慎甄别。”先不论这行不起眼的小字能否被中老年人的老花眼睛看清，“AI”究竟是什么、有什么用，他们或许都不甚清晰，只怀抱着一副朴素的心态浏览互联网上的种种奇观：“视频怎么会骗人呢？”
被AI蒙骗，并非中老年人的“专利”。就在上个月，正值壮年的“80后”也被AI谣言玩弄于股掌之中：一则“中国80后累计死亡率为5.20%”的信息在网络上肆意蔓延，而中国人民大学教授李婷对此公开辟谣时称，这一虚假数据很有可能“来源于AI大模型的错误”。
甚至股市也会被AI谣言操纵。2023年5月，一网友利用某生成式AI撰写信息发表于某股市平台，造成科大讯飞当日午后遭遇股价跳水，盘中一度跌超9%。
AI生成的信息导致股价跳水
陆洪磊告诉南风窗，AI谣言的可怕之处就在于，“它与新闻的边界正在变得越来越模糊”。
传统谣言更像一则模糊的信息，模糊之中存在大量逻辑漏洞，普通人很容易辨别。而AI可以赋予谣言确切的时间、地点、人物，甚至是信源和图片，“一本正经地胡说八道”，更像一则真实发布的新闻信息。
这种高度的逼真性，让谣言的威力提升至一个新的水平。陆洪磊打了个比方，如果说互联网的诞生让谣言从“冷兵器”进入“热兵器”时代，那么AI谣言的破坏力就是“核武器”。
“良心活”
据《法治在线》报道，去年1月，一则“西安突然响起巨大爆炸声”的谣言，在网络上迅速传播，后经查证，该谣言的发布账号，隶属江西一家MCN机构，“从文本到图片都是AI生成”。
其基本的操作逻辑是，将关键词指令输入AI，它便会自动生成几百至上千字的文本，配上几幅貌似与事件有关的图片，编造成一篇煞有介事的谣言。
经警方调查，该账户负责人王某发布该谣言，目的就是为了推高账户阅读量，以换取平台的流量激励。他所经营的MCN机构，最高一天可以生成4000至7000篇文章，其中流量最高的一篇文章收入达700元。初步估算，其每天收入在一万元以上。
每天数千篇文章，远远超出全世界任何一家媒体的单日产能，从中足以看到，AI生成信息，正以何种爆炸式的速度，挤占整个互联网空间。
这股浪潮的背后，是整个人类的信息生产方式的变革。低成本、高利润，伴随着生成式大模型技术的突飞猛进，制造谣言的门槛大大降低，催生了一大批以此为生的灰黑产业。
对此追查却十分不易。郑州市公安局负责人在相关媒体采访中称，AI书写段落的语言能力很高，还可以随机插入素材和图片，这要求他们必须对每一处信息要素都加以印证，事实核查的成本大大提高。
输入关键词，AI软件会自动在网络上抓取信息，生成文本及配图
于是，辟谣的速度被迫放缓。而在“传谣”与“辟谣”速度逐渐拉开的时间差之中，AI谣言对公共舆论空间的破坏性，就此肆意放大和显现。
那么，我们是否能“以其人之道，还治其人之身”，运用AI去治理AI谣言呢？
一个技术性的客观现实是，AI生成图像检测技术的发展，目前依然落后于生成模型技术的发展速度，并将在未来一段时间始终面临“道高一尺，魔高一丈”的困境。
另一重挑战则来源于跨平台协作。
我国自2023年1月10日起实行《互联网信息服务深度合成管理规定》，其中明确要求，深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识。然而在实践中，限于各平台技术水平、内容特性和标准化的各项差异，当一则AI生成内容被下载或截屏，再上传至另一平台，“原先的水印有可能就消失了”。
陆洪磊说，高水平的水印和图像检测技术高度依赖于大规模的资金和人力投入，目前只有规模较大的企业能够去承担其成本。“一些中小型平台检测技术依赖开源工具，且往往难以承担计算资源和维护成本，准确率较低”。
更何况，单纯基于商业角度考虑，对水印和检测技术的庞大投入收益究竟如何，“需要打一个问号”。在陆洪磊看来，在缺乏相关法律法规的状况下，平台对AI生成内容的规范治理并无严格约束，“更像个良心活”。
“人机对齐”
AI生成的图像和影像，人们尚且可以通过它的光影变化规则、边缘物理规律的异常去细心辨别。比如今年1月在网络上广泛流传的合成视频，“西藏地震小男孩被废墟掩埋”，只要细心观察，男孩的左手由六根手指组成，肉眼就能“检测”出来——至少，目前还不难，未来却不好说。
而对AI文字谣言的甄别，却几乎无从下手。
“当前AI生成文本语义一致性之高，已经到了专家学者都难以区分的水平。”陆洪磊说。当下，对AI文字谣言的检测，“更多时候需要深入其意义表达去判别，目前尚无特别有效的手段攻克”。
就比如上文所述那则“中国80后累计死亡率为5.20%”的谣言，若非长期研究人口的学者公开辟谣，对统计学和人口普查专业知识知之甚少的普罗大众，很容易便会信以为真。
对于文字信息的治理，平台目前的普遍做法，集中于对同质化内容的识别和处理。个别MCN机构利用AI批量生成相似内容大规模投放，而平台通过对文字相似性的比对，可以及时发现异常、实时整治。尽管卓有成效，“但在同质化内容与谣言之间，依然存在一定的概念差异。”有学者向南风窗表示。
技术条件日新月异，行业秩序尚未建立，繁芜丛杂之中，亟盼相关法律法规的完善与规范。
而这也正是今年两会期间数位委员代表共同关注的焦点。
我国于2023年8月15日起施行《生成式人工智能服务管理暂行办法》，如今形成了以此暂行办法为核心，辅以数据安全法、个人信息保护法等单行法的人工智能规范。
2023年7月10日，国家互联网信息办公室联合国家发展改革委等七部门联合发布《生成式人工智能服务管理暂行办法》
全国政协委员、安徽省律师协会监事长周世虹在媒体采访中介绍，目前依然缺乏高位阶的专门立法，现有管理体系覆盖范围较为有限，尚且难以应对快速的技术发展可能引发的各种社会问题。
全国人大代表，TCL创始人、董事长李东生也在《关于加强AI深度伪造欺诈管理的建议》中写道：我国相关立法虽有关注这一议题，“但已出台的规章制度尚不成体系，还不具备可操作的细则和明确的处罚标准”。
陆洪磊提到了一个概念，叫做“人机对齐”。即AI的内容创造，应当受到人类伦理规范的约束，“人类造谣会面临的结果，AI造谣应该一视同仁”。
只是，落实这一原则的过程中，责任应该指向哪个主体、细化至怎样的程度，还需视具体情况共同商定。
而无论如何，陆洪磊相信，人类的智慧与经验，不光可以体现在大模型技术的飞速迭代之上，它们同样可以体现在对规范和管理机制的动态设计之中。
