31岁的迪文德拉·辛格·贾登看上去是一个普通的程序员，但在印度的网络空间里，他有另一个很多人都知道的外号——“印度造假王”。

他的团队只需要3天时间就可制作一个足够以假乱真的选举视频，为自己支持的政党造势。而造假的总成本只需要60万卢比（约合人民币5.22万元）。更有甚者，如果对质量要求不高，几分钟就能生成一个抹黑对手的假视频。

AI生成的假内容冲击选举并非印度一家独有的现象，在美国、欧洲类似情况层出不穷。“软件业民主前进联盟”的观察家基尼·巴丹斯认为，“印度发生的事情就像煤矿里的金丝雀叫声，给全球敲响了警钟”。

AI造假泛滥

在印度已成为“半公开的秘密”

4月19日，规模空前的印度大选正式拉开帷幕，总共涉及该国28个邦的9.69亿选民，合格选民的数量甚至超过全球人口总数的10%。由于规模过于庞大，本次选举将分为7个阶段举行，总共耗时44天。

在这场“盛会”中，贾登的团队也在发挥着作用。贾登此前是一名普通的程序员，在疫情期间被困在家中的他，不得不通过零散地接私活来维持生计。当时他主要是为宝莱坞制作公司提供一些粗糙的特效，比如通过“换脸”等方式制作出宝莱坞影星载歌载舞的场面。

▲“印度造假王”贾登

如今随着AI工具的爆发式增长，贾登带着几个人的小团队定居在拉贾斯坦邦的小镇普什图卡，他们被外界称为“印度造假王”。这个团队打造了两个视频样本，对外展示了“印度造假王”的技术能力。在其中一个视频里，“莫迪”向观众挥手致意，并且可以喊出每一个观众的名字，就像莫迪本人真的和观众一对一交流。另一个视频则是说着印地语的“假特朗普”热情地表示，“我是‘特朗普假冒一号’，我不是真的特朗普，你好吗迪普（典型印度姓名）”。

▲贾登团队生成的“特朗普”讲印地语假视频

贾登表示，他本人在政治立场上属于中立，而且不希望与特定的党派联系在一起，他接活都是通过广告公司和游说公司等渠道，并不直接和候选人对接。在本次大选期间，贾登的生意一直处于“爆单”状态，而且几乎所有主流政党都曾有人找他定制过AI假视频。

贾登介绍说，他的团队一般3天时间就可以出一个精选的视频，报价大约60万卢比。如果是长期合作的客户，他们会先花一周时间建立关于该政客的影像资料库，让AI模型进行学习。在后期如果不需要特别高的精度，他们可以在几分钟内就生成一个该候选人的视频。

在本次印度大选期间，生成式AI的使用已经是“半公开的秘密”。有政党用AI技术将2位去世的本党元老“复活”，用以唤起支持者的回忆。贾登透露，他拒绝了很多“不道德”的订单需求，比如一个政党通过代理人找到他，要求他用AI制作竞争对手的“性爱录像带”视频。

AI立法还需完善

专家：造假从未像现在这样简单

今年全球将有60多个国家和地区进行选举，已经有专家警告称，由于“技术没有国界”，印度出现的AI造假泛滥的乱象很可能在全球蔓延开来。

1月，一段由拜登的声音合成的虚假音频流传开来，甚至成为很多人的电话铃声。在这段音频中，“拜登”号召民主党选民不要参加初选投票，而要将“选票留给真正的选举”。技术专家表示，比起AI生成的视频和图像，虚假音频的文件体积更小，更不容易识别，追溯传播源头也更困难。这一事件也让美国白宫开始加强对AI技术在选举中应用的立法。

而在去年10月的斯洛伐克大选前夕，一段关于进步党领导人米哈尔·西梅卡和当地记者“对话”的假音频也流传得非常广泛。在这段AI制作的假音频中，西梅卡宣称要拿钱向吉普赛人买选票，并且当选后要提高当地啤酒价格，并且还开了下流的玩笑。

▲斯洛伐克去年大选前出现AI生成的假音频

斯坦福大学“以人为本”人工智能研究院联合创始人兰迪·詹姆斯认为，AI造假“从未像现在这样简单”，因此2024年全球各地的选民应该高度警惕。目前AI生产的虚假视频已跨越了语言翻译的障碍，可以实现特殊定制化，让候选人似乎在“一对一”地和电脑屏幕前的网友单独说话。由于造假成本极低，数以万计的假视频可能对正常的选举秩序造成极大干扰。

斯坦福大学政治学者马里杰·沙克讽刺地说道：“大公司都在谈论AI对人类生存的威胁，但他们又争先恐后地推出自己的大模型。”马里杰认为，虽然很多选民觉得自己的智力足够分辨AI生成的虚假信息，但是“选举往往在几个百分点的区间内决定胜负”，只要虚假信息足够泛滥，就足以影响能决定胜负的中间选民。

目前拜登政府已经组建了一个工作组研究AI立法，但具体法律的落地应用至少需要数年时间。目前美国的科技巨头们也相继推出了一些限制AI信息传播的手段。Meta公司全球事务总裁尼克·克雷格表示，脸书和Whatsapp等软件将识别并标注AI生成的信息。此外，谷歌等公司则在AI大模型中限制用户对正在进行的选举提出有倾向性的具体问题。

红星新闻记者 郑直

编辑郭宇 责编 官莉