卖家展示的素人换脸效果。(S为原视频,D为更换之后)
近日,因AI换脸技术导致的诈骗案件引发了人们的关注。伴随着AI大模型的发展,“换脸”技术应用范围越来越广,技术的突破还使得换脸后的人物表情、动作细节更为逼真,一旦被不法分子利用,可能会带来严重危害。记者调查发现,在网上,AI换脸软件的获取非常容易,利用AI换脸软件的法律边界在哪里?如何做好事前监管?
1 网络上出现付费AI换脸软件 套餐价格从499元到2888元不等
当下,依托于大模型及算法的突破,AI换脸正在实现更大范围地应用,引发更多担忧。在网络上,演示换脸软件使用方法及效果的教程比比皆是。不同于大量给普通人“尝鲜”的免费软件,记者发现,在网络上还有很多高价的付费AI换脸软件,这些付费软件与免费软件有什么样的不同?
记者搜索“AI换脸软件”后联系上了一个开发者,他给记者提供了一段使用其软件实现换脸的示范视频——双视窗页面左侧是换脸之前的原始视频,右侧则是换脸之后的视频,肉眼来看,换脸之后的“数字人”口型、表情、微小的动作几乎毫无破绽。
在其销售网站上,该软件开发者还展示了如何将两位知名女星的眼睛和嘴巴拼接到一起,生成全新“数字人”的视频。
这一付费软件提供从初级(LV1)到超级(LV4)再到全套(LV5)的不同版本。以初级套餐来说,499元提供软件界面、视频指导、换脸模型等,如果花2888元,则可以得到全套(LV5)等级的视频换脸模型。
2 “想换什么脸都可以” AI大模型可集成多种功能打造“数字人”
打开该网站,底部没有任何文字显示其经过了备案。卖家也十分谨慎,全程仅用文字交流。他表示,与初级(LV1)至超级(LV4)套餐相比,全套(LV5)版本迭代更多,能力更强,也可以理解为换脸效果更为逼真,同时,不仅可以实现视频换脸,还支持直播换脸。
记者进一步询问,能否根据自己的需求换脸?软件开发者表示:“想换什么样的脸拿素材训练就可以”。
一位从事AI开发的技术人员表示,这意味着可能会有更多难以控制的风险。“类似于deepfake这样的AI换脸技术是开源的,最近的AI大模型火起来,它的算法又有了更新,就可以集成文生图、文生文,文生音频、文生视频、换脸,这样的功能结合起来,就可以打造出一个完全崭新的‘数字人’或者叫‘AI人’,监管的成本和难度高了好几个数量级。”
3 专家:有效的标识监管体系 能提前厘清AI换脸带来的模糊边界
北京嘉维律师事务所律师、IT法律专家赵占领表示,从事后打击的角度来说,刑法中有关于诈骗罪的规定;民法典明确,公民享有肖像权、姓名权、名誉权等等相应的民事权利。也就是说,如果发生使用他人的肖像进行诈骗的相关案例,不法分子能够在事后被法律约束与制裁。但在人工智能技术飞速发展的当下,还应探讨如何能够做到有效的事前防范。
例如,在《互联网信息服务深度合成管理规定》中要求,深度合成服务可能导致公众混淆或者误认的,深度合成服务提供者应当在生成或者编辑的信息内容的合理位置、区域进行显著标识。
《生成式人工智能服务管理办法(征求意见稿)》要求,利用生成式人工智能产品向公众提供服务前,应当按照有关规定向国家网信部门申报安全评估;要尊重他人合法利益;产品提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责等。
浙江大学国际联合商学院数字经济与金融创新研究中心联席主任盘和林认为,从目前来说,如果能够有效落实标识的要求,形成有效的监管体系,可以在很大程度上提前厘清AI换脸所带来的模糊边界。当前AI换脸的标识监管体系还没有形成,要针对不标注的内容,通过技术的手段来辨别,并且对不标注的个人或者是单位组织要有具体的处罚的措施和标准以及制度。
赵占领认为,从长远来看,监管与处罚措施还需要随着技术发展不断“迭代”,才能形成立体有效的治理方案。
“这里面有很多规定,比如说对于合成式服务提供者,在合成的结果上要有一个明确的标识;这种服务的提供者本身他对用户输入的信息以及输出的结果,会承担一个审核的责任,这个责任相对比较重,但可能很多经营者并没有遵守这样的义务;还有一个是,有些情况下是否侵犯他人的第三方权益,是需要人工的判断,有价值的判断,在目前的技术条件下,我们还很难完全做到。这样的话就会导致尽管有相应的规定,但实际上在操作层面,可能还是需要通过技术本身不断的完善,来逐步解决这样的问题。”赵占领表示。
相关链接
识别和警惕AI诈骗的 6种新伎俩
AI换脸诈骗相比传统电信诈骗成本更低、时速更快、角色更多、几率更高和防范更难等特点,对社会造成的危害也更大。因此,我们要高度警惕基于AI诈骗的6种新伎俩。
1.虚假音频诈骗。利用AI技术生成虚假的语音信息,冒充亲戚、朋友等身份进行诈骗。比如,不法分子使用AI技术生成了一段虚假的亲属语音信息,声称家中告急亟需紧急转账。受害者因为听到了亲属的声音,从而引起恐慌和焦虑,没有多想就进行了转账。
2.虚假视频诈骗。利用AI技术生成更加逼真的虚假视频,制造更加真实的人物或情境,让受害者更容易上当受骗。例如,近年来,有不法分子将现实中的一个人脸替换成了电影明星的脸,并通过社交媒体传播,诱导用户和粉丝点击链接下载恶意软件或输入个人信息。
3.虚假恐吓诈骗。据光明网披露,近日,多名网友收到同一条虚假恐吓诈骗短信。短信声称对方因信贷诈骗已经被执法机关定位,要求当日14点前结清全部欠款,否则将会遭到上门强制“枪毙”。然而,这种“低智商”的诈骗手段,极有可能是AI筛选出最容易上当的人群,特别是那些文化程度不高、社会阅历浅薄的弱势人群。
4.虚假客服诈骗。利用AI技术生成虚假的客服对话框,冒充银行、支付机构等身份进行诈骗。例如,在一次诈骗事件中,骗子冒充银行客服,通过微信联系受害人,谎称对方银行账户异常,让受害人输入银行卡密码,导致受害人银行卡被盗刷。
5.网络钓鱼诈骗。利用AI技术生成虚假的网站、邮件等,诱导用户输入个人信息或下载恶意软件。例如,在一次网络钓鱼事件中,黑客使用AI技术生成了一个虚假的银行网站,通过短信形式告知对方打开某银行网站,让受害人输入银行卡号和密码进行验证,导致受害人银行卡被盗刷。
6.进行定向攻击。黑客可以使用AI技术分析目标用户的行为特征和个人信息,进行精准定向攻击,窃取个人敏感信息。例如,在一次定向攻击事件中,黑客使用AI技术制作了虚假的社交媒体账号,并通过该账号发送钓鱼链接,成功窃取了目标用户的个人信息。
(据央广网、钛媒体App)