南都调查“深度伪造”及类似合成技术滥用催生下的黑灰产

有明星换脸视频被打包卖 有人假冒演员骗赞骗粉丝

2021-03-24 00:00作者:吴佳灵来源:南方都市报编辑:南都
近期,针对部分语音社交软件和涉“深度伪造”技术的应用未履行安全评估程序,国家互联网信息办公室、公安部指导各地网信部门、公安机关依法约谈了11家企业

展览会上展出的AI换脸互动装置。人脸替换是指将目标人脸替换到现有图像或视频中。 资料图

近期,针对部分语音社交软件和涉“深度伪造”技术的应用未履行安全评估程序,国家互联网信息办公室、公安部指导各地网信部门、公安机关依法约谈了11家企业。

南都记者调查发现,事实上,深度伪造及类似的合成技术的滥用已催生了一批黑灰产:有卖家出售破解版换脸软件,并打包出售通过换脸软件制作的女明星淫秽视频;短视频平台“假靳东”事件后,仍有假冒“东哥”账号在平台活跃。

  点名

11家互联网企业被约谈

3月18日,国家互联网信息办公室发布通告称,近日,国家互联网信息办公室、公安部指导各地网信部门、公安机关加强对语音社交软件和涉“深度伪造”技术的互联网新技术新应用安全评估工作,依法约谈映客、小米、快手、字节跳动、鲸准数服、云账户、喜马拉雅、阿里巴巴、网易云音乐、腾讯、去演等11家企业,督促其认真开展安全评估,完善风险防控机制和措施,并对安全评估中发现的安全隐患及时采取有效整改措施,切实履行企业信息内容安全主体责任。

北京师范大学网络法治国际中心执行主任、博导,中国互联网协会研究中心副主任吴沈括向南都记者介绍称,通俗来讲,可以把它理解为一种能够复刻、复现个人生物识别信息的技术,例如在近日爆红短视频平台的“蚂蚁呀嘿”里的变脸以及其他语音仿生、躯态仿生的场景等。

中国信息通信研究院云计算与大数据研究所人工智能部高级业务主管刘硕向南都记者介绍称,从广义上讲,“深度伪造”是指基于深度学习等制作音视频的合成技术。大家比较关注的有人脸替换、人脸重现、人脸编辑等技术。

刘硕解释,其中,人脸替换是指将目标人脸替换到现有图像或视频中;人脸重现是指操纵图像或视频中的人脸进行眼睛、嘴型等变化;人脸编辑涉及到对皮肤、年龄、发型等方面的改变。这一技术在影视、娱乐等领域存在一些正向的应用。

南都记者注意到,在上述被约谈的11家企业中,“去演”所涉业务就与“深度伪造”技术有关。

公开信息显示,去演是一款手机照片类App,隶属于深圳市新国都智能有限公司,专注于AI智能视频换脸、自制表情包等服务。

其在应用商店上的简介显示,去演App共有“ai视频换脸”“ai表情包制作”“ai写真换装”三大核心功能,用户可用ai技术一键替换影视综艺人脸、制作专属表情包等,产品特色为“换的像:利用深度合成技术,相似度超过99%”。

  风险

存在数据泄露、盗用等隐患

AI换脸软件爆红,背后的“深度伪造”技术实际上暗藏多种风险。

国内较早使用深度学习技术提供服务的广州图普科技网络公司曾向南都记者介绍,相对于“换脸”技术本身,由于人脸识别具有高度的直接识别性和唯一性,因此在对人脸信息处理的过程中,存在更高的数据泄露、非法滥用、盗用等隐患。

吴沈括也向南都记者举例表示,深度伪造技术主要存在三大风险。“财产侵害,特别是被用在精准电信网络诈骗当中;人身侵害,比如儿童色情和虚拟色情的场景当中;公共安全甚至国家安全,比如伪造公众人物或者国家领导人的虚拟音视频,造成社会秩序紊乱甚至国家关系冲突的严重后果。”

南都记者注意到,此前,多款AI换脸软件曾因争议被要求下架、整改。

近日,一段配以“蚂蚁呀嘿”魔性音乐的换脸视频在各大社交平台刷屏,提供该特效的AI换脸软件Avatarify也因此火爆全网,并登顶App Store免费软件下载榜首。不过,几天后的凌晨,该软件在App Store中国区悄然下架。此前,号称“仅需一张照片,出演天下好戏”的AI换脸软件“ZAO-逢脸造戏”,也曾经历过上线6天,就从爆红到被要求整改的巨大落差。

  乱象

AI换脸淫秽视频打包卖

风险之外,南都记者调查发现,深度伪造及类似的合成技术的滥用已催生了一批黑灰产。

3月22日,南都记者以“明星换脸”“换脸”“AI”等为关键词在网络检索发现,有卖家出售破解版换脸软件,并打包出售通过换脸软件制作的女明星淫秽视频。

在一个名叫“AI明星换脸”的QQ群中,一名客服向南都记者发来一份名为“AI换脸最新说明”的文本文件。文件中介绍,该工作室共有4种消费套餐,价格从28元至138元不等。其中,68元可购买一套AI技术明星换脸淫秽视频,包含迪丽热巴、刘诗诗、刘亦菲、杨颖等当红女星的视频,共500部左右。而138元则可购买“明星换脸App在线VIP版”,其介绍称,这是“全网最全的换脸App,包含国内外明星,所有换脸的作者都会上传”。

通过合成视频伪造身份,犯罪分子还可能利用这项技术实施诈骗。2020年的“假靳东”事件正暴露了视频合成技术的风险与隐忧。

此前,南都记者调查发现,在多家短视频平台上存在不少“假靳东”账号。此类账号皆以靳东照片为头像,大多以“靳·东”“小东”“东哥哥”“贺函”等为昵称,剪辑靳东照片、影视片段做再配音处理。明星效应之下骗取点赞与粉丝后,有账号甚至开始直播带货变现。

12

48小时排行

  • 站内
  • 见报

    广告ADs