人工智能软件不仅能够模仿他人的声音、语调,甚至还能模仿带德国口音的英语。 图据英国verdict
如果你的老板打电话让你做事,你会不加分辨地照办吗?读完这个故事,也许你会多一个心眼儿。
据《每日邮报》9月6日报道,今年3月,一名诈骗犯利用AI语音模仿软件冒充公司大老板,成功让一家英国能源公司的CEO相信自己正在与德国母公司的老板通电话。
在电话中,诈骗犯要求这位CEO立即将22万欧元转到匈牙利一家供应商的银行账户,以避免缴纳“滞纳金”,并将转账信息以邮件形式发送,而这位高管毫不犹豫地照做了。 最终,这22万欧元一去不复返……
近日,为这家能源公司承保的裕利安宜公司(Euler Hermes)向媒体透露了此案细节。据报道,此案被认为是全球首例涉及人工智能的诈骗案,这再度引发了人们对人工智能软件被用于犯罪的担忧。
德国口音的英语也能模仿
据《华盛顿邮报》报道,这位CEO后来在一封电子邮件中指出,这个要求相当“奇怪”,但“大老板”的德国口音非常逼真,他觉得自己别无选择,只能服从。
这家英国能源公司的承保人裕利安宜公司说,这位公司高管当时以为自己是在和他的德国老板谈话,于是按照要求在一个小时内电汇了这笔钱,为的是帮助公司避免拖欠罚款。
这家保险公司表示:“骗子使用的某种人工智能软件,不仅能够模仿他人的声音、语调,甚至还能模仿带德国口音的英语。”
据悉,骗子一共打了三次电话。第二通电话是在22万欧元汇出后,对方打电话告诉这位高管,母公司会转移资金偿还英国公司的费用。
此案引发了人们对人工智能软件被用于犯罪的担忧。 图据《每日邮报》
而在当天晚些时候,当这位高管接到第三通电话,对方故技重施冒充德国老板要求第二次付款时,他才意识到不对劲。由于对方承诺的转账偿还资金并没有收到,且这次的电话号码显示来自奥地利,出于怀疑,他没有支付第二笔款项,而是直接致电德国老板本人,结果发现自己被骗。
“(假的)‘约翰内斯’甚至在我正与真正的约翰内斯通话时,要求跟我通话!”这位CEO在一封电子邮件中说道。
然而,裕利安宜公司表示,等发现真相时,第一笔汇出22万欧元已通过匈牙利和墨西哥的账户被转移分散到了多个账户,目前还没有称查到嫌疑人,这笔钱已无法找回。最终,保险公司承诺将承担全部的损失费用。
一些研究人员表示,这是世界上首次公开报道的人工智能诈骗案。
“深度伪造”AI技术非专业罪犯也能用
据《每日邮报》报道,这种AI语音模仿技术的工作原理是将一个人的声音分解成音节或声音,然后再进行重新排列,再形成新的句子。尽管该系统仍处于早期开发阶段有不少瑕疵,但如果犯罪者假装在汽车或繁忙的环境中,就可以将令人生疑的地方掩盖过去。
一些初创企业Lyrebird等规模较小的公司,正在努力使这些工具可以更广泛地免费、无限制地使用。比如,Lyrebird允许任何人通过上传一分钟的语音片段创建一个“声音化身”,它被称为“世界上最真实的人造声音。”
但这种AI合成音频以及AI合成视频,即所谓的“深度伪造(deepfakes)技术”,已加剧了人们对新生技术侵蚀公众信任、赋予犯罪分子权力、让传统的通讯业务交易、家庭电话,甚至是总统竞选活动更容易受到电脑操纵的担忧。
“犯罪分子会利用任何能让他们以最低成本达到目的的工具,”斯坦福大学网络政策中心研究员、白宫网络安全政策高级主管安德鲁·格罗托说道。他指出:“这项在十年前听起来很神奇的技术,现在任何一个有创造力的非专业罪犯都可以使用。”
对于外界的抨击和担忧,Lyrebird的一名发言人在一份声明中写道:“想象一下,就算我们不发布这项技术,其他人也会开发它,谁知道他们的想法是否会和我们一样真诚。”
Lyrebird这类开发这项技术的公司不断强调着它的积极用途,称它可以帮助自动化电话系统更加人性化,并帮助哑巴“重新说话”。然而,最新报告的这起事件,势必将引发人们对不受监管的“深度伪造”技术被犯罪分子利用,导致有针对性的黑客攻击和网络犯罪的担忧。
网络安全公司Symatec的研究人员称,他们发现了三起类似的案例,高管被使用人工智能的骗子要求向另一个账户汇款。该公司透露,其中一个案例的损失总计达数百万美元。
利用“深度伪造”技术制作的美国前总统奥巴马的虚假视频。图据美联社
显然,不少大型科技公司已经意识到了这项技术带来的危害。就在9月5日,Facebook和微软公司发起了一项新的运动,将打击那些看起来极其逼真的“深度伪造”视频。已投入1000万美元成立基金,专门用于创建一个系统,利用一个“伪造数据库”来检测这些“深度伪造”的产品。
“这项挑战的目标是创造一种技术,让每个人都能更好地检测出什么时候人工智能被用来修改视频,误导受众,”Facebook首席技术官迈克·施罗德弗表示。
红星新闻记者 王雅林 徐缓 编译报道
编辑 张寻