上海市人大代表：AI深度伪造欺诈暴增3000%，克隆人声电信诈骗防不胜防

2025-04-28 来源：AI图库吧

“AI语音克隆令人难辨真假，名人视频遭伪造而‘被带货’，统计显示2023年基于AI的深度伪造欺诈暴增3000%……”市人大代表、上海合合信息科技股份有限公司董事、董事会秘书刘忱表示，生成式人工智能加快迭代，在带来便利的同时，如果缺乏科技伦理的规范引导，容易滋生出诸多安全隐患，成为不法分子实施网络犯罪的新工具。

刘忱分析说，生成式人工智能技术（即AIGC）短短两年便实现从文生文、文生图到深度伪造、文生视频的跨越。在流量与金钱利益驱使下，会自动生成带有偏见的评论，扰乱舆论生态。引发电信诈骗技术升级，严重威胁公众财产安全。根据专业安全技术公司对全球7个国家的7000多名被访者的调查，四分之一的成年人受访者经历过ai语音克隆骗局，70%的人难以分辨克隆声音与真实人声。同时，AIGC信息茧房容易加剧社会偏见，AIGC也容易造成知识产权侵权频发。

刘忱建议，必须多管齐下，从治理机制构建、技术研究加强、伦理训练与数据集优化，到知识产权保护强化等多方面入手，方能引导科技向善，有效应对AIGC带来的安全挑战，推动行业良性发展。

“要鼓励企业研发AI防御与鉴伪技术，开展主动防御和主动监测。”刘忱提出，应该鼓励科技企业运用技术手段，强化对AIGC虚假信息的甄别。比如，利用数字水印技术实现AIGC合成内容追踪溯源，文本、图像、音频、视频等均可作为数字水印载体，验证者通过算法对文本中的数字水印进行验证，快速识别机器生成文本内容，实现“主动防御”。又如，引入AI欺诈检测与鉴伪技术，精准识别伪造内容，实时监测并应对AIGC欺诈行为，以技术防御和人工干预相结合的方式，实现“主动检测”，筑牢安全防线。同时，他建议加快推进落实行业标准，平台机构应开展违规内容检测，防止传播AIGC生成的违规信息，多方联合共同打击AIGC虚假新闻。

“目前AIGC的导向掌握在训练模型的人类手中，算法偏见的根源来自数据。因此，构建更加公正的数据集是解决算法偏见的根本方法之一。”刘忱建议，构建伦理训练与数据集体系。

此外，刘忱建议明确AIGC知识产权归属，细化侵权责任认定，加强数据知识产权保护。“执法过程中可引入技术手段，对AIGC生成的视频、图像进行版权标识和追踪，为原创作品提供确权服务，维护创作者合法权益，促进AIGC技术在尊重知识产权的前提下健康发展。”

马斯克旗下AI聊天机器人Grok被曝出现尴尬“AI幻觉”：一直强调自己是OpenAI开发的产品丨官方回应：已经修复

最后一页