海报新闻首席记者谢强民记者孙来宾报道称，“这些都是带有我照片的AI，我已经向派出所报案了。”从今年起，青岛保时捷中心销售冠军牟倩文深感困扰：有人利用AI（人工智能）技术，恶意将他的照片生成色情视频并在网络上传播。牟倩文在社交平台上留下了“自洁者自洁”的无奈言论，并呼吁网友不要制造、传播谣言。近年来，随着人工智能技术的快速发展，普通人掌握人工智能工具的门槛越来越低，与之相关的风险也迅速增加。像人工智能换脸和人工智能克隆声音这样的重大问题经常出现。他们的脸和声音被人工智能“偷走”后，他们失去了名誉、金钱和安全感。长期以来，牟倩文的名字时常出现与保时捷一起红上热搜榜。 2023年和2024年，他连续两年销售了170辆保时捷汽车，成为保时捷中国华北地区的销量领先者。他没想到，自己通过表演获得的名气，却成为了关于他的谣言的“导火索”。青岛保时捷中心销售冠军牟倩文今年10月，牟倩文发现网上出现了大量由AI无意合成的色情视频，而且主角个个都有他的“脸”。这让他害怕又愤怒。更愤怒的人还不断通过私信取笑他，这对他的工作和生活造成了影响。最终，他选择了报警。警方迅速展开调查。 10月12日，青岛市公安局李沧分局判处涉案人员丁某某行政拘留五日。这是牟倩文一年内第二次被此类事情打扰。h 视频。他不断被批评“不好”，这让他虽然名气很大，但身心都受到了影响。互联网“素人”魏先生也有类似经历。今年5月，南宁市民魏先生收到一条奇怪的短信。短信中包含“她”裸露上半身与裸女亲密接触的视频截图，并配文：“伟×，这是我最后一次联系你，我不想让你后悔一辈子，请看到图片后尽快回复，别等到来不及了！”南宁市民魏先生收到一条奇怪的短信。短信中，有一段“他”上身裸露，与裸体女子亲密的视频截图（采访者提供）“看到短信的时候，我很困惑，我的第一反应是，我的信息肯定被泄露了。”意识到犯罪分子可以使用人工智能为了合成图像进行诈骗，魏先生立即报了警。牟倩文和魏先生的经历并不是独一无二的。新闻记者注意到，随着人工智能技术的进步，换脸、克隆声音等侵犯公民名誉权、隐私权的现象时有发生。今年年初，山西太原的配音师吴阳意外发现自己的声音被秘密克隆，并被用作广州一家火锅店宣传视频的画外音。配音演员吴阳吴阳其实和火锅店有合作。吊诡的是，他翻阅了各种记录，都显示双方的合作发生在去年。那么，这个最新宣传视频中的“自己的声音”从何而来？他又找到了庆功，很快就得到了答案：为了节省成本，店里直接“喂”了之前AI合作的吴阳的声音。之后发现后，他克隆了自己，并以几乎“零成本”的方式获得了新的宣传视频配音。 “我真的很生气，在确认那是AI配音之前，我怀疑自己，这就是我叫的声音吗？我自己忘了吗？因为声音太相似了。”这件事距离被发现已经过去半年了。尽管涉事火锅店已删除相关视频，但双方尚未达成赔偿协议。在此期间，吴阳还发现了另外两个克隆自己声音的商业视频。作为一名从事配音工作的专业人士，他浑身发抖。目前，吴阳正在努力通过法律途径维护自己的权利。 AI滥用的门槛有多大？记者实测：无中生有只需2分钟。更令人担忧的是，极低的人工智能工具使用门槛并不能阻止那些利用自身欲望的人——他们要么是为了寻找非法收入，要么只是出于好奇。 “一个无家可归的人正在毁坏你的房子，快回来吧！” 10月17日晚，安徽一女子利用AI工具生成了“流浪汉躺在餐厅”的高度逼真图像，并发送给正在一起吃饭的丈夫，测试他的反应。没想到丈夫信了，立即报警求助。警方赶到现场后确定这是一场虚惊。记者调查发现，近期多地发生“人工智能恶作剧”引发的闹剧。有的导致亲戚连夜从外地赶回来，有的导致整栋楼被调查在地板上。警方提醒，此类行为若造成严重后果，可能触犯法律红线，涉案人员将面临拘留、罚款，情节严重的，将追究刑事责任。曾经只出现在科幻电影中的AI技术，如今的使用门槛有多低？海报新闻记者c进行现场测量。以一段“流浪汉毁坏房屋”的虚拟视频为测试目标，记者先拍了一张自家厨房的照片，将照片上传到“客灵爱”、“吉萌”等AI软件中，然后输入一句指导性词语：一个流浪汉站在厨房门口，手里拿着一个馒头。点击“Build”按钮，十几秒后，一张无家可归者站在记者家厨房里的照片出现在你的面前。只要在AI软件中输入一句提示词，厨房门口就会出现一个拿着馒头的“流浪汉”（右图为AI生成的图片）“图片可以修图，但只有视频才能表达真相”。抱着这样的想法，记者将继续尝试。根据上图，记者点击“生成视频”按钮，并添加了描述该动作的简短文字：无家可归的人咬了一口蒸的包子走到镜头前，微笑着。几秒钟后，任务完成，生成了一段5秒的视频：流浪者自然地咬了一口包子，点头几步，微笑着。视频内容非常符合即时词的要求，甚至可以看到无家可归者走路时倒映在门窗玻璃上的影子！记者请同事们一起来认。很多人盯着它看了半天，却找不到什么明显的破绽。 “照片生图片，图片生视频”整个过程仅需120秒。付费用户还可以下载无水印的高清照片和视频。在传统印象中，如果想要用软件制作出逼真的照片和视频，就需要高端且昂贵的设备以及具有编码技能的程序员。然而事实摆在眼前：下载一个软件，输入一两句话，然后你可以做到的。业内人士指出，AI生成工具已经实现了“单图照片修改”、“种植场景”等功能。他们通过深度学习算法提取面部特征点和环境元素，快速完成图像融合和动态生成。在此背景下，部分平台对训练语料管理不严，未落实内容标注要求，导致大量虚假信息隐蔽传播。是否可以用AI来“管理”AI？ AI管理方式亟需迭代升级。人工智能技术正在重塑生产生活方式。从Chatgpt的出现到全能的Deepseek，短短两年的时间，人们已经很快习惯了使用AI工具。然而，迭代升级不仅涉及算法，还存在随之而来的滥用风险。短暂的震惊和愤怒之后，吴阳又有了新的担忧：会不会？他们（犯罪分子）以后用我的声音给我的家人朋友打电话，甚至进行诈骗？有业内人士认为，判断视频或声音是否深度合成的最好方法是用AI来“管理”AI。大规模人工智能模型研究员潘继明表示，从技术角度来看，基于AI技术的AI内容识别是最快的方式。例如，Deepfake的专家识别模型可以用来分析视频和音频中的不自然特征，例如眨眼频率去除、面部肌肉运动的生理一致性、音频和纯唇形同步率、来源一致性等，并从细微的物理或生理缺陷中发现线索。北京竞天公诚律师事务所律师马胜军指出，人工智能造成的伤害发生率持续上升。尽管现行民事侵权责任规则针对特定情况vil法典可以规范某些人工智能应用，但不能普遍规范不同类型的人工智能侵权行为。他呼吁人工智能服务商加强测试和分析，确保技术合法合规使用。面对日益增多的人工智能滥用和侵权行为，监管层面已推出多项应对措施。 2025年4月，国家网信办开展“澄清事实、打击人工智能技术滥用”专项行动。第一阶段，废弃违规小程序、应用、代理等人工智能产品3500余个，清理违法信息96万余条，废弃账号3700余个。 9月1日，《人工智能生成合成内容标注办法》正式实施，明确要求服务商对合成内容添加元数据标签，防止“不基因”今年初，最高人民法院刑事三庭庭长陈洪祥在接受媒体采访时表示，针对人工智能深度伪造带来的新情况、新问题，最高人民法院将加强研究，会同有关部门及时出台规范性法律文件或实施细则，完善法律适用。以人工智能破解电信网络诈骗犯罪的重要性进行论证，他表示，诈骗分子正在利用人工智能深度伪造新技术不断改变诈骗手段，对此，人民法院将积极应对挑战，强化法律支撑，完善相关法律规范，降低技术门槛原本是为了方便AI生产工具的普及和应用，却无意中打开了“潘多拉魔盒”。滥用人工智能。随着技术的发展，AI管理方式也急需迭代升级。
