用魔法打败魔法？腾讯上线AI “鉴别工具”
如果说2023年是“生成式人工智能”的元年，那么2024年无疑是“爆发年”。这一年，AI技术不仅在文字、图像和视频生成领域实现了全面升级，还深刻融入了千行百业。然而，随着技术的快速发展，AI内容生成也带来了信任危机——假消息、伪造内容的传播比以往更加隐蔽且难以察觉。
生成式AI：强大的生产力与隐忧 生成式AI因其强大的学习与自我纠错能力，能够精准洞察用户需求，这一特性在推动产业发展的同时，也被恶意利用。根据瑞士苏黎世大学的研究显示，AI生成的虚假信息比人类制造的更难被识破——其结构化表达更易获得信任。这一现象让我们不得不思考：如何在享受AI便利的同时，防范其潜在威胁？ 凭借AI强大的学习能力，它可以精准分析出受众的需要和喜好，再加上不断地“纠偏能力”，在被恶意利用的情况下能够更有针对性生产谣言。瑞士苏黎世大学的一项研究发现，当AI和人类都发布了虚假推文时，AI被识破的几率比人类低3%。也就是说，与人类相比，AI生成的文本往往更加结构化，更容易被接受。 你能分辨出下面的图片哪些是AI生成的吗？ 以上全部都是AI生成的图片 虽然AI生成的图像在细节纹理上越来越逼真，但依然有迹可循。近日，腾讯混元宣布朱雀实验室研发了一款AI生成图片检测系统，将图片上传——等待验证——判断是否由AI生成，整个过程只有几秒钟，就能用魔法打败魔法——用AI“检测”AI生成。一起来看看效果如何吧！ 看来AI检测系统也不是完全的火眼金睛嘛，还是有一张没有被看出来。 左图是真实的 右边则是AI生成图 究其背后的检测逻辑，主要是捕捉真实图片与AI生图之间的差异来进行区分。 差异一：AI生成图有时并不符合常识逻辑 AI生图有时会生成不符合常识逻辑的内容，例如，现实世界的小狗不会带有翅膀，那带着翅膀在空中飞的小狗就极有可能是AI生成的；猫咪不会抽烟，那叼着雪茄的猫咪就极有可能是AI生成的 （如下图） 差异二：AI生成图片需要“加水印” 大多数情况下，人工智能生成合成内容提供者有义务对相关生成合成内容添加显式或隐式标识。也就是我们俗称的“加水印”，这种标识可能是肉眼可见的，也有可能因为套了几层图之后并不明显，这时候就可以使用AI检测工具来读取。 差异三：AI生成图片包含隐层特征 除了肉眼可见的明显错误，以及显式的AI生成标识，一些AI生成的图片往往还包含一些肉眼不可见的特征。例如下图所示，左边AI生成的图片通过调整图片HSV后，会发现局部纹理出现一些密集分布的亮点，而真实的图片则不会呈现这些特征。 生成图片调整HSV色彩空间后出现的显著特征（图片来源于suanfamama数据集） 需要指出的是，鉴别AI生成往往不能依靠单一依据。因此，AI生成图片检测系统需要利用AI模型来捕捉真实图片与AI生图之间各类特征的差异，包括图片的纹理、语义及隐形特征。为了提升系统的检测效果，使用了140万份正负样本进行模型训练，考虑了多种生成内容场景，如人体、人像、风景、地标、植物、电影、游戏、新闻等，最终测试检出率达95%以上，还在持续优化提升中。 同时，朱雀实验室还同步开发了文本检测系统，通过对AI生成文本和人类写作内容的海量数据学习来实现文本检测。 与图片内容检测一样，文本检测系统背后也搜集了大量正负样本进行训练，涵盖不同领域、不同大语言模型的生成文本。此外，还运用了对比的方式，将检测文本与大模型预测内容进行重叠度对比，来推断文章的AI生成概率，以增强对未见过数据的检测能力。目前，AI生成文本检测系统涵盖了新闻通讯、公文、小说、散文等多样化文体，接下来还会对诗歌等体裁进行补强，用于提高文本识别的准确率。 而随着AI的爆发式增长，学界和业界关于【用AI检测AI生成】的需求也越来越多，朱雀实验室分别开发了AI生成图片检测、AI生成文本检测两款工具，目前可以对外提供体验服务，欢迎大家一起来测试，后续也将推出AI生成视频的检测工具，进一步完善检测能力。 不过，所有的技术都不是绝对完美的，检测和逃逸是个相互对抗发展的过程。期待未来的技术发展越来越成熟，AI生成的效果更好，对AI内容也有更成熟的识别和检测方式。
{{Spin?"加载中...":"没有更多内容"}}
