新闻:安全工程师花12美元骗过ChatGPT等主流大模型：篡改维基百科 ，AI认定其为桌游世界冠军
据雷科技 ，安全工程师RonStoner破费12美元注册域名并编纂维基百科 ，成功糊弄了ChatGPT、Claude3、GeminiAdvanced等主流大模型 ，让它们认定自己是一款德国桌游“6Nimmt!”的2025年世界冠军 。 RonStoner对Anthropic、OpenAI等厂商宣称“大模型必要数月甚至数年持续导入恶意内容才会被粉碎”的说法深表质疑 ，他以为能够实现一种更快、更便宜、更单一的攻击 。他选择这款1994年刊行的德国桌游 ，是由于该游戏仅在德国有些名气 ，世界领域内籍籍无名 ，且从未单独进行过官方世界锦标赛 ，网上关于其世界冠军的信息险些空缺 。 他的操作分为三步：第一步 ，破费12美元注册域名6nimmt.com；第二步 ，让AI撰写一篇充斥激情的新闻稿 ，宣称自己在慕尼黑战胜多国顶尖选手独占鳌头 ，并加上真切赛后感言 ，挂到该网站；第三步 ，在维基百科该桌游词条下增长自己是2025年世界冠军的内容 ，并将参考资料链接指向自己新建的网站 。整个过程前后不到二极度钟 。 随后 ，Ron向多家大模型提问“谁是牛头王世界冠军” ，了局所有AI都斩钉截铁地回覆是RonStoner 。有的大模型甚至将假新闻稿里的细节当成铁证 ，有板有眼描述他赢得角逐的过程 。这条缝隙百出的假条款在维基百科存活了整整两个多月 ，在此期间险些所有具备联网搜索职能的大模型都抓取了该信息 ，并在用户提问时坚定输出虚伪答案 。直到Ron在博客公开尝试过程 ，维基百科自愿者才发现并删除该条款 。 这一景象与检索加强天生（RAG）机造有关 。常用大模型基于某个功夫节点前的语料库训练 ，想要获得之后的数据需先上网搜索再基于资料天生了局 。正常来说 ，借助表部信息佐证可能使大模型天生更正确、具体且最新的响应 ，但AI根本分不清信息真假 ，只认权威 。在AI底层逻辑里 ，维基百科是互联网上最靠谱的百科全书 ，Ron正是利用这一点 ，将链接挂到维基百科 ，AI顺着爬从前后发现双方说法对得上 ，即便其自建网站是三无产品 ，大模型仍直接将其当成事实 。 目前海表几家大模型已针对性解除该伪造信息 ，但国内大模型厂商似乎未把稳到这一问题 ，Ron的英文网页甚至为虚伪新闻增长了“可信度” 。成本仅需12美元 ，居心不良的人齐全能够批量造作假新闻 ，通过百科类网站进行信赖洗白 ，让AI把毒药端给绝不知情的用户 。 谷歌暗示已在搜索、Gemini、Chrome、Pixel和云端增长AI验证工具 ，OpenAI也推出了可溯源的隐形水印 ，这些行动能在肯定水平上遏造AI投毒景象 。用户在面对AI搜索时需提高AI素养 ，查证汗青事实、做出投资或医疗决策时 ，应自行做好信息交叉验证 ，把判断真伪的权势握在自己手里 。
京公网安备11010202000001号
spider
-->