看点,姚期智院士:AI糊弄引发“生计性”风险,成立大模型评估系统如饥似渴
6月23日,在清华大学进行的“科学、技术与文化的未来——AI时期伦理奇点”国际论坛上,图灵奖得主、中国科学院院士、清华大学人为智能学院院长姚期智颁发《人为智能的安全治理》主题演讲时抛出这样的疑难。 姚期智暗示,两年以前,“AI会和人类竞争”还是学术会商的概想,但最近一年,业界已经出现了不少大模型的“糊弄行为”,“一旦大模型聪明到某种水平,肯定会骗人。”姚期智进一步指出,由大说话模型的糊弄行为产生的“生计性”风险(Existential Risk)更值得关注。 一种是“生物风险”(Bio-risk)。他指出,2020年,谷歌 DeepMind推出了AlphaFold2 ,使用AI算法来预测蛋白质折叠的三维结构,这一突破在性命科学领域影响深远,大大提升了医学病理钻研以及新药开发技术。 但与此同时,安全隐忧也不成忽视。好比,近期在性命科学领域出现的“Mirror life”(镜像性命)这一概想引发了宽泛关注。天然界所有已知性命都是同手性的(Homochiral),例如 DNA 和 RNA 通常以右旋大局存在,而蛋白质则多为左旋。这种手性的差距类似于镜中映像,固然看似类似,但现实性质却可能齐全分歧。此刻,由于科技创新和对新技术的好奇,已有钻研者想创造镜像生物,但“Mirror life”一旦被滥用或失控,其潜在风险可能远超预期。它有可能逃预防疫机造,从而导致动物和植物的致命习染。 姚期智在演讲中举了一个极端案例,有模型为了预防公司把模型关关,通过接见公司主管内部邮件,威胁该主管。这类行为已经证明,AI 会“越界”,正变得越来越危险。 姚期智以为,有两条思路能够治理AI:一是人类要和AI多互换,从博弈学角度去钻研,让AI的行为和人类真正的设法对齐,要让AI更相识人的需要;另一种思路是走一条更可控、更彻底的蹊径,即实现可证明安全的 AGI。具体来看,即在设计系统时,必须一路头明确AI的行为天堑,就像传统算法,先进行严格的数学分析,确保其在理论上不会出问题。 “这一思路令人等待。”姚期智指出,近年来,自动定理证明系统(Automated Theorem Prover)获得了沉大技术进展,甚至已经起头选取 Transformer 架构来辅助或主导定理证明过程。这样人类只和可被证明安全的白盒子互换,从而实现更高的安全保险。 不外,姚期智以为,AI安全治理的一些当务之急是要发展AI对齐,以及成立相应的评估步骤。“(我们)急需成立若何评估大模型系统,好比到怎么的水平,就能感触Ta拥有危险性等这类评估。”姚期智说。




京公网安备11010202000001号

spider
-->