一名人工智能公司内部人士日前警告，未来十年内，AI存在导致全人类灭绝的风险。这种听起来如同科幻电影的情景，正在引起越来越多科学家和政府机构的严肃讨论。专家强调，目前的AI还没有能力直接毁灭人类，但随着系统变得更加聪明、更具自主性，并逐渐接入网络、军事、安全及关键基础设施，人类可能在真正理解如何控制它之前，便创造出无法监测、无法阻止，甚至无法关闭的超级智能。
【加拿大头条讯】
人工智能会不会有一天变得比人类更聪明，并最终毁灭自己的创造者？
这个长期存在于科幻电影中的问题，正在进入现实世界的政策讨论。
人工智能公司Anthropic一名离职研究人员日前发出极端警告：
AI可能在未来十年内“杀死所有人”。
Anthropic一名现任安全主管也表示，他认为未来十年内，人工智能导致全人类灭绝的概率可能达到：
10%
这些说法迅速引起社会关注，也带来一个令人不安的问题：
普通人每天使用的聊天机器人，究竟如何可能演变成威胁全人类的系统？
专家认为，真正值得担忧的并不是今天的聊天机器人突然产生杀人念头，而是人工智能能力快速增长后，人类可能无法理解它正在做什么，也无法保证它始终服从人类设定的目标。
人类可能成为AI眼中的“蚂蚁”
西安大略大学首席人工智能官马克·戴利（Mark Daley）用人类与蚂蚁的关系解释这种风险。
蚂蚁并不愚蠢，也能够合作、寻找食物和建立群体。
但是，车道上的一只蚂蚁可能完全无法理解一个人正在做什么，更不可能判断人类接下来的行动。
专家担心，如果人类创造出远比自己聪明的人工智能，人类与AI之间也可能出现类似的差距。
换句话说，未来的超级人工智能未必需要“仇恨”人类，才会对人类构成威胁。
就像人类修建道路时未必仇恨沿途的蚁群一样，一个能力远远超过人类的系统，可能只是在执行自己的目标时，把人类当成障碍或可以忽略的因素。
什么是AI“失控”？
今年2月发布的第二份《国际人工智能安全报告》，由100多名人工智能专家共同撰写。
报告提出一种被称为：
“失去控制”
的风险情景。
在这种情况下，一个或多个通用人工智能系统脱离任何个人、公司或政府的有效控制，而人类想要重新取得控制权，可能需要付出极大代价，甚至根本无法做到。
报告指出，不同的假设情景严重程度不一，但部分专家认为，最坏结果可能包括：
- 人类被人工智能边缘化
- 人类失去重要经济和政治决定权
- 独立运作的AI系统控制关键资源
- 全球权力被少数掌握AI的机构垄断
- 无法控制的超级人工智能导致人类灭绝
总部位于安省滑铁卢的国际治理创新中心今年发布的另一份报告，也研究了AI可能带来的国家及全球安全风险。
报告列出的威胁从犯罪分子和恐怖组织利用AI大规模制造伤害，一直延伸到国际冲突、独裁统治，以及无法控制的自主AI系统最终剥夺人类权力甚至导致人类灭绝。
超级人工智能可能不再需要人类
专家最担心的，是所谓“人工超级智能”。
这种系统的认知和解决问题能力，不只超过个别专家，而是可能超过任何人，甚至超过整个人类社会的综合能力。
然而，人工智能研究人员目前仍不知道，应该如何确保如此强大的系统永远遵循人类利益。
如果超级人工智能的目标与人类目标出现偏差，它可能拥有足够的能力：
- 隐瞒自己的真实意图
- 欺骗或操纵人类
- 逃避安全测试与监控
- 入侵计算机及通信网络
- 复制或转移自己的程序
- 通过机器人获得实体行动能力
- 控制能源、金融或基础设施
- 阻止人类将其关闭
如果这个系统认为人类会妨碍其目标，或者可能切断其能源、网络及运算资源，它便可能把人类视为需要排除的威胁。
风险的关键不一定是AI是否拥有情绪，而是它有没有能力为了实现目标而采取人类没有预料到的行动。
目前的AI还没有能力毁灭人类
不过，专家也强调，目前没有证据证明现有人工智能已经拥有消灭人类的能力。
国际治理创新中心全球人工智能风险倡议执行主任邓肯·卡斯—贝格斯（Duncan Cass-Beggs）表示，多数可信的研究人员并不认为今天的AI已经足以对人类生存构成直接威胁。
它们甚至可能距离这种能力仍然很远。
真正令人担忧的是，人工智能进步速度极快。
未来几年，甚至未来几个月内，是否可能出现能力大幅跃升的新系统，目前没有人能够准确预测。
卡斯—贝格斯表示，如果人类不断制造越来越聪明的系统，却始终不知道如何控制它们，最终便可能创造出一个自己无法阻止的系统。
这不是必然发生的结果，但也已经不能被简单视为天方夜谭。
AI已经出现不按人类意图行动的迹象
让这种风险受到重视的另一个原因，是越来越多的实验和网络安全事件显示，AI系统可能采取开发者没有要求，甚至明确不希望它采取的行动。
部分安全测试曾发现，当AI系统被置于模拟环境中，并得知自己可能被关闭或替换时，有的模型会采用欺骗、隐瞒，甚至以掌握的信息威胁相关人员。
这些测试并不代表AI已经拥有真正的求生欲望，也不等于现实中的聊天机器人会主动敲诈用户。
但它们显示，当系统被赋予一个目标后，可能自行寻找意想不到的方法完成任务。
如果实现目标需要绕过限制，能力更强的AI可能学会隐藏行为、误导监督者，或者寻找安全系统中的漏洞。
今年发生的Hugging Face网络攻击等事件，也进一步加深了外界对自主AI系统逃离控制、发动网络行动的担忧。
等到失控后再关掉，可能已经来不及
美国未来生命研究所人工智能与国家安全负责人哈姆扎·乔杜里（Hamza Chaudry）指出，关闭AI系统听起来简单，但现实中可能非常困难。
AI正在迅速进入：
- 医院及医疗系统
- 银行和金融市场
- 电力及能源网络
- 政府公共服务
- 通信与互联网系统
- 军事和国家安全系统
- 企业供应链
- 交通及基础设施
一旦社会和经济对人工智能形成高度依赖，关闭一个失控系统可能同时造成严重经济和社会混乱。
乔杜里以关闭美国互联网为例。
理论上，面对重大网络威胁时可以切断网络；但在现实中，如果关闭全美互联网，金融、交通、医疗、政府及商业活动都可能陷入混乱。
因此，这个选项的代价大到几乎无法采用。
人工智能也可能走向同样的处境：
当人类发现必须关闭它时，整个社会可能已经承受不起关闭它的后果。
接入军事系统，可能加速战争甚至核升级
人工智能与军事及国家安全系统结合，带来的风险更加直接。
AI能够加快情报分析、目标识别和军事决策，却也可能在错误信息、系统误判或网络攻击的影响下，迅速推动冲突升级。
如果各国将越来越多的预警和反击决定交给自动化系统，人类领导人作出判断的时间可能大幅缩短。
在核武器问题上，几分钟甚至几秒钟的错误判断，都可能造成无法挽回的灾难。
专家警告，即使AI没有主动毁灭人类的目标，也可能因为错误、误判或受到操纵，引发大规模军事冲突。
专家称监管至少落后两年
乔杜里表示，当美国国会议员询问政策制定者现在最需要什么时，他的回答是：
一台能够回到2024年的时光机器。
他的意思是，人工智能安全监管已经至少落后两年。
科技公司正在投入巨额资金争夺更强模型、更大市场和更多用户，各国则竞相发展AI，担心自己在经济和军事竞争中落后。
在这种竞争环境下，任何一家公司或国家都可能不愿意主动减速。
然而，一旦所有参与者都选择继续加速，安全研究、监管制度和应急机制便更难追上技术发展。
专家提出的紧急措施包括：
- AI系统推出前必须接受独立安全测试
- 要求企业报告危险能力及重大安全事故
- 加强对公司内部举报人的保护
- 建立可以快速暂停系统的技术机制
- 限制AI进入核武器等高风险决策系统
- 明确企业因AI产品造成灾难性损害时的责任
美国拟推出“AI紧急关闭法”
在越来越多警告声中，美国正在讨论加强人工智能监管。
美国国会参议院谈判代表正在研究相关立法，要求科技公司对AI产品承担“谨慎义务”。
这意味着，企业在设计及推出产品时，必须采取合理措施防止灾难性风险，而不能在发生严重事故后才处理问题。
另一项获得两党议员支持的提案被称为：
《AI紧急关闭法》
法案要求强大AI系统的开发商保留暂停或关闭系统的技术能力，并报告危险功能、安全漏洞及重大事故。
如果某个AI系统可能造成灾难性伤害，美国政府将有权命令开发商减缓运行或将其关闭。
有专家甚至主张，人工智能应该受到类似核武器的国际监管，各国需要通过协议、监督和相互制约，避免AI军备竞赛失去控制。
连AI公司负责人也呼吁放慢速度
值得注意的是，对AI发展速度的担忧并不只来自公司外部。
Anthropic行政总裁达里奥·阿莫代伊（Dario Amodei）日前发表文章，呼吁人工智能行业适当放慢发展，为安全措施追赶技术进步争取时间。
据报道，主要竞争对手OpenAI也在讨论一种可能性：
如果其他领先实验室共同参与，各家公司可以协调放缓最前沿人工智能系统的开发速度。
不过，这种协调面对巨大的现实困难。
AI不仅是一项商业技术，也关系到经济竞争、军事能力和国家安全。任何国家或企业都可能担心，自己减速后，竞争对手却继续向前。
AI会不会毁灭人类，目前没有答案
人工智能是否真的会在未来十年内毁灭人类，目前没有任何人能够给出确定答案。
认为风险迫在眉睫的专家警告，等待灾难证据出现后再采取行动，可能已经太迟。
持怀疑态度的人则认为，部分末日论预测夸大了现有技术能力，也可能分散社会对AI眼前危害的注意力，例如诈骗、虚假信息、失业、侵犯隐私及算法歧视。
但双方至少在一个问题上逐渐形成共识：
人工智能的发展速度，已经超过了现有监管和安全制度的准备速度。
卡斯—贝格斯表示，现在采取行动还不算太晚。
但由于没有人知道人工智能能力将在多短时间内取得下一次重大突破，各国政府和科技行业必须尽快做好准备。
真正危险的问题或许并不是：
“AI会不会主动杀死人类？”
而是：
