设为首页 | 加入收藏 | 网站地图

科技

当前位置:主页 > 科技 >

一键中断!DeepMind研究人工智能安全「红色按钮」

2016-06-07 09:29 | 未知 |
我要分享

一、DeepMind 的「红色大按钮」

谷歌的人工智能秘密机构正在研究一个能够让人工智能软件停止运作的「红色大按钮」。

有研究人员曾经警告说,人工智能或许会接管世界,带来世界末日,威胁到人类的生存等。一位专家在新发布的论文中表示,谷歌人工智能战胜围棋世界冠军这一历史性胜利,证明了人工智能「可能具有不可预测性,也可能会违反人类道德」。

而现在,DeepMind 站了出来,说他们已经有了自己的答案——一个关闭人工智能的开关。

谷歌的 DeepMind 团队说,人工智能代理「可能不会每时每刻都以最佳模式工作。」该团队呼吁应在系统中构建 「安全的可中断能力」。

Deep Mind 的 Laurent Orseau 和来自牛津大学人类未来研究所( the Future of Humanity Institute )的 Stuart Armstrong 博士合著了一篇论文《Safely Interruptible Agents》发表在机器智能研究所(MIRI)的网站上,他们认为:人工智能代理「可能不会每时每刻都以最佳模式工作」。

他们表示:「有时候,非常需要人类操作人员按下红色大按钮,以防代理继续执行有害的操作序列(包括可能对代理本身有害,或对环境有害的操作),从而引导代理进入更安全的情况。」

他们说,关键是「安全的可中断能力」。

「机器人如果操作出现错误,或者可能会导致不可逆的结果时,安全的可中断能力可以发挥作用,也可以帮助机器人从紧张的局势中脱离出来,甚至可以临时让机器人完成某个未学习过如何执行的任务。」论文中作者也表示,一些系统可能不能够被叫停。

「我们还不明确,是不是对所有算法来说,都能轻而易举地赋予可被安全中断的特性。」

作者 Armstrong  之前警告说,在机器人超越人类,甚至是意外地灭绝人类之前,研发人工智能研究的保障措施是一场与时间的竞赛。

二、人工智能威胁论

今年初,Armstrong  于伦敦参与了一场关于人工智能的辩论,他警告说,尽管机器人被指示要保护人类,人类也有可能被灭绝。

据英国《电讯报》报道, Armstrong  就曾预测,机器人将会执行琐碎的工作,逐渐成为人类日常生活不可或缺的一部分,但最终人类也会由此变得多余,而机器人则会接管世界。

Armstrong  相信,机器人将会以人类大脑无法理解的超高速工作,从而略过与人类的通信进而控制经济、金融市场,还有交通、医疗等。

机器人将不再只能够执行特定的、有限的任务,而是会拥有所谓的人工通用智能(AGI),能够执行的任务将会大大增多。

Armstrong  博士相信,在机器人超越人类(比如图中显示的电影《超验骇客》中的场景),甚至是意外地灭绝人类之前,研发人工智能研究的保障措施是一场与时间的竞赛。

他说,「接下来的 100 年中,你能想象到的人类能做的事情,AGI 有可能都可以非常快地完成。」

Armstrong 担心,对 AGI 来说,一条简单的「阻止人类继续承受痛苦」的指令,可能会被超级计算机解读为「杀掉所有的人类」,而「保证人类的安全」则可能让机器把所有人禁闭起来。

他说,「人工智能这种有害行为会带来风险」,并补充道,人类语言如此微妙,有可能会被误读。

「你可以将一些控制权赋予人工智能,而人工智能也会在这些控制权的限制下运作。但这些控制权造成的效果可能会与人类原本的期望相悖。」他预测道,对一个机器来说,很难说它是否有致命的「意图」,它的行为是否可以符合人类权益,除非,机器本身可以掌控所有功能。史蒂芬·霍金教授之前接受 BBC 采访时曾说:「全人工智能的发展将意味着人类的终结。」

Armstrong  博士预测说,机器人将会执行琐碎的工作,逐渐成为人类日常生活不可或缺的一部分。但最终人类也会由此变得多余,而机器人则会接管世界。

Armstrong  今年年初也发表过相似的意见,他当时说,创建人工智能方面的成功「可能会成为人类历史上一场最重大的事件,而且不幸的是,也可能是最后一件」。

同样的,去年 11 月,Space-X 和 Tesla 的创始人 Elon Musk 曾警告说,仅仅在屈指可数的五年之后,就可能会因为机器拥有人工智能,让人类面临「一些极其危险的事情」的威胁。

马斯克曾将自动化的、有思维的机器与「召唤恶魔」相提并论。

「我们正用人工智能召唤恶魔。你知道这个故事,有一个人拿着五角星一样的东西,还带着圣水...... 他确定自己能够控制恶魔吗?他不知道。」

同时, Armstrong 虽然承认超级人工智能计算机或许有找到癌症和其他疾病的治疗对策等强大的能力。但是,人类仍处于一场致力于打造安全的人工智能机器的竞赛中,争分夺秒,以免为时过晚。

一种方法是,把道德准则教给机器人,但是 Armstrong 对这点是否可行不抱太大希望。因为人类发现自己都很难区分对错,而且就行为规范来讲,人类通常也不是好的榜样。

(责任编辑:刘名)
网友评论