金融情报局网_中国金融门户网站 让金融财经离的更近

今亮点!AGI时代,如何避免人类危机?

当前位置:金融情报局网_中国金融门户网站 让金融财经离的更近>各地 > 各地 > 正文  2023-06-25 17:16:08 来源:不二科技精选

本文来自微信公众号:XYY的读书笔记(ID:xiaoyanyan00002),作者:肖俨衍,题图:由Midjourney生成


(相关资料图)

AGI(Artificial general intelligence,通用人工智能)时代的曙光带来的不仅是新技术的兴奋,还有潜在人类危机。“如果AGI比人类还智能,未来还有断电的方法”。听起来好像很有道理,如果AGI比人类智能,其一定知道自己的弱点,从而避免人类打击它的弱点。由此,这个方法很可能是不可行的。

本篇,我们聚焦应该如何设计AGI系统从而避免其对人类生存构成基本危机,避免我们成为猿猴第二(孵化了人类,但自己却成了“玩偶”)。反言之,忽略了这个问题的AGI路线,要不被人类叫停,要不就会成为巨大风险。

《Human Compatible》这本书的作者Stuart Russell是UC Berkeley大学的计算机系教授,也是著名人工智能教材《Artificial Intelligence: A modern approach》的作者,这本书写作于2019年,GPT还没出来,但其从智能的定义谈起,谈到作者对于AGI风险的辩论,并且提出了一套可行的设计框架,值得一看。

引子:AGI时代的隐忧

设想五个场景,你认为哪个会是人类历史上最大的事情?

1. 由于其他行星撞击等事件,人类灭亡;

2. 人类获得永生;

3. 我们发明了超越光速的飞行器,征服了宇宙;

4. 外星人来临;

5. 我们发明了超级人工智能AGI。

作者看来,第五个应该是对人类文明最大影响因素,其可能带来非线性阶跃,其包含了1-4事件能够给人类带来所有可能性——永生、毁灭、征服等,甚至可能是人类历史上最后一个事件。AGI时代是否很快就会到来?这一点几乎很难预测,就像人类发明原子弹的历史,1933年诺贝尔化学奖得主卢瑟福(Rutherford)说:“任何从原子转换中获取能量的想法都是天方夜谭”。然而,6年后,1939年,第一个原子弹类型武器专利在法国发布。

智能的定义。“越智能越好”是AI时代发展的基本纲要,然而智能的定义到底是什么?人类智能的核心是我们能够基于我们的目标采取相应的行动。类似的,对于机器智能,我们也可以采取类似的目标和行动关联关系的定义。

然而,机器的目标和人类的目标如何对齐,却成为AGI发展过程中最核心的问题和风险来源,如果机器的行为基于实现机器的目标,而这个目标与人类的目标相违背,那就可能是灾难。当然,你可以简单将这个目标替换为人类的目标,也即机器的目标是实现人类的目标,然而,人类自己是否真正知道自己的目标?我是谁,我来自哪里,我要去何方,几乎是人类哲学要解决的终极问题。由于人类的复杂性,目标对齐本身也充满复杂性。

一、简述人类的智能和机器的智能

人类智能进化历史

正如前文所言,一个智能主体核心定义是,基于其感知能力,其能够基于目标做出对应行动。从这个角度,一个细菌能够感知外界环境,做出相应反应,其是智能的。

下一步是神经系统诞生,神经能够通过突触快速传播电信号,且通过不断学习调整参数,神经系统可以培养行动习惯集合,此后大脑诞生。实际上,对大脑底层机制的研究就是人工智能的底层机制,而我们科学研究的进展目前也仅限于大脑神经结构的理解,而对学习、认知、记忆、推理、计划等一系列行为机制理解很有限——基本靠猜。

大脑反馈系统也广为人知,大脑倾向于对一些增加多巴胺释放的行为进行重复(比如吃甜食,比如别人的夸奖),反之则避免一些让你感到痛苦的动作。这种反馈系统和AI训练中的强化学习(Reinforcement Lerarning)机制类似。生物进化也和智能相关,DNA不断迭代和交叉构成物种进化的核心机制(优胜劣汰)。而文明传承等行为则加速了人类学习的过程(地球历史上曾经存在过1170亿人类,学习的时间就更多了)。

理性决策机制

简单来讲,理性决策是权衡成功的确定性以及获取的成本。比如,机会A是有20%概率获得10美元;机会B是有5%概率获得100美元。前者预期回报是2美元,后者是5美元,所以后者是更优选择。然而,这个逻辑并不能完全线性外推,比如机会A是100%获得100万美元;机会B是1%概率获得10亿美元。大多数人可能会选择机会A,因为从效用(Utility)角度来看,效应和钱并不是线性关系,对大多数人100万美元效应和10亿美元不是1000倍的关系。

因此,理性决策机制又可以是最大化效用函数。效用理论有很多反对的声音,比如有人觉得其将人类决策动机简化为自私和钱;也有人觉得这个效应无法量化,令其很难计算——理性行为并不完全涉及到计算,比如遇到水,你会闭眼睛保护眼睛,其背后并没有计算,但却是理性行为;比如,理性决策的载体是什么,是人类自身,还是家庭、部落等;最后,有很多数据证明,人类的决策其实是非理性的。然而,虽然理性人的假设有很多问题,我们在构建AI系统时候却可以假设人类的偏好是具有一致性的,而对那些不一致的倾向和偏好,AI或许能够容忍,但是却很难被AI满足(善变的部分)。

复杂的是社会

如果这个社会只有1个人和1台机器,问题可能容易得多。但问题是,地球上有80亿人类,有数百个国家和更多民族和不同文化。人类理性的决策将变得更加复杂,类似博弈论(Game Theory,纳什均衡)等的核心就是在多人情况下,人类的理性决策会变得不同。

假设A和B在进行踢点球的游戏,A是右脚运动员,其踢向右边的成功率和概率要更高一点。B则需要提前对A踢球的方向进行判断才有可能扑出。这里面就会涉及到N层博弈可能性,第一层:“因为A射向右边概率更高,所以我扑向右边。”;第二层:“A也知道我知道其更高概率会选择右边,所以他会选择左边”……无限循环。简单来讲,如果A有理性决策能力,B肯定也知道,因此这个游戏根本就不存在理性决策(股市博弈基本如此)。

机器的智能,以及绝对理性无法实现

要实现AGI,第一步是定义机器智能,第二步是实现它。计算机是人类第一个智能机器,虽然我们已经习以为常。1936年图灵提出了通用机器的概念——也就是机器不用分计算、翻译等职能。最早的计算机每秒运算是千次,到2019年超算计算机每秒计算达到10的18次方,这个速度和大脑计算能力差不多(大脑主要是并行计算),但是后者功耗只有前者百万分之一。

从计算能力角度,量子计算可能是未来提高算力潜在方向。一位MIT教授测算了笔记本尺寸电脑的物理计算极限——每秒10^51次计算。一方面是计算能力有上限,另一方面的世界的复杂性,也即一类指数级别计算问题无法用穷举法粗暴解题。简单比如用三种颜色填充地图,且接壤国家不同颜色问题,如果国家主体有100万个,则需要2^1000次计算,如果用2019最先进超算需要10^275年来计算,而宇宙历史目前也只有10^10年。

由于世界的复杂性,我们应该预期不管是人类还是AGI,未来大概率都无法对每个问题找到全局最优解,更多只是找到局部最优解,无法做到绝对理性。

颠覆图灵测试——人工智能发展路径历史

识别机器智能著名的测试是图灵测试——如果一个机器能够欺骗人类,说明其已经具备了超人的智能。然而图灵测试一方面很难操作,另一方面如果机器发展的是另外一个智能体系(跟人类不同)怎么办呢?因此图灵测试其实一直不是学界评价机器智能程度的核心方法。

最早的AI方法是基于逻辑规则——即将机器基于信号、既定目的的行为写出对应的逻辑规则。到1980年代,简单基于逻辑规则的AI路线证明是不够的——世界规则是无限的,基于概率论(贝叶斯)的路线开始兴起,开启了Modern AI时代——培养一个针对特定目标的Agent,能够根据输入信号做出对应决策。针对Agent培养,环境——目标场景是否是连续,是否可观察;目标是否可操作;行动是否可预测等等一系列因素,都可以定义AI场景本身的难度。

比如,训练AI打游戏就难度很高,在任何时点,AI可能有10^50次方个选择(围棋只有100个),强化学习等方法运用已经使得AI征服各种高难度游戏(比最顶级人类玩家更厉害)。随着AI征服越来越难的场景,其也积累越来越多能够实现AGI的技术和可能性,2023年GPT的横空出世就是典型(作者写书的时候还没出现)。关于AI具体发展历史参见《【读书】深度学习发展史:相信和看见》。

二、AGI何时来,会带来什么影响?

AGI的路径

AGI何时来是大家最关心的一个问题,然而几乎也无法回答的问题。一方面,预测很容易错误,例如前文说的原子弹。1960年AI萌芽的时候,学术界主流观点是AGI在20年内就能实现。其次,AGI是否到来本身没有明确界限和标志,实际上,现在计算机已经在很多维度超越了人类。如果硬要预测,时间可能是5-500年(OpenAI的Altman说是10年内,且看吧)。

从AGI路线来看,作者认为缺乏知识的模型一定不智能,而要学习知识最重要是掌握语言,因此如果一台机器能够理解人类语言,其就能够快速积累知识(GPT恰好就是这个路线,神预测)。然而,作者认为这种路线可能面临鸡和蛋的问题——因为你总的有点理解才能开始积累知识,现在来看GPT几乎把语言和知识两个问题合并了,本质上是一个问题——这个很哲学,可能物体本来就是自己的原因,鸡和蛋的问题本不存在。

有了知识之后,还要有常识,正像怀特海说的:“人类文明的进步本质是我们潜意识动作模块化的积累(不需要思考)。”人类能够根据事物优先级来制定目标和行动计划,而很多具体行动本身不需要思考。作者认为,这一步对于实现AGI很重要,目前来看从GPT-4的图片识别来看,其似乎已经具备了一些常识(其知道剪断挂着铁球的线,它会落到地上)。但是,博主认为GPT拥有多模态,甚至增加感知世界能力后,这个常识模型可能会更加精进。

AGI实现了会怎样?

首先,AGI能够干人类能做的任何事情,数学、编程、研究等。这些工作价值几何?美国有个调查说,美国人认为如果要让他们放弃搜索引擎,需要支付给他们1.75万美元/年,从这个角度AGI版本搜索引擎价值就是几万亿美元。此外,人和人的大脑并不能联通,然而机器人AGI却可以,这一张认知网络的联合,一定会产生更加庞大的能力。从学习速度来看,人类可以一周看一本书,然而机器可以在几小时内看完人类有史以来写的1.5亿本书,这种学习能力无需赘言,而这种超强的学习和思考能力,大概率就能发现我们人类尚未发现的规律——比如治疗癌症的方法。

AGI会有哪些局限性?

一种普遍的错误认知是认为AGI会成为“上帝”一样的存在,即不仅对当下有完美的理解,还包括对于未来。然而,正如前文所说世界中有大量指数级别的复杂问题,AGI也受到物理计算能力的限制,其肯定能比人类找到更优解,但却不是无限能力。

此外,AGI的研究发现很多情况也受到其他因素限制,比如研发一些药,其需要临床测试(需要时间)。当然也可以通过仿真,但是仿真就需要了解清楚每一个生物细节(科学难度很高)。AGI最后的局限性来自于其本身不是人类,他们在预测和理解人类行为时候很可能会碰到困难(比如人类复杂的、非理性方面)。我们人类在理解他人想法的时候,最大的优势就是我们也是人类,我们可以将心比心,但AGI可能不是。

AGI对就业影响如何?

除了终极的颠覆人类文明外,常见的负面影响包括更没有隐私,包括致命武器威胁,包括虚假内容误导人类等。更重要可能对职业的影响,早在亚里士多德的时候,其就指出只要雇主发现一种通过机械实现目标的方法,人们的就业就会受到影响。乐观派的观点则认为技术的进步往往会带来新的就业,比如工业革命。作者给出一个上下半场的解释,即在技术发展的上半场,其让很多场景和功能变得可能,其可以增加就业。但是下半场则效率提升到一定幅度后,其肯定对就业有负向影响。用刷墙的毛刷的宽度可以做类比,当毛刷宽度只有头发丝宽度时候,用其刷墙是不可能的任务,因此就业是0。随着毛刷宽度不断增加,到10cm时候,就业规模达到一个高点。此后机械毛刷宽度越来越大,其对就业产生了负向影响(机械刷墙代替)。

当然,需要指出的是,当人们雇佣刷墙工人的花费因为机器人介入减少后,这部分花费可能会花在其他领域,这样会增加其他领域的就业。另外,技术进步整体增加了生产力,从而能够让我们基于同样的工作享受更多物品和服务。还有一点,技术进步往往利好资本,也就是投资技术形成资产的阶层,下面第二张图显示1960年代以来技术确实带来生产效率提升,但是1973年后平均工资却基本没变。AGI时代,哪些职业可能比较危险,简单来说,类似人机互动的职业(比如司机)可能都会被替代,包括白领岗位(操作计算机),外包的职业也是(因为所有外包部分几乎都是可以模块化,自动化的)。

最终来说,可能还有价值部分可能就是我们是人类,对人类能够提供一些人性化的服务。对于人类来说,虽然技术可以提供一切服务,但我们对某些场景,我们还是希望有人类给我们服务,比如教育,虽然AI可以提供很强的个性化教育能力,但是我们可能还是希望有个老师来教我们。对社会而言,UBI(统一最低工资)可能是一种解决方案,可以让绝大多数人共同享受技术进步红利(而不是少数人)。如果你需要更高工资,可以去通过给人提供服务来增加收入。

三、机器人会威胁到人类文明吗?

猿猴怎么看待人类的出现?

人类对于周围环境的掌控本质来源是人类的智能,由此不难发现“发明一个比人类还聪明的物种”是一种风险很大的行为。1000万年前,人类从猿猴进化而来,逐步进化到现代社会,猿猴会怎么看待这种行为?如果猿猴能表述自己的想法,这种想法可能会和人面对AGI风险比较类似。

另一种风险是人类过于自信的风险,即使人类能够给机器灌输自己的目标,但机器如果足够智能,其很可能意识到实现这个目标最好的方式是改变人类的目标。这个问题其实比较微妙,皇帝和太监到底是什么关系?真的是皇帝掌控太监么,历史上有多少太监掌握了皇帝弱点的时候,能够操纵朝政的?(比如天启皇帝喜欢做木匠,魏忠贤就专门挑后者做木工活的时候汇报重要事情,后者就会顾不上,说你们看着办吧)。现实中情况类似内容推荐算法,很可能是通过改变用户内容消费偏好,从而达到最大化点击量等目标。

另一个难点是,我们几乎无法通过简单地禁止研发AGI来阻止这种风险,其一我们无法停止对于AI的研究(等于限制人们思想),其二是禁止起来也很难,通往AGI的路径是未知的,我们无法知道我们应该禁止哪条路线,工具AI的发展很可能是通往AGI的路径,如果禁止AGI就意味着完全禁止工具AI,那人类目前的科技水平要大撤退。

对于AGI的风险,我们也可以听听反方的观点:

完全否定AGI的风险:计算机在计算方面比人类强,马在运动能力比人强,他们都没有威胁人类。历史上,也从来没出现机器威胁人类的情况。也有人认为AGI完全不可能,或者现在担忧还太早(杨立昆就认为当下GPT还远远称不上智能,因为其缺乏人类常识模型)。Andrew Ng也说现在担忧AGI的风险就像担忧火星上人太多。还有一种说法是我们是专家(比如IBM的人),我们更懂AGI的威胁。

反驳:历史不代表未来,某个方面智能和AGI也不同。面对AGI的风险,我们早做准备远远好过临时抱佛脚。

即使知道风险,我们也束手无策。比如我们很难控制AI科研,也有人觉得过于谈论风险等于忽略AI的好处,也有人认为我们应该对风险保持沉默,他们认为人类文明能够自然而然处理好这些风险问题。

反驳:实际上,人类对DNA编辑技术的应对(法律禁止),对核武器的应对(无核)都是历史上对颠覆人类文明历史的风险应对经验。

我们不能直接关闭它们吗?比如建设某些最后措施,能够在AGI风险前一刻关闭系统。比如我们可以给AI建立一个笼子,比如建设一个Oracle AI,只回答是和不是(限制功能)。还有人觉得我们人类应该和AI合并,通过脑机接口,人类的意识可以输入AGI,从而实现人机合一(马斯克搞脑机接口研究可能就是如此吧)。

反驳:这些想法的局限性都是,如果AGI足够智能,能够产生自我意识,其就能够冲破牢笼,防止别人断电。还有一种提议说每次给机器人下命令都包含一个后缀,比如“帮我冲咖啡同时允许自己不被关闭”,这种方法可能是机器人可能可以保持开关的畅通,但是让人无法靠近这个开关。

四、一种潜在解决方案

在作者看来,要打造一个始终有利于人类的AGI系统,需要遵守三个原则

AGI机器的唯一目标是最大化实现人类的偏好。第一条,让机器无我是最根本的设置,我们要打造一个类似佛教所说的无我,普渡众生一样的“佛”。也有很多问题,比如人类真的有明确的、稳定一致的偏好么?比如这么多人,究竟遵从谁的偏好?比如,世界上还有那么多生物、动物呢?

机器最开始对于人类的偏好是不确定的。第二条核心是不能有确定的目标,否则机器可能变成一根筋,最终会导致人类无法对AGI断电。这点也好理解,对于人也一样,一根筋的人几乎无法劝解,但是对未来保持不确定性的人更容易接受别人的看法。

机器学习人类偏好的唯一来源是人类的行为。人的行为是反映人类偏好的唯一证据。可能有人会想到将人类价值观植入机器,但是这个不好操作,一方面价值观无法量化,另一方面价值观千人千面。另一方面是AGI对人类文明的毁灭风险和道德选择完全不是一个level的问题。这里面问题是,人的邪恶行为机器应该怎么反应?

以上三点其实对做人也很有启示,比如我们做人不能一根筋,要抱有开放性。比如我们应该更加看重从现实中寻找知识,实事求是,不脱离现实。在作者看来,基于这三条设计AGI系统首先是其足够的开放性,通用性能够使得研发者有足够动力研发这类系统;其次,我们有充足的数据可以让AGI系统学习人类的偏好。可以用数学定理格式来描述:基于A\B\C机器,以及对应算法和反馈,对于任何类似计算能力和物理能力的机器,这些机器有很高概率能够提供非常接近人类偏好的、事实上可能的行为。首先,机器无法确保最优解,正如前文所言由于物理世界的复杂性,由此,其提供的是可能性上的最优解。

这里面还有两个假设,一个是世界的运行规律是一致的,不然就没法学习;其次是人类对机器的反应是在意的,不然有益的(beneficial)这个定义就没意义。从偏好角度,需要保证机器学习的是人的底层意图,而不是机械地模仿人类动作,即使其最开始不知道,但是其底层目标是实现人类的偏好。机器人“无我”还体现在机器人会学习人类每天早晨起来需要咖啡的习惯,而不是学习到“机器自己也需要咖啡”。

从人类选择中学习偏好——不确定理念很重要

假设机器人Robbie是Harriet的个人助手,其有一个具体任务就是帮助Harriet订酒店,Robbie并不清楚Harriet的偏好——便宜的还是昂贵的酒店,其选择的目标效用可能是-40到60,其直接行动平均预期效用是10,其还有一个选择是关闭自己(效用是0),第三个选择是等着Harriet给提示——有40%概率,Harriet会关闭Robbie,有60%概率会让Robbie直接行动。

由此,机器人等Harriet提示再行动,其预期效用是18。这个案例有几个启示——Robbie对自己的选择永远不是100%确定很重要,这样其就永远有被关闭的选项。其次,事实情况下,Robbie等待Harriet提示本质上是对后者一次“骚扰”,对后者增加了一些成本,这个成本越高,机器人越有可能直接行动。

一个潜在问题可能是,机器人Robbie越来越懂Harriet选择后,其不确定的比例会越来越低,但重要的是其始终不能100%确定。最后,这种不确定性可能会传递,也就是即使机器人Robbie开发的机器,可能也会承袭这种对于人意图不确定性的认知。

AGI需要领会人类意图

核心是人类和AGI的对话不能简单理解为确定的命令:比如Harriet在沙漠加油站中,对机器人Robbie说想喝咖啡,但是最近卖咖啡的地方有300km,Robbie的选择应该是不顾一切去买咖啡吗?实际上,Robbie应该将Harriet的话理解为后者的偏好的一种提示——他倾向于咖啡类饮料,如果Robbie发现最近咖啡店有300km,其最佳选择应该是告诉Harriet这个事实。

另一种需要避免的情况是Wireheading——多巴胺的快乐会促使动物跳过行为步骤,直接追求后者快乐(比如通过电击),机器人也可能。只要AGI足够智能,其可能会重新编程自己的程序,从而跳过行动步骤,直接获得reward,甚至操控人类强制后者给自己奖励。核心还是要区分“reward信号”和“实际的rewards”,前者的积累并不能简单等同于后者,这样智能系统就不会这么作弊了。

五、机器人的困惑:人类的复杂性

AGI必须考虑所有人的偏好

首先,人类是各种各样的。这点其实好办,因为根据以上定义AGI并不是学习某个人的价值观,而是可以选择不同人的偏好,其可以根据不同人的行为来推断其偏好。此外,考虑到不同偏好人有一定共同规律,机器人可以互相学习和积累认知,这种学习肯定不会从0开始。此外,Robbie应该不仅注重实现Harriet的目标,还应该重视后者的体验——假设Harriet想登珠峰,Robbie的方案不应该是开启飞行引擎把Harriet带上去。比如Robbie要减少Harriet痛苦,其解决方案不应该是让他消失。更复杂的问题是,社会是由海量的人类组成的,机器人应该遵从谁的偏好呢?(人类通过法律和道德准则来约束每个人的行为)如果Harriet提出一个对他人有害的建议,Robbie应该如何反应?一种方式是将Robbie的行为规范用法律来约束,但是AGI可能会去找各种法律的漏洞(但是不道德的)来实现Harriet的偏好。

因此,Robbie必须考虑其他所有人的偏好来决策其相应的行动,这有点像墨子说的“兼爱”,从效用理论来看,也就是机器人的行为应该是最大化社会整体的福祉(效用),或者每个人的平均福祉(效用)。基于福祉效用的理论也有反对声音,比如每个人的效用很难量化,更不用谈加起来或者计算平均了。还有,超级个体的存在可能会造成偏离,比如人类相对于其他动物,在效用计算时候人类就是超级个体。对于这一点,作者的看法是他觉得效用是可以量化的,但是也要防止机器人Robbie过度“兼爱”,从而持续忽略Harriet的需求的问题。

羡慕嫉妒恨

在正常性善的假设下,人会有同理心,看到别人幸福自己也会觉得幸福。假设有俩人Alice和Bob,Robbie某个行为可能同时对Alice和Bob造成影响,Alice整体效用=Alice效用+C(AB)*Bob效用,这个C(AB)就是Alice有多在意Bob,如果C(AB)是正的,说明Alice真的在意Bob,后者高兴他也高兴。复杂的情况是C(AB)为负的情况,也即Alice可能嫉妒Bob,后者的痛苦成为了Alice的高兴,客观来讲,这种情况在现实世界中,并不少见,任何羡慕嫉妒恨都有可能导致该系数为负。一种解决方案是直接将负数系数变成0,也就是忽略这些负能量,但其实际后果还需要分析。此外,很重要一点是机器人不能简单学习人类的行为,而是观察人类的偏好,要能够出淤泥而不染。

人类的“愚蠢”和非理性

这个其实不太用解释,人类通常做出违背他们偏好的决策,或者因为短期利益而牺牲长期利益的选择。此外,人类经常基于感性来做情绪化的决策,因此Robbie必须对情绪化的人类有理解。此外,正如前文所言,人类真的清楚自己的偏好吗?不管是从认知局限性,还是能力局限性(比如计算能力),人类很多时候都不清楚自己的偏好。当然这点对作者提出AGI体系并没有什么影响,因为Robbie可以根据人类行为来推断其偏好,但基于人类非理性的假设,Robbie应该知道这些行为未必能够反映Harriet的真实偏好。

从心理学看,即使是基于效用最大化,人类也往往基于记忆做出错误的决策——因为人类往往只能记得记忆中效用的最大值或者最终值(记住某个瞬间),而不是记住整体效用,或者平均效用。举个例子,曾经有个实验有两个选项,A是人先把手伸进14度的水中60秒,然后伸进15度水30秒;B是直接伸进14度水中60秒。几乎所有人通过记忆会选择A,因为人只记得15度那个舒适最高点。这个也好理解,我们往往直接的那些最有记忆点的瞬间(最大值),由此根据记忆做决策是不靠谱的。

机器人改变人类偏好?

人类的认知偏好其实是随着时间改变的(因此不确定性很重要),如前文所言,机器人为了更容易完成任务,可能会做出改变人类偏好的选择。这里可能就会涉及到定义哪些改变人类偏好的决策是可以接受的——比如Harriet可能想减肥,Robbie可以做出决策改变Harriet吃甜食的偏好。如果Robbie这些改变人类偏好背后动机是让人类更长寿、更健康和生活更好,则认为是可以接受的。这里面问题是,美好生活定义是唯一的吗?我们减少羡慕嫉妒恨的相关系数最终后果可能是什么?

结语:未雨绸缪是必要的

本篇,作者提供一套粗略的约束AGI的框架,但不可否认的是这里面未解决的问题,未知的问题还有很多。比如,机器人Robbie如果开发自己的机器人Robbie II,后者肯定比前者更加智能,Robbie是否会对Robbie II失控?人类通过DNA遗传基因,我们是不是也要AGI来个DNA(确保服从人类偏好、不确定的态度等是被遗传的?)。不管怎样,未雨绸缪,对于人类一定是好的。

本文来自微信公众号:XYY的读书笔记(ID:xiaoyanyan00002),作者:肖俨衍

关键词:

相关内容