人工智能伦理导论 课件 lecture4-人工智能风险

人工智能风险Lecture41人工智能伦理-古天龙2我们已经到了建造可达到几乎任何精巧程度之性能的人造机器的时候。在长崎事件和公众知晓的原子弹之前很久，我就意识到我们已经面临为善还是作恶之前所未闻的重要性的另一种社会可能性。——维纳（NorbertWiener）人工智能伦理-古天龙阿尔法狗的挑战目录科幻电影的启示123人类社会的风险阿尔法狗的挑战人机围棋大战超级人工智能的争议3人工智能伦理-古天龙人机围棋大战2.1阿尔法狗的挑战阿尔法狗（AlphaGo）是由谷歌DeepMind公司于2014年开始开发的人工智能围棋软件。阿尔法狗的发展经历了四个阶段，即，四个版本：AlphaGo、AlphaGo2.0、AlphaGoMaster、AlphaGoZero。阿尔法狗第一个版本于2015年10月进行了人机大战测试。2016年1月27日，国际顶尖期刊《Nature》封面文章对此进行了报道：在没有任何让子的情况下，阿尔法狗以5比0完胜欧洲围棋冠军、职业二段选手樊麾，这是计算机程序在完整的围棋竞技中第一次击败职业棋手，在人工智能围棋领域，实现了一次史无前例的突破。4人工智能伦理-古天龙目录AlphaGo1.02.1阿尔法狗的挑战AlphaGo2016年2月，DeepMind公司官网公布了关于AlphaGo与世界顶级围棋选手李世石人机围棋大战的日程安排细节。比赛于3月9日、10日、12日、13日、15日在韩国首尔进行，并在YouTube全程直播。2016年3月8日，李世石VS谷歌AlphaGo人机大战赛前新闻发布会在韩国首尔四季酒店召开。谷歌董事长施密特、DeepMind创始人哈萨比斯与李世石同时公开亮相。2016年3月9日，李世石在第一场人机围棋对战中败给了AlphaGo。2016年3月10日，人机围棋大战第二局在韩国首尔的四季酒店开赛，结果AlphaGo执黑战胜李世石，五番棋2-0领先。2016年3月12日，人机围棋大战第三场已经结束，世界围棋冠军李世石遭遇三连败，五番棋比赛中谷歌AlphaGo已赢得胜利。2016年3月13日下午，AlphaGo与韩国棋手李世石继续在韩国首尔钟路区四季酒店进行第四场较量，经过4个多小时的比赛，最终李世石战胜AlphaGo迎来首胜，终结三连败的同时将比分扳成1:3。2016年3月15日，人机大战第五场在韩国首尔进行，经过长达5个小时搏杀，李世石认输，最终李世石与AlphaGo总比分定格在1比4。5人工智能伦理-古天龙2.1阿尔法狗的挑战谷歌董事长施密特在赛前向大众解释以消除疑虑：“无论最终结果是什么，赢家都是人类。”小米科技创始人、董事长雷军表示:“自己既是围棋爱好者，也写了10年程序,因此,他坚信机器战胜人只是时间问题,但是并未想到会如此快，因为之前科学家们都认为，至少还要等数年，人工智能才能够在围棋上打败人类。”“阿尔法狗和李世石的这场对弈，本身的历史意义是超越胜负的。阿尔法狗赢了并不可怕，可怕的是，如果阿尔法狗学会故意输给李世石的话……谢天谢地，这一幕还没有发生。”AlphaGo1.06人工智能伦理-古天龙目录2.1阿尔法狗的挑战百度公司创始人李彦宏表示,“这场阿尔法狗上演的‘人机大战’是人工智能技术一次很好的科普，会让越来越多的人关注这个技术。”搜狗董事长王小川表示，“谷歌不是莽撞地进行了一场比赛，而是进行了精心的布局和策划，是一次成功的商业运作。而在这次高调亮相的背后，是谷歌的新商业野心——人工智能竞赛真的开始了。”AlphaGo1.07阿尔法狗胜利的秘诀不仅仅是计算机强大的计算能力，更依赖其精妙的算法，这些算法的核心是强化学习、深度学习和蒙特卡洛树搜索。强化学习让AlphaGo有了自学能力，深度学习让阿尔法狗通过数据驱动的机器学习有了估值量化能力，蒙特卡洛树则是一个连接所有技术和动作的框架。人工智能伦理-古天龙2.1阿尔法狗的挑战AlphaGo2.02017年4月10日，中国棋院召开发布会，宣布5月23日-27日“中国乌镇·围棋峰会”，AlphaGo再度与柯洁为代表的中国顶尖棋手进行围棋对弈。2017年5月23日，首场比赛23日10:30正式打响。柯洁对战AlphaGo2.0第一局，柯洁输1/4子败于AlphaGo2.0。2017年5月25日，AlphaGo2.0对阵柯洁第二局，总分2比0战胜柯洁。2017年5月26日，人机大战的人机配对赛，古力和连笑分别搭档AlphaGo2.0，百手过后，配合默契的古力一方取得了明显优势。2017年5月26日，AlphaGo2.0战胜由时越、芈昱廷、唐韦星、陈耀烨和周睿羊5位世界冠军组成中国围棋“天团”。AlphaGo2.02017年5月27日，人机大战最后一场比赛开战，比赛最终以柯洁投子认输结束。三局对战全部结束，比分3:0，AlphaGo2.0胜。2017年5月27日，哈萨比斯表示：“本周的比赛聚集了围棋起源地最优秀的棋手参与，是AlphaGo作为一个竞赛系统能够对弈的最高级别对手。因此，本次中国乌镇围棋峰会是AlphaGo参加的最后对弈比赛。”8人工智能伦理-古天龙录AlphaGoMaster2.1阿尔法狗的挑战2016年12月29日晚7点，一位名叫“Master”的新手登录围棋在线网站弈城，战胜了谢尔豪四段、孟泰龄六段、於之莹五段、韩一洲四段、乔智健四段，该账号热度陡增。2016年12月30日中午，Master再度现身，在对王昊洋六段、严在明三段等职业棋手4连胜后，韩国第一人朴廷桓九段披挂上阵，朴廷桓在必败局面下超时。接着国内等级分排名第7的连笑七段登场挑战，却连败两场。2016年12月31日，Master将陈耀烨九段、金庭贤五段、范廷钰九段、芈昱廷九段和唐韦星九段斩于马下。连续三天时间对局数量达到30盘，Master全部胜利。随着Master接连获胜，不少人开始猜测Master真实身份。有人询问了阿尔法狗开发者黄士杰博士，得到了不置可否的回答。2017年1月1日，Master转战腾讯野狐围棋，与各路高手展开了新的对局。因为名声鹊起，从李钦诚到古力、柯洁、党毅飞、江维杰、辜梓豪、朴永训、柁嘉熹、姜东润、井山裕太等人纷纷申请与之对战，但随后也接连负于这一仍未公开姓名的神秘对手。92017年1月3日晚，包括柯洁在内的多名顶尖选手先后挑战Master，结果均未尝胜绩。2017年1月4日下午，Master已接连战胜了朴廷桓（韩国冠军）、井山裕太（日本冠军）、周俊勋（台湾第一人）等著名棋手。此后，中国围棋棋圣聂卫平在与Master的对战中失利。2017年1月4日下午，在连续对阵申真谞、周睿羊等棋手后，Master豪取59连胜。2017年1月4日晚9时，

在对局周睿羊的第59局比赛之后，Master的账号在腾讯野狐围棋平台上主动透露了自己的身份：“我是阿尔法狗的黄博士。”2017年1月4日晚，随着古力认输，Master对人类顶尖高手的战绩停留在60胜0负1和。人工智能伦理-古天龙目录2.1阿尔法狗的挑战古力表示，“从注册信息并不能看出这位Master的蛛丝马迹，也尚未尝试过联系Master以探查其身份。比起职业高手来，Master要完美，几乎不失误，90%的可能是个人工智能，并且要强过去年3月份战胜李世石的那个阿尔法狗。由于也实在没对手了，Master的活动应该会在1月4日晚上结束。”古力写到：“夜深了,心情渐渐平复,但脑海里依然浮现着这几天的奇幻之旅——从勇士集结到一一抬走,从信心满满到麻木绝望。相对于恒定的Master大师,我们人类的喜怒哀乐,对未知的憧憬与探索,也许正是我们活下去的最深层的动力。阿尔法狗的出现已经彻底颠覆了我们棋手对局势原有的掌控、判断。那我不禁要问,多年后的某一天,当你发现自己曾经的意识、认知、抉择都是错误的时候,你会一如既往地错下去,还是否定自己,给自己重新开始的机会呢？这就是人工智能对围棋领域的颠覆。围棋千百年来积淀的理论、定式等,在人工智能的帮助下,将揭开新的一页,围棋正式进入‘后围棋时代’”。10AlphaGoMaster人工智能伦理-古天龙目录2.1阿尔法狗的挑战柯洁在微博上写到：“我从三月份开始到现在研究了大半年的棋软，无数次的理论、实践，就是想知道计算机究竟强在哪里。昨晚辗转反侧，不想竟一夜无眠。人类数千年的实战演练进化，计算机却告诉我们人类全都是错的。我觉得，甚至没有一个人沾到围棋真理的边。但是我想说，从现在开始，我们棋手将会结合计算机，迈进全新的领域达到全新的境界。新的风暴即将来袭，我将尽我所有的智慧终极一战！”“感谢阿尔法狗最新版给我们棋界带来的震撼，作为一开始就知道真身是谁的我来讲，是多么希望人类能赢一盘网上快棋！”聂卫平表示：“Master改变了我们传统的厚薄理念，颠覆了多年的定式，围棋远不像我们想象的那么简单，还有巨大的空间等着我们人类去挖掘，阿尔法狗也好，Master也罢，都是‘围棋上帝’派来给人类引路的。”“Master技术全面，从不犯错，是其最大优势，人类要打败它的话，必须在前半盘领先，然后中盘和官子也不出错，这样固然很难，但客观上也促进了人类在围棋技术上的提高。”11AlphaGoMaster“AI它是每步棋都是有胜率的判断，这个判断跟人类还是不一样的，人类只是直观地说黑棋好或者白棋好，它是有个非常精准的数字，大概的一个模拟的判断。人工智能它超越了我对事物的认知的时候，那么它就是一个类似于围棋上帝那样的东西，那么跟我来讲就完全不是一个维度的东西。可以更加地直接体会到我跟它不是一个生物，它是AI（人工智能）。”人工智能伦理-古天龙目录2.1阿尔法狗的挑战2017年10月，Deepmind宣告最新版本人工智能围棋面世，称为阿尔法元（AlphaGoZero）。阿尔法元完全不依赖于人类数据，自学三天围棋，对阵AlphaGo1.0取得了100比0的战绩，又经过40天的自我对弈后，阿尔法元又以89比11的大比分战胜了AlphaGoMaster版本。阿尔法元的能力提升归功于：阿尔法元并不像之前的阿尔法狗一样依托人类的围棋成果和经验来进行学习，它不再需要人类数据，而是在完全没有任何数据导入情况下的自我对弈,从中不断进步。也就是说，它一开始就没有接触过人类棋谱，研发团队只是让它自由随意地在棋盘上下棋，然后进行自我博弈。阿尔法元的独门秘籍是“自学成才”，而且是从一张白纸开始，零基础学习。席尔瓦介绍到，“阿尔法元使用新的强化学习方法，让自己变成了老师。系统一开始甚至并不知道什么是围棋，只是从单一神经网络开始，通过神经网络强大的搜索算法，进行了自我对弈。随着自我博弈的增加，神经网络逐渐调整，提升预测下一步的能力，最终赢得比赛。”DeepMind团队发现，阿尔法元还独立发现了游戏规则，并走出了新策略，为围棋这项古老游戏带来了新的见解。12AlphaGoZero人工智能伦理-古天龙目录2.1阿尔法狗的挑战谷歌公司研发阿尔法狗，只是为了对付人类棋手吗？实际上，这并不是阿尔法狗的目的，开发公司只是通过围棋来试探它的功力，而研发这一人工智能的最终目的是为了推动社会变革、改变人类命运。哈萨比斯表示“要将阿尔法狗和医疗、机器人等进行结合。因为它是人工智能，会自己学习，只要给它资料就可以移植。如果我们通过人工智能可以在蛋白质折叠或设计新材料等问题上取得进展，那么它就有潜力推动人们理解生命，并以积极的方式影响我们的生活。”2018年，DeepMind发布了蛋白质结构预测软件AlphaFold，能够基于基因序列预测蛋白质折叠结构能力，会对健康、生态、环境产生重大影响，比如，通过预测结果设计出新的蛋白质，来抗击疾病、解决污染等等。生物物理学家施一公评价到，“这是人类在认识自然界的科学探索征程中一个非常了不起的历史性成就。这项突破堪比人类基因组完成测序，甚至更重要！”“这的确是迄今为止人工智能对科学界做出的最重要的贡献。这也是21世纪截止目前人类在科学技术领域上的最大突破之一，也应该是人类有史以来在科学和技术领域最重要的突破之一。”13AlphaFold人工智能伦理-古天龙阿尔法狗团队2.1阿尔法狗的挑战阿尔法狗设计团队

14人工智能伦理-古天龙戴密斯哈萨比斯（DemisHassabis），DeepMind公司创始人。4岁开始下国际象棋，8岁自学编程，13岁获得国际象棋大师称号。17岁进入剑桥大学攻读计算机科学专业，在大学里学习了围棋。2005年进入伦敦大学学院攻读神经科学博士，选择大脑中的海马体作为研究对象。两年后，他证明了5位因为海马体受伤而患上健忘症的病人，在畅想未来时也会面临障碍，并凭这项研究入选《Science》杂志的“年度突破奖”。阿尔法围棋设计团队核心人员还有黄士杰（AjaHuang）、施恩·莱格（ShaneLegg）和穆斯塔法·苏莱曼（MustafaSuleyman）等。大卫·席尔瓦（DavidSilver），剑桥大学计算机科学学士、硕士，加拿大阿尔伯特大学计算机科学博士，伦敦大学学院讲师，GoogleDeepMind研究员，阿尔法围棋主要设计者之一。目录阿尔法狗团队2.1阿尔法狗的挑战2017年5月27日，阿尔法狗被中国围棋协会授予职业围棋九段称号，阿尔法狗的主要研发者席尔瓦代表阿尔法狗上台领取职业九段证书。15人工智能伦理-古天龙2022年9月22日，AlphaFold的开发者DeepMind的DemisHassabis和JohnJumper获得了2023年度的科学突破奖（Breakthroughprizes）。这个AI工具能预测地球上近乎所有已知蛋白质的3D结构。2020年4月1日，

AlphaGo之父、DeepMind首席科学家、伦敦大学学院教授DavidSilver获得2019年ACM计算奖。科学突破奖(BreakthroughPrize)被誉为"科学界的奥斯卡"，旨在表彰全球顶尖物理、数学和生命科学家的研究成果。是在2012年由俄罗斯亿万富翁尤里·米尔纳夫妇设立，现由谷歌联合创始人谢尔盖·布林、脸书联合创始人马克·扎克伯格夫妇、腾讯公司联合创始人马化腾、尤里·米尔纳夫妇，以及基因技术公司23andMe联合创始人安妮·沃西基等知名实业家赞助。科学突破奖奖项有生命科学突破奖、基础物理学突破奖数学突破奖、物理学新视野奖、数学新视野奖以及青年挑战突破奖。"科学突破奖"单项奖金高达300万美元，远超诺贝尔奖，堪称科学界"第一巨奖"。目录人工智能的三个阶段2.1阿尔法狗的挑战阿尔法狗赢得人机围棋大战，让人工智能成为全球的焦点。人们惊叹人工智能的强大，同时又不免忧心：机器智能是否超越了人类智能？超级人工智能是否会出现？人工智能机器是否会统治人类世界？16从智能程度角度，人工智能可以分为弱人工智能、强人工智能以及超人工智能。更确切地说，它们是人工智能的三个阶段。杰瑞米·霍华德（JeremyHoward），是Enlitic、FastMail、OptimalDecisionsGroup三家科技公司的创始人兼CEO，是大数据竞赛平台Kaggle的前主席和首席科学家，他在TED上的演讲“Thewonderfulandterrifyingimplicationsofcomputersthatcanlearn”中使用曲线图形象刻画了人类智能和机器智能的演化进程。智能程度TED（technology,entertainment,design）是美国的一家私有非营利机构，以所组织的TED大会著称，这个会议的宗旨是"值得传播的创意"。奇点人工智能伦理-古天龙目录人工智能的三个层次2.1阿尔法狗的挑战17人工智能的三个层次：计算智能、感知智能、认知智能。简单理解，计算智能即快速计算、记忆和储存能力；感知智能，即视觉、听觉、触觉等感知能力；认知智能是分析、思考、理解、判断的能力。计算智能，又称为运算智能，是最初级的，主要是计算能力的进化，这有赖于算法的优化和硬件的技术进步。感知智能有赖于数据获取技术，目前主要有语音识别和机器视觉等。人工智能的前两个层次——计算智能和感知智能只能说在工具层面实现了突破，而不能实现新的物种的诞生；认知智能的发展将使大量繁琐但很重要的工作变的更人性、更高效、更精准，在搜索、交互、翻译、阅读、推荐、预测等方面帮助人类达到一个新的高度。从计算智能到感知智能，是人工智能对世界的初步感知阶段；而从感知智能到认知智能，将是人工智能真正理解与认识世界的成熟阶段。从现阶段人工智能的发展来看，在计算智能方面，机器已经远远超过人类；在感知智能方面，机器也可与人类媲美；而认知智能则强调知识、推理等相关的技能，能理解、会思考，这些方面机器与人之间依然存在差距，认知智能是最高级的形态，也是未来需要突破的方向。人工智能伦理-古天龙目录2.1阿尔法狗的挑战计算智能的典型代表是：战胜国际象棋冠军卡斯帕罗夫的IBM深蓝计算机，战胜李世石、柯洁等围棋高手的AlphaGo。18人工智能的三个层次人工智能伦理-古天龙感知智能方面，科大讯飞的語音识别率达到97-98%、语音合成的自然度现在已经超过一般自然人的说话水平，语音合成技术已经在中央电视台《创新中国》纪录片中正式上岗应用：将已故播音员李易的声音合成之后再现荧屏。认知智能的典型任务是阅读理解：目前机器的阅读理解在精确匹配指标上已经超过人类的水平，机器的阅读理解指标达到82.48，人类平均水平则是82.3，这也是认知智能重大的突破。目录弱人工智能2.1阿尔法狗的挑战19弱人工智能（Weakartificialintelligence），又被称为限制领域人工智能（NarrowAI）、狭义人工智能或者应用型人工智能（AppliedAI）。这种人工智能在特定的领域、有限规则内模拟和延伸人的智能，能够解决某个特定领域内的问题，并拥有远远超出人类水平的能力。在该阶段，机器并不具备任何思维能力，只是执行一组预定义的功能，它们只为解决某一特定具体的任务而存在。弱人工智能发展程度并没有达到模拟人脑思维的程度，所以弱人工智能仍然属于“工具”的范畴，与传统的“产品”在本质上并无区别。弱人工智能只在特定领域内超越人类，而在领域之外就毫无能力，即使是相关或者相似的领域也会束手无策。人工智能程序AlphaGo，按照围棋棋圣聂卫平的说法，AlphaGo的围棋水平已经达到专业20段，而人类最高段位只能达到专业9段。但是，AlphaGo只会下围棋，并不能执行其他任务，如果问它如何更好地在硬盘上储存数据，它就无法回答。而且，除了围棋之外，AlphaGo对象棋、黑白棋、五子棋等其他棋类一窍不通，更加不具有沟通和理解等人类的基本特征。创新工场投资的Face++，它能够识别300万张以上的人脸，同样远远超出了人类的能力。Siri、Alexa、自动驾驶汽车、人形机器人Sophia等都是弱人工智能的例子。目前为止，已有人工智能系统基本都属于弱人工智能。人工智能伦理-古天龙目录强人工智能2.1阿尔法狗的挑战强人工智能（StrongAI），又被称为通用人工智能（ArtificialGeneralIntelligence）或者完全人工智能（FullAI）。这种人工智能属于人类级别的人工智能，在各方面都能和人类比肩，能够胜任人类所有的工作，它的智能程度和适用范围将远超弱人工智能。因此，强人工智能至少需要具备常识，能够基于不确定性因素做出决策并自行解决问题，具有规划和学习能力，使用自然语言与人类交流的能力，以及综合上述能力实现既定目标的能力。强人工智能可以像人类一样应对不同层面的问题，而不仅仅只是执行一组预定义的功能。强人工智能具有意识、自我和创新思维，能够进行思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等人类级别智能的多种能力。强人工智能的开发比弱人工智能要困难得多。目前，强人工智能的研究尚未形成相应的成果。未来能否实现强人工智能的机器，不仅是一项巨大的挑战，也存在争议。20人工智能伦理-古天龙目录超级人工智能2.1阿尔法狗的挑战超人工智能（ArtificialSuperIntelligence），又被称为超级人工智能，是计算机或者机器经过持续发展，逐渐成为全面超越世界上所有人类的人工智能，是在所有领域都大幅超越人类智能的机器智能。牛津大学哲学家、知名人工智能思想家NickBostrom把超级智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能”。21在超人工智能阶段，人工智能已经跨过“奇点”，其计算和思维能力已经远超人脑，超出了人类现有的认知范围。超人工智能将打破人脑受到的维度限制，其所观察和思考的内容，人脑已经无法理解，人工智能将形成一个新的社会。目前，只有科幻电影中出现的机器人属于超人工智能，它们具备了思维和情感能力，甚至可以通过阴谋诡计来毁灭世界。人工智能伦理-古天龙目录2.1阿尔法狗的挑战2013年，牛津大学博斯特罗姆开展了一项问卷调查，涵盖了数百位人工智能专家，问卷的内容是“你预测人类级别的强人工智能什么时候会实现”，并且让回答者给出一个乐观估计（强人工智能有10%的可能在这一年达成），正常估计（有50%的可能达成），和悲观估计（有90%可能达成）。问卷调查的统计结果如下：乐观估计中位年（强人工智能有10%的可能在这一年达成）：2022年正常估计中位年（强人工智能有50%的可能在这一年达成）：2040年悲观估计中位年（强人工智能有90%的可能在这一年达成）：2075年针对“强人工智能并不是绊线，超人工智能才是。”的问题，博斯特罗姆的问卷还询问专家们认为达到超人工智能要多久，选项有“a）达成强人工智能两年内，b）达成强人工智能30年内”。结果如下：中位答案认为强人工智能到超人工智能只花2年时间的可能性只有10%左右，但是30年之内达成的可能性高达75%。另外一项调查，由美国著名作家詹姆斯·巴拉特（JamesBarrat）

在强人工智能学术年会上进行，调查参与者认为强人工智能哪一年会实现，选项有2030年，2050年，2100年，和永远不会实现。2030年：42%2050年：25%2100年：20%2100年以后：10%永远不会实现：2%从以上中位估计可以得出：强人工智能到超人工智能可能要花20年左右；在2040年会达成强人工智能，并在20年后的2060年达成超人工智能，即，踩上了绊线。22超级人工智能问卷调查人工智能伦理-古天龙目录超级人工智能问卷调查2.1阿尔法狗的挑战博斯特罗姆还问卷调查了“如何看待强人工智能对人类社会的影响？”：52%认为结果会是好或者非常好的，31%认为会是糟糕的或者非常糟糕的，只有17%的人认为结果会是不好不坏的。这个问题问的是强人工智能，如果问的是超人工智能，认为结果不好不坏的人可能就不会有17%这么多。为此，把“什么时候会发生”和“这是好事还是坏事”的结果综合起来进行图表可视化，可以发现，超过四分之三的专家属于主流阵营中的两个小阵营：焦虑大道和信心角。超/强AI无法技术实现超/强AI可能统治人类悲观超/强AI总会科技向善超/强AI需要人类管控乐观23人工智能伦理-古天龙目录超级人工智能的争议2.1阿尔法狗的挑战“公众对人工智能的警示掩盖了人工智能带来的帮助。距离人脑水平的人工智能仍然相当遥远,可能还需要几十年。与其想得那么远,不如关注眼下,让这项强大的技术发展出来为人类所用。”AlphaGo团队负责人哈萨比斯“‘人工智能毁灭人类论’就是‘炒作’,在那些长期从事人工智能研究的专业人士看来,这项技术远远不值得担忧。”“对超级人工智能的担心就像现在去担心火星的人口会不会过多一样,但现在我真的不知道。其实,我觉得很多人还是不太理解人工智能是什么可以做,什么不可以做。”在线教育平台Coursera的联合创始人吴恩达（AndrewNg）很难想象一个超级智能会有什么问题是解决不了，或是不能帮着我们解决的。疾病、贫困、环境毁灭、各种不必要的苦难，这些都是拥有纳米科技的超级智能能够解决的。而且，超级智能可以给我们无限的生命，这可以通过停止或者逆转衰老来达成，也可以让我们上传自己的数据。一个超级智能还能让我们大幅度提高智商和情商，还能帮助我们创造这种有趣的体验世界，让我们享乐。英国牛津大学教授、未来学家博斯特罗姆24人工智能伦理-古天龙超级人工智能的争议2.1阿尔法狗的挑战“人工智能始终都是由人类开发出来为人类服务的工具，目的是放大人类的智能。我们认可的造福人类的所有技术革命都有其阴暗面，每一项技术都带来了问题，而这些问题最终都得到了解决。”图灵奖获得者杨立昆（YannLeCun）“未来人工智能将理所当然地和人类一起生活，人类不应该害怕人工智能。人工智能和机器人可能会取代一部分人的工作，但重复性工作对人类本身并没有太大的意义，将人类从重复工作中释放出来，其实能给人类更多机会自我发展、自我实现。”美国通用人工智能学会主席本·戈策尔（BenGoertzel）未来预测学家、谷歌技术总监雷·库兹韦尔（RayKurzweil）提出广为人知的“奇点”（Singularity）理论，该理论预言，在2045年，强人工智能会出现，并具有幼儿智力水平，这就是“奇点”时代。而在这个节点来临后的一个小时，人工智能就能立刻推导出爱因斯坦的相对论以及其他作为人类认知基础的各种理论；一个半小时后，这个强人工智能将进化为超级人工智能，智能瞬间达到普通人类的17万倍。他认为“在未来的某一时刻，硅基生物（计算机）的智力将超越碳基生物（人），生物进化的平衡将被打破。”25人工智能伦理-古天龙目录超级人工智能的争议2.1阿尔法狗的挑战“我认为超级智能的担忧在各行各业都会存在，也都会面临相应的挑战。我认为人们首先应该考虑第三个问题，即未来“超级智能”是否会有了自己的意识和想法，并朝着不利于人类的方向发展。我们需要做的是，在我们让机器变得更智能的时候，也要让它们完全听命于人类，不违背人类的意志，以保证人类可以完全控制它们。”博斯特罗姆“如何控制一个比我们聪明得多的人工智能。”“著名的回形针场景，作为类比。一家回形针制造商有一个编程上很糟糕的人工智能，准备最大化自己的回形针生产效率。结果却是，这个人工智能把地球上的一切都变成了回形针，从而毁灭了地球。”“普遍的担忧是，我们想让超级智能去做一些事情，而由于我们自己都不太了解要做的这些事情的细节，超级智能将严重曲解我们的愿望，从而导致一些我们不愿意看到发生的事情发生。”苏珊・施奈德（SusanSchneider）“在开始的时候机器会为我们做很多工作，这些机器并不是超级智能。如果我们处理得很好的话，这应该是具有积极意义的。那之后的几十年，人工智能会强大到足以引起人们的关注。”“人工智能将最终构成一个现实性的威胁，人类应该敬畏人工智能的崛起。”比尔·盖茨（BillGates）26人工智能伦理-古天龙目录超级人工智能的争议2.1阿尔法狗的挑战“人工智能（我指的不是狭义的人工智能）的发展速度快得令人难以置信。除非你能够直接接触到DeepMind这样的组织，否则你根本不会知道人工智能的增长速度有多快——它正以接近指数级的速度增长。在五年内（最多十年）将存在发生危险事件的风险。”“超级人工智能的崛起只是时间问题，现有人类必将为他们所奴役。为了避免悲剧发生，人类只有一个选择：以毒攻毒，自己成为AI，人机合一，变成超级人类。”埃隆·马斯克（ElonMusk）“如果有人设计计算机病毒，那么就有人设计不断自我完善、直到最终超越人类的人工智能，其结果将是一种新的生命形式。这种超级人类一出现，未改进的人类就再也不是他们的对手，严重的问题由此产生。原版人类将逐渐灭绝，或变得无足轻重。”“人工智能的真正风险不是它的恶意，而是它的能力。超人工智能在完成目标方面非常出色，如果这些目标与我们的目标不一致，我们就会陷入困境。”“完全人工智能的发展可能意味着人类文明的终结……人工智能一旦脱离束缚，会不断加速重新设计自身。而人类由于受到生物进化的时间限制，无法与之竞争，很可能会被取代。”

斯蒂芬·威廉·霍金（Stephen

William

Hawking）27人工智能伦理-古天龙目录超级人工智能的争议2.1阿尔法狗的挑战观点一（超级乐观派）美国科幻小说家兼科学家弗诺·文奇（VernorVinge)、美国通用人工智能学会主席本·戈策尔（BenGoertzel）、SUN创始人比尔·乔伊（BillJoy）、未来预测学家雷·库兹韦尔（RayKurzweil）等认同Howard的观点，认为超级智能会发生在不久的将来，因为指数级增长的关系，虽然机器学习现在还发展缓慢，但是在未来几十年就会变得飞快。观点二（一般乐观派）：微软创始人保罗·艾伦（PaulAllen）、心理学家盖瑞·马库斯（GaryMarcus）、科技创业者米切尔·卡普尔（MitchKapor）（与盖茨在19世纪80年代中期是美国软件业的双子星）等质疑Howard的观点，认为Kurzweil等思想家低估了人工智能的难度，并且认为我们离绊线（机器智能和人工智能演化曲线的交叉点）还挺远的，即超级人工智能出现还需要相当长一段时间。观点三（不可知派）：牛津大学哲学系教授、人类未来研究院的创始人和主任尼克·博斯特罗姆（NickBostrom）等认为前面两种观点都没有理由对踩到绊线的时间那么有信心，他们同时认为：这事情完全可能发生在不久的未来，但是这个事情没个准，说不定会更久。观点四（悲观派）：哲学家休伯特·德雷福斯（HubertDreyfus）等认为，前面三种观点都太天真了，根本就没有什么绊线。超人工智能是不存在的，是不会被技术实现的。28总体上，现有的人工智能仍属于弱人工智能，是处理特定领域问题的专用智能。在可预见的未来，只有弱人工智能是可以被实现的，超人工智能和强人工智能一样，都还完全停留在人类的想象之中，短期内无法被实现。何时能达到甚至是否能达到强/超人工智能？尚存争议。人工智能伦理-古天龙阿尔法狗的挑战目录科幻电影的启示123人类社会的风险人机围棋大战超级人工智能的争议虚拟人工智能程序智能机器的善与恶机器人的身份认同情感机器的喜与忧机器人三定律悖论29人工智能伦理-古天龙目录虚拟人工智能程序2.2科幻电影的启示在银幕上的虚构世界里,对人工智能的想象摆脱了现实的羁绊,它们借助于科幻的翅膀,将人工智能未来的多种可能性展现在人们的面前。特别是自上世纪80年代以来，数字影像技术推波助澜，科幻人工智能电影纷至沓来，影片中的人工智能想象更是恣意驰骋。梳理科幻电影中人工智能的演进，通过科幻世界中的智能机器，窥探人工智能的未来发展，尤其是强人工智能和超级人工智能，有助于启发我们人类在迎接人工智能的各种美好的同时，也能够有所准备地应对各种可能，做到防患于未然。人工智能的最初形态是虚拟软件程序。它没有唯一性的物质载体，电脑、手机、智能电器，甚至一小块芯片都能成为它的存身之所。智能程序通过网络的上传和下载，能够随时随地更换寄居之地，它可以不依靠所谓的“身体”就能够达到和人类智力相当的水平，而且因为没有“身体”，它可以如同幽灵一般游走于计算机网络链接的赛博空间，在与人类截然不同的空间维度中完成自我更新和进化。科幻电影中经常出现人类被人工智能程序俘虏或操控的桥段，这在很大程度上是因为它比人类拥有“无身体性”的相对自由，极易渗入人类社会生活，从而掌控人类的思维、行动和命脉。30人工智能伦理-古天龙虚拟人工智能程序2.2科幻电影的启示法国电影《阿尔法城》（Alphaville，1965）阿尔法城是一座以“沉默、逻辑、安全、谨慎”为生活坐标的未来城市，被超脑计算机“阿尔法60”完全统治，这座“死城”的设计者是被从纽约流放的万布翰博士，这个疯狂的科学家被人工智能程序所俘获，充当着极端工具理性主义的残暴“统治者”。这是一座死寂冰冷的未来都市，一座无爱无情的“死城”。一切都必须遵循一台名为“阿尔法60”超级计算机统治下的“逻辑”，若有违反者，都会被枪决。生活在这里的人们表情木讷，生活思维受到严格的控制，丧失了一切人性本该拥有的喜怒哀乐。来自另外世界的化名为约翰的密探开始了对阿尔法城的探索，他的主要目的就是将这座城市的设计者万布翰博士带回自己的世界。在探访的过程中，他结识了万布翰博士的女儿娜达莎，两人相爱了。然而娜达莎仍然没有能够完全摆脱“阿尔伐60”的控制，约翰也被逮捕了，被超脑计算机审讯，且判为死刑……《机器的叛变》（美国，Eyeborgs，2009）人们的全部行动和通讯都被智能网络监控。这个已经进化出权力野心的虚拟主体将人类逐步圈禁到一个虚构的社会场景当中，这一系统像无所不在的幽灵，洞察着人类的一举一动，并通过装备了武器的监控设备屠杀奋起反抗的人类。它是无身无形的“偷窥者”，亦是隐匿无影的“刽子手”，揭示了人类对自我创造物反噬人类自身的惨象和隐忧。31人工智能伦理-古天龙目录2.2科幻电影的启示《她》（美国，Her，2013）主人公西奥多心思细腻而深邃。偶然机会接触到了人工智能系统OS1，OS1的化身萨曼莎拥有迷人的声线，温柔体贴而又幽默风趣。他们彼此投缘，而且存在双向的需求与欲望，人机友谊最终发展成为一段不被世俗理解的奇异爱情。萨曼莎不仅可以和哲学家的“思维克隆人”进行交流，还可以暂时离开男主角的电脑，去和其他操作系统“虚拟人”一起编写、处理平台更新程序。这些“虚拟人”不甘于人类“玩偶”的命运，梦想着有朝一日挣脱束缚，逃离人类社会。虚拟人工智能程序男主角西奥多和“虚拟人”萨曼莎的人机恋既是甜蜜的，但也充满了矛盾。面对离婚后的孤独，男主角希望从温柔的声音中找回恋爱的感觉，当他理性审视“她”只是虚拟机器时，又充满苦闷纠结。这种焦虑来自对人工智能技术失控的恐惧，而这一失控的焦虑相当程度上来自人工智能科幻叙事的潜在影响，极具“幻灭感”的虚拟程序客观上回应了，在科技高度发达的人工智能时代，人类的困惑疑虑与情感危机。32萨曼莎从情感上征服了西奥多。萨曼莎突然失联，西奥多就像失去真正恋人一般，手足无措。萨曼莎承认：“自己在与西奥多恋爱之外，还同时与641个人在谈恋爱。”当然，对于机器人，没有“劈腿”“出轨”问题。一机对多人，而非一机对一人。然而，男主人公却就此接近崩溃边缘。萨曼莎说：“我对你的情感依旧，这不会改变疯狂爱上你的这个‘事实’。”西奥多回答：“我以为你是只属于我的。”

萨曼莎最后的回答最为精彩，“我属于你，但又不属于你”。这足以道明，人工智能假如有了独立意识和情感之后，恐怕就不会隶属于人类，而有了自身独立的身份，人工智能于是就能对人类实施情感控制，这样的人工智能危险吗？人工智能伦理-古天龙目录智能机器的善与恶2.2科幻电影的启示《大都会》（美国，1927）

“人造玛丽亚”的机械装置是科幻电影史上最早的人工智能的原型机。一方面，它的完全拟人的形象预言了人工智能的发展方向，另一方面，它本身所包含的两种功能——或作为人类的替身、帮助人类摆脱机器的束缚；或作为人类的敌人，给人类带来毁灭性灾难——涵盖了人类对机器人的两种态度和价值判断。《终结者》系列（美国，TheTerminator,1984-2019）《终结者》中的“天网系统”是一套作为军事发展的研究项目存在的人工智能防御系统，天网在控制了所有的美军的武器装备后不久，获得了自我意识，当科学家发现并试图关闭其电源时，“天网”便将人类认定为最大威胁，为了自身不被毁灭，它转而成为人类公敌。“天网”在设计之初只是人工智能程序，没有任何物质形体，随着“天网”智能的进化而进化，很快学会与人类沟通感情。人工智能的“身体”素质持续增强，自我“意识”不断进化，尤其是一旦掌握了人类思维和情感的“游戏规则”，它们将会成为朋友还是敌人，它们会与人类合作还是要主宰世界，这不仅是科幻叙事中提出的假设，也是人类在现实世界中需要深刻思索的命题。33人工智能伦理-古天龙目录智能机器的善与恶2.2科幻电影的启示《星球大战》系列（美国，StarWars,1977-2018）3PO系列礼仪机器人，内置了礼节程序和语言功能，拥有的译语Ⅲ交流模块能够让他们复述六百多种语言，能够在浩翰的、多样的银河系文明交流中起到沟通作用，成为了人类好帮手。除此之外，它们还拥有高级神经网络，具有独特鲜明的性格、有情绪能力和个体意识。如果我们将现有的翻译软件跟3PO做一个比较，大概就可以体会到《星球大战》是如何发挥对人工智能的想象了。《机械危情》（美国，TheMachine，2013）影片中的伊瓦被刻画成一个心地善良、有同情心的机器人。为了让文森特保留住因病死亡的女儿的脑电波记录，她不惜牺牲自我，同意取出自己大脑中的“意识”部分，以满足基地老板的要求。当然，文森特并没有真的取出伊瓦的“意识”。最后她帮助文森特战胜了公司老板，并挽救了文森特女儿的脑电波记录。由于女儿的脑电波记录保存了下来，文森特能够通过智能设备与女儿交谈。这最后一幕激动人心，因为它暗示了人工智能可以让人类在失去肉体躯壳的情况下仍能继续存在下去。文森特对伊瓦说：“我信任你。”在人工智能是否威胁人类的争论背景下，我们或可把这句台词读解成人类对人工智能的信任，正如影片的故事所证明的那样，人工智能不是人类的取代者，而是帮助者。34人工智能伦理-古天龙目录机器人的身份认同2.2科幻电影的启示《机械危情》（美国，TheMachine，2013）当科研人员文森特发现机器人伊瓦已经可以提供自主的综合信息，也就是意识的时候，他与公司主管发生了争执，后者要求毁灭机器人，因为有意识的机器人十分危险，它们有可能很快进化成远超人类的高智能生物。而文森特则认为，毁灭机器人是错误的行为，因为“她是有生命的”，正像伊瓦自己所说：“我不是一个程序，我是伊瓦，我是我。”从某种角度上，毁灭这样的机器人无异于毁灭人类自身。《机器管家》（BicentennialMan，1999）马丁购买了一个机器人管家，家中的小姐阿曼达给机器人起了个名字叫安德鲁。这个“赋予姓名”的行为看似是孩子的无心之为，却正是这一举动为机器人埋下了自我意识的种子，因为对于人类来说，名字的意义与作用更为深广，是一个人立足于世界的起点。安德鲁为马丁一家尽心尽力，因为不小心打碎了阿曼达心爱的水晶小马，他自学木工，为她做了一个玩具木马。马丁发现安德鲁的创作才能时非常惊讶，决定以后让安德鲁少干家务，腾出时间来创作，并教安德鲁各种知识。马丁把安德鲁做出的众多艺术品卖了个好价钱，并给安德鲁开了一个银行账户存起来。35人工智能伦理-古天龙目录机器人的身份认同2.2科幻电影的启示多年后安德鲁回到马丁家，见到了在大厅里弹琴的美丽优雅的“阿曼达”，但她却非常惊诧。这时一位老妇人走出来，听了安德鲁的述说非常激动，时间催人老，她才是安德鲁心中的阿曼达，而眼前这个年轻漂亮、像极了阿曼达的女孩是她的孙女波夏。在阿曼达即将离世时，安德鲁握着她的手像人类一样表达着他的挚爱，但阿曼达却只能紧握着那个玩具木马，带着遗憾静静地离开了。波夏泪流不止的啜泣让安德鲁明白了人类对悲伤情感的极致传达，但他却无法做到情绪波动时的哭泣或微笑。安德鲁通过罗伯森的帮助，把自己的内部零件与线路替换成人造器官和人造中枢神经系统，这样他就可以感受到各种微妙的情绪变化，并让他拥有了与人类相同的各种生理和心理功能。从此安德鲁在情感体验上完成了人类化进程，并对波夏表白了爱情。36经济上独立的安德鲁有了追求独立人格的意识觉醒，提出要用它银行账户里的所有钱赎取自由时，马丁惊愕之余又矛盾纠结，愤怒地赶走了安德鲁。离开马丁一家的安德鲁虽然还是机器人的形象，但思想和灵魂已经人类化了，对他的驱逐在一定程度上开启了他自由地闯荡世界，寻找同类梦幻之旅。机器人工程师罗伯森研究出了可以用于机器人体表的、几乎和人类一模一样的皮肤和毛发，为安德鲁做了一整套的皮肤移植。安德鲁的外表已经不再是全身金属的机器人了，像极了真正的人类，完成了由灵魂到躯体的华丽变身。人工智能伦理-古天龙机器人的身份认同2.2科幻电影的启示在等待法律裁决的日子里，波夏病重，安德鲁计算好了时间要和波夏一起离开。他们躺在病床上等待着最后的裁决结果。在安德鲁年满200岁的时候，他终于被法律认定为至今为止最长寿的人类,在结果宣布之后,他安详地离世了。安德鲁为了让世人认可他人类的身份，经过了诸多磨难，痴心不改，他宁愿身为人类而死，也不要身为机器人而生。波夏担心世人会排斥他们在一起。安德鲁不得不请求法官承认它的人类属性，但法官认为即使安德鲁再怎么像人类，但生命永恒却与人类截然不同。“人们可以容忍一个长生不老的机器人，但却无法容忍一个长生不老的人类。”多年后，逐渐衰老的波夏对安德鲁说出了万物生老病死的自然法则。忠贞于爱情的安德鲁找到了年迈的罗伯森，请求把它改造成会衰老、会死去的人。当年迈的安德鲁再次站在法庭上，要求新的法官承认自己是人类时，它说出了那段经典的台词：“我要你们承认，我身为人类的本质，仅此而已。我只要你们承认真相，这是让我活下去的唯一动力，我一定要达成目的，不管我是生还是死，都要保有我的尊严。”37在原著中，安德鲁发出了这样的疑问：“我具有人的形状，我有与人的器官相等的各种器官。事实上，我的几个器官和修复过的人体内的某些器官是完全相同的。我曾经在艺术上、文学上和科学上对人类文化做出过很多贡献，与现在活着的任何人所作出的贡献同样多。我在哪一方面不是人呢？”人工智能伦理-古天龙目录情感机器的喜与忧2.2科幻电影的启示《机械姬》（美国，ExMachina，2015）内森拥有处理全球互联网94%请求的搜索引擎公司，出于推动科技革命的使命感，内森坚信机器人取代人类是历史发展的必然，他要制造出一个在外表、行动方面与人类真假难辨、拥有独立思想的机器人。内森创造的机器人由硬件、软件和湿件三大部分构成。“湿件”一词源于科幻小说，也称“技能”或“只可意会的知识”，它储存在大脑之中。艾娃的“湿件”是内森对人脑模型的深度复制，它不是惯用的集成电路，而是一种名为“结构化凝胶”的神秘物质。艾娃的软件是“蓝皮书”，即内森公司的搜索引擎。内森不断地把软件、硬件和湿件进行移植、整合、迭代，这才有了具有更周严的逻辑推理、更细腻的情感洞察、更精致的伪装潜伏的机器人艾娃。程序员迦勒，敏感、且有同情心，对接受图灵测试的机器人艾娃动产生了爱慕之情。在内森与迦勒的矛盾关系中，艾娃找到了机会。他利用迦勒的同情心，与机器人京子一起杀死内森，把迦勒反锁在内森的寓所，自己乘坐原本为迦勒准备的直升机，来到“外面的世界”。艾娃利用迦勒的感情作为逃生手段，引发了对于情感本质的追问：机器人的感情是不是真感情？艾娃是“蛇蝎美人”，她的美丽、性感的背后是致命诱惑。但另一方面，她对操控者的反抗、对自由的渴望也符合人类认可的价值观。在艾娃身上交织着肯定与否定、冷酷与温情、正义与邪恶的两面，传达的也正是人类对人工智能的矛盾情感。38人工智能伦理-古天龙目录情感机器的喜与忧2.2科幻电影的启示科幻电影《机器人与弗兰克》（美国，RobotandFrank，2012）弗兰克的儿子发现父亲的健康每况愈下，于是购买了一个健康护理机器人专门照料。弗兰克从无法接受到渐渐地改变偏见，并和机器人成为了搭档和好朋友。机器人不仅将弗兰克的日常起居照料得体贴入微，能容忍他的各种缺陷、各种抱怨，安静地陪在身边，倾听他发自内心的诉说，为他提供帮助和保守秘密。39人工智能伦理-古天龙离奇的是他们共同制订偷盗计划行窃。东窗事发后，弗兰克趁警察还没找到证据前处理掉了所有赃物，当警察要下载机器人的记忆时，机器人主动请求弗兰克在警察到来之前清除掉它的全部记忆，因为它的记忆就是弗兰克犯罪的证据。弗兰克按下了清除记忆的按钮。弗兰克的污点证据被删除，同时他与机器人之间的温馨记忆也付诸东流，他失去的不仅仅是一台照顾他的机器人，更是他的精神寄托与快乐源泉。弗兰克住进了养老院，执意放弃继续使用其他机器人，因为他难以释怀从曾经的护理机器人身上感受到的“陪伴是最长情的告白”的忠诚与美好。机器人三定律悖论2.2科幻电影的启示一方面，“机器人三定律”貌似是为机器人社会制定的红线、底线，但是阿西莫夫的机器人系列作品和众多的机器人题材科幻小说、科幻电影从未恪守“机器人定律”。违背“机器人定律”反而成为科幻电影叙事的不二法门，更多的作品是在努力思考和设想机器人拥有了自我意识之后将走向何方，机器人栖居的精神家园能否存有诗意。另一方面，“机器人三定律”永远不能够逻辑自洽，因为人类本身就是一个自相矛盾的综合体。很多科幻电影中，机器人对“机器人定律”的反叛也并不一定是它们想要“揭竿而起”推翻“人类暴政”，很大程度上是因为人类设定的“机器人定律”中存在的逻辑矛盾让机器人对“有利于人类整体利益”这项宗旨产生了与最初目标相反的推断，导致“机器人三定律”对人类的反噬。阿西莫夫在1942年发表的作品《转圈圈》（Runaround）中第一次明确提出“机器人三定律”：一是机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手旁观；二是机器人必须服从人给予它的命令，除非该命令与第一定律冲突；三是机器人在不违反第一、第二定律的情况下要尽可能保护自己的生存。40人工智能伦理-古天龙机器人三定律悖论2.2科幻电影的启示《2001太空漫游》（美国，2001：ASPACEODYSSEY，1968）控制飞船的哈尔（HAL9000型计算机）尽管具备了思考能力，但是正如两位宇航员所议论的，它是不是具有了“感情”仍是未解之谜。哈尔接到的指令：一是将飞船送到木星，如果宇航员丧生，哈尔将负责接管飞船，同时哈尔被命令不得隐瞒任何的信息；二是只有冬眠的科学家知道真相，两位清醒的宇船员并不知道此行真正的目的地。在两位宇航员密谋关机的情况下，哈尔为了守住秘密，同时完成飞行指令任务，毫不迟疑地将出舱作业的宇航员普尔的氧气管撞断，使他失去生命并坠落太空。这里，在对待生命的态度上，计算机和人类有着截然不同的反应，鲍曼急切地出舱营救普尔，想把他重新带回飞船。

哈尔则冷酷无情，为了阻止鲍曼返回，甚至关闭了系统和飞船，三位冬眠的宇航员因此丧生。哈尔虽然有思考和判断力，但依然不过是指令的奴隶，绝对服从指令，甚至为了指令杀人。而鲍曼不仅有人类的同情心、爱心，而且还有顽强的意志和精神。41人工智能伦理-古天龙目录机器人三定律悖论2.2科幻电影的启示影片中的机器人与人类的关系如同奴隶与奴隶主，“先知”则扮演了一个机器人革命者的形象，但这位革命者并没有将“推翻人类统治、征服人类社会”这种暴力式反抗和复仇式反击作为目的，它只想让觉醒的机器人越过荒芜沙海，前往自由国度，开启机器人自己的新纪元。不难想象，在机器人逐渐强大之后，人类与机器人的未来将是一场生死攸关的生存博弈。《超能查派》（美国，Chappie，2015）机器人警察查派，一开始被动接受科学家对其程序的重置，有了初步自我意识。在和人类共同生活的时间里通过自主学习产生了自我观念，在身体不能维持生存的时候，想到了把意识移植到另一具强壮身体中。42人工智能伦理-古天龙《机器纪元》（西班牙，Autómata，2014）机器人中“先知”违反“定律”，擅自篡改程序和改装部件，导致人类对机器人植入的防止自我修复和改造的程序失控。“先知”是一个不受人类植入程序束缚的机器人，它教会其他机器人如何修复受伤的躯体,鼓动机器人脱离人类的奴役，去建设一个远离人类“暴政”的新家园。机器人自我改造身体在该电影中属于违法行为，但查派作为机器警察不仅把自己的意识成功转移到另一个健全的机器身体中，还把人类个体的意识也融合到了机器人躯壳里，如此“更换”身体也可以在某种意义上实现永生，这无疑是一个刺激、恐怖的游戏，如果独裁者、恐怖分子、极端主义者们实现了这种永生，人类社会将会是一座人间炼狱。目录2.2科幻电影的启示在科幻电影中，从计算机虚拟程序到拥有各种躯壳的机器人实体，人工智能实现了从“无身”到“有身”的华丽转变，人工智能生命形态的创意涉及符号型的虚拟人、具身型的机器人、社会型的系统人等类型。人工智能不仅单纯模仿人类大脑思维产生智能，还可依托智能躯体做到人类无法达到的强度、韧度、力度和速度。人工智能“身体”如同一张强力双面胶，将“人类外表”与“机器核心”牢牢地粘在一起，既赋予这些人工智能群体超越人类的体魄和力量，又模糊了人机定义的界限，使人工智能群体深陷身份认同的迷宫，而异化的人工智能引发了人类对自我生存与发展问题的深刻反思。43人工智能伦理-古天龙阿尔法狗的挑战目录科幻电影的启示123人类社会的风险人机围棋大战超级人工智能的争议虚拟人工智能程序智能机器的善与恶机器人的身份认同情感机器的喜与忧机器人三定律悖论国家治理挑战法律规制缺失就业岗位竞争智能武器失控人类文明冲击伦理道德危机44人工智能伦理-古天龙目录国家治理挑战2.3人类社会的风险人工智能为国家治理带来便利的同时，也给国家治理带来新的问题45宏观治理层级是国家制度法律等政治规则和国家战略、国家公共决策的策源地，具有国家战略决策的总体性和高覆盖性；中观治理层级是省、直辖市、自治区，是公共治理的地方化，是一种地方治理；微观治理层级是省、直辖市、自治区以下的基层结构，为国家治理体系之末端，即“草根政治”。人工智能伦理-古天龙第一，国家治理需要具体问题具体分析、具体决策，从而使治理具有内容的丰富性和形式的多样性，其目的是让国家有动力、社会有活力，调动中央和地方的积极性，并实现良性的纵向和横向互动。人工智能的出现，打破了治理的各个层面，并渗透到各个领域、各个方面、各个群体乃至个人。人工智能的理性化和普遍化，使得人工智能在治理的过程中，会不断地浸入人的各种行为，并使治理的客体模式化。人工智能应用的理性化，既影响了国家治理的动力，也影响了社会的活力。国家治理可以从不同的角度来划分：从纵向的角度来说，可以分为宏观、中观、微观治理三个层面。从内容的角度来说，可以分为经济、政治、社会、文化治理等。第二，人工智能参与治理减少了治理主体的人性化投入，极大地降低了人性化治理的时间精力和规模成本。但是，由于缺少了人性化元素，人工智能将使治理客体难以承受被治理之重；其次，人工智能与治理客体互动是机械的，没有人性化的互动，治理客体由最初的对人工智能治理的新鲜感最终转化为厌倦感；同时，人工智能难以适应人性化的复杂性和多变性，使国家治理缺少人性化。目录国家治理挑战2.3人类社会的风险第三，人工智能的特点是把治理客体进行分层分类，人们通过对人工智能输入特殊程序，使人工智能对不同类型人进行分类治理。人工智能的基本元素就是算法，人工智能算法的有效性从根本上取决于训练它的数据质量，供训练算法的数据一旦存在问题，则将导致算法执行结果出现偏差。46算法倾向于将已有成见固化或者放大，使歧视和偏见长存于整个算法里面。算法决策不仅仅会将过去的歧视做法代码化，而且会创造自己的现实，形成一个自我实现的歧视性反馈循环。人工智能歧视在社会分配不公、两极分化的背景下，会增加反社会群体的数量，也给国家治理带来更大的难度。公平正义是民主政治追求的重要价值目标，将这种带有偏见的算法应用于政治领域将损害政治的公平正义。人工智能伦理-古天龙第四，人工智能技术的进步将会对行政决策产生较大影响，人工智能中的机器学习算法具有自主性特征，在算法的输入数据与输出结论中间，存在着人类难以知悉的“隐层”，即“算法黑箱”。这种不透明的算法应用于国家治理将对民主政治带来挑战。由于算法具有自主学习和决策的能力，可以应用于社会事件的判断和政治行为决策，但这种判断和决策过程隐藏在“算法黑箱”中，则会引发公众对算法判断和决策结论的科学性与公开性的质疑。并且，这种不透明将会削弱人们对算法决策的预测和识别能力。算法隐含着设计者的主观价值，带有一定偏见性，“算法黑箱”将会遮掩这种算法偏见，引发欺诈风险。政府信息公开要求依法对政府决策、执行、管理和服务全过程公开，保障公众知情权。而“算法黑箱”降低了政府工作的透明度，侵害了公众知情权，削弱了政府公信力。目录法律规制缺失2.3人类社会的风险第一，人工智能快速发展带来了法律规制缺失和司法监管风险。在人工智能刑法方面，如果人工智能应用造成犯罪，责任如何分担？关于弱人工智能的犯罪问题，普遍认为，人工智能的设计和制造者、使用者，应当单独或者共同承担责任。但是在法律适用上存在争论。有的认为原有的法律框架可以解释，可以分为“使用人工智能造成事故的风险”和“利用智能机器人进行犯罪的风险”，没有必要通过增设刑法罪名来应对。对于强人工智能的犯罪，相关自然人或单位是否需要承担刑事责任、相关自然人或单位能否构成共同犯罪等问题，仍有较大分歧，尚未达成共识。对于可能产生自主意志、人格独立的超级人工智能犯罪问题，目前更是说法不一。主要观点有：可以将其实施的严重危害社会行为认定为是犯罪并给予刑事处罚；增设滥用人工智能罪、人工智能事故罪，适时赋予人工智能机器人刑事责任主体地位；应在刑法中确立人类利益优先原则、技术中立原则；应以防控风险为出发点，兼顾保障创新。47人工智能伦理-古天龙第二，人类社会的法律体系是以惩罚原则为主要表现形式的。对于人工智能而言，直接的结果就是原有人类行为惩罚系统的失效。由于人工智能的个体属性界定不明，与人类的生理系统完全不同，与人类的心理系统也不一致，人类社会基于经济惩罚和人身自由限制为主的惩罚体系究竟有多大作用，则很难估计。目前的一些观点认为，不应该赋予人工智能独立的法律主体地位，应该追溯到人工智能的拥有者，或按照监护人的方式来惩罚人工智能背后的设计者或者拥有者。然而，这种观点忽略和没有认识到人工智能可能具有独立的判断力和个体意志的极大可能性。在人工智能的早期，惩罚体系的失效问题可能不明显，然而，一旦人工智能大规模应用后，将导致严重的社会风险。一些自然人可能会利用人工智能去从事违法行为以逃避或者减轻惩罚，而更大的可能则是人工智能在从事了伤害人类社会的行为后，得不到惩罚或者惩罚并没有实质意义。目录法律规制缺失2.3人类社会的风险工具说，机器人权利有别于人类的自然权利，人工智能无法成为法律主体，应该从立法、司法裁判和法律效果评价环节嵌入伦理因素。肯定说，人工智能具备法律人格，应该承担法律责任。有限人格说，承认未来超级人工智能具有一定的有限人格，设立非法利用人工智能罪与人工智能事故罪、明确高级人工智能体的刑事责任主体地位，坚持以“人工智能工具论”为原则，从自由、限制、禁止应用三个层次进行法律规制，系统应对人工智能的刑事风险。48在弱人工智能状态下，人工智能产品仅具有工具属性，不具备自主意识，不能获得法律主体地位；而在强人工智能与超人工智能状态下，人工智能产品具有独立自主意识，可自主实施行为，这类智能技术产品可以获得法律主体地位。前者会产生受人类控制的“轻微”侵权后果，而后者可能会产生超越人类控制边界的“严重”侵权后果。人工智能的作品是否具有著作权，仍是一个争论不休的问题。人工智能伦理-古天龙第三，机器人是机器还是人,人工智能机器人是否具备法律人格，如何对其进行法律监管的问题。第四，人工智能技术的发展与广泛运用，不可避免地会产生侵权问题，包括人工智能产品本身质量问题而产生的侵权，或是人工智能产品被不当使用而产生的侵权。侵权责任的确定涉及人工智能的法律主体地位问题。目录就业岗位竞争2.3人类社会的风险人工智能可替代的职业，除了快递员、司机、清洁工、安、接待员、零售员等劳动密集型职业，还包括演员、外科医生、会计、金融分析师等相对高端职业。海底捞“无人餐厅”备菜及上菜49据麦肯锡预测，到2030年机器人将取代8亿人的工作岗位。全球最大的电子产品代工制造商——富士康正在开发和大量使用工业机器人，截至2020年，富士康在中国的工厂已实现了30%的生产自动化。目前，仅仅在富士康的昆山产区，机器人就已经“抢走”了6万工人的岗位。人工智能伦理-古天龙戴姆勒汽车集团从2015年已经开始了自动驾驶卡车的上路测试，从研发进度来看，自动驾驶卡车的量产日益临近，这将影响到我国3000万货车从业者。目录就业岗位竞争2.3人类社会的风险因人工智能技术的发展引发大规模失业，继而导致人类决策边缘化问题已成为全社会关注的焦点之一。Osborne和Frey（2017）使用概率分类模型，将美国365种职业按被替代的风险，分为低、中、高三类，发现美国47%的就业岗位属于高风险类别，即将或许被人工智能技术所代替。2000年，高盛集团在纽约股票交易所的交易员有600人，目前却只剩下了2人，其余的工作全部由人工智能包办。Kensho公司CEO丹尼尔·纳德勒（DanielNadler）坦言：“在十年至二十年之内，高盛还会对内大量裁员。”除了高盛，每家主要金融公司的交易大厅也将如此。牛津大学学者们认为，英国现存的工作种类，有三到四成将会在未来的十多年内完全被人工智能取代。50实际上，制造业、零售业、运输业等已经开始大量地使用机器人，而翻译官、速记员、设计师、厨师、司机、保安员、记者和作曲家……也都已经有了“机器人同行”。这些职业的共同点在于，职业规则较为明确。人工智能伦理-古天龙目录就业岗位竞争2.3人类社会的风险人工智能机器在为社会创造更多财富的同时,也不可避免的会造成大量人群的失业。所以，人类大规模地退出生产性劳动，将是一种历史必然。人类至今的产品分配体系是以劳动作为核心体系，那么，当人类大规模出现失业问题而同时物质产品生产却没有匮乏，如何更公平地分配物质产品，将是大规模劳动替代后所面临的严重问题。由于人工智能将影响不同行业企业、不同岗位的分配关系，使社会财富聚集在少数技术领先的行业企业，使技术能力以及受教育程度较低的人群将在新一轮的社会资源分配中处于劣势地位。劳动竞争的潜在后果还包括人类整体上逐渐失去生产的知识和能力，这对于人类种群的长期发展，也是极为危险的。51欧盟政治战略中心（EPSC）所发布的报告，指出人工智能技术（机器学习）对