如果这个风险真的发生，变为现实危险，这就意味着不仅人类的精神文化没有了，文明没有了，甚至人类也将不存，比“核冬天”发生、人类被打回石器时代还可怕……如果是人工智能或者在基因编辑基础上新的物种出现，这样一种造物，就像刘慈欣所说的，“我消灭你，与你无关”，跟你好坏或者有无爱恨，没有关系。我需要这些资源，你可以成为我的资源，这就够了，我就可能毁灭你了。我跟你没有什么爱恨也无所谓道德，我能力上可以毁灭你，就够了 本文首发于南方人物周刊 文｜本刊记者 徐梅 发自北京 编辑 | 雨僧 rwyzz@126.com 全文约7978字，细读约需18分钟 每个中秋前的周五，都是北京最堵的一天。今年赶上国庆中秋双节重叠，9月25日傍晚的东三环寸步难行，北京大学哲学教授何怀宏和博士生一起坐地铁到国贸一家书店参加一个对谈。事实证明，他充分预判了交通，是当晚三位嘉宾中唯一准时的。 科幻作家郝景芳花了比平时多出两倍的时间才从家里移动到活动现场。另一位嘉宾是清华大学教授孙富春，因为一个国家级人工智能项目评审会议的耽延，后半段才加入到分享讨论中。 当晚对谈的主题围绕着何怀宏的新书《人类还有未来吗？》展开。这本书集纳了何怀宏自2017年以来对技术带来的伦理和哲学问题的持续思考。 在技术和资本乘风破浪的当下，何怀宏说自己所发出的声音“很微弱”。他的观点十分鲜明，“限制发展通用人工智能”和“禁止机器人拥有暴力”的立场甚至有些强悍，一贯以温和、宽容为思想底色的他认为这样的建议决非危言耸听，而是出于对人类文明的珍惜，是为确保脆弱而珍贵的碳基生命存续的“底线思维”。 和大多数人一样，何怀宏自2017年AlphaGo完胜世界排名第一的围棋国手柯洁才开始关注人工智能，在此之前，他对科技并无兴趣，连科幻电影都不太爱看，“觉得那太虚幻，而现实生活中有许多紧迫的问题。”此前久无突破的人工智能因算法革命而落地生风加速成长，令何怀宏突然意识到“技术才是我们时代的‘最大真实’”，并且“警觉到近代以来人们精力投向的一个根本转折，就是开始了以驾驭物质和技术为主导的价值追求。而这种追求如果越来越强，一意疾行，有可能导致在推进文明的同时也走向文明衰退”。 三年多的观察和思考，何怀宏谈论人工智能已经相当专业。这个大热的领域一直不缺警示牌，但过往讨论（包括有限的反对意见）更多是来自科学界，围绕着AI的技术表现和限制，科学家更多的是宽慰人——固然这是一个堪比工业革命的颠覆性创新，但技术突变“奇点”还遥不可及，机器只是在某些单项技能上本领过人，百年内难见堪比人类的通用人工智能。 但何怀宏认为以人工智能、基因工程为代表的高科技将带来“人自身难以预测的严重后果”。他敏锐地指出，百年对于人类社会只是一瞬，“人类精神文化的其他方面与科技文化相比，已然显示出某种落后、停滞甚至无可挽回的衰落样态。” “如果我们在应对挑战方面完全无所作为，甚至走错方向，人类还有未来吗？或者说会有怎样的未来？” 郝景芳说自己非常理解何怀宏教授的思虑，她写过反技术乌托邦的科幻小说，小说集《人之彼岸》中有个故事就是以闯入者的视角，进入到一个人类完全向人工智能出让了决策权的未来社会。她说自己在写作中对技术是持反思和悲观主义立场的，“科幻是现实的预警，今天的我们也在慢慢地把自己的思考和决策权交给系统，比如地图找路，我们越来越习惯用导航，比如时间安排等，它慢慢跨越到我们的生活领域，越来越多地去替我们做这样那样的安排。” 但生活远比小说复杂，相较于小说中的极端，现实中的边界是模糊的，“哪里是一个明确的边界，哪里是我们必须保留，一定要由我们自己来思考，绝对不能让人工智能系统替代，是我们独立思考独立人格的最后的边界？”郝景芳坦言，“我其实不是特别确定。” 现实生活中，她对待科技反而是一个“积极的行动者”，希望自己能够善用技术，并且对技术也怀有善意，“我不认为人工智能会想要消灭人，我也不认为人的主体性会因人工智能而消失，人只会因为自己不进步而成为落后的物种，只会因为自己不思考而丧失主体性。” 选择积极拥抱技术和变化还有一个原因，本科学物理学的她有许多从事科学研究的朋友，也常与科学家交流，从科学工作者身上，她看到未来技术发展的“不可阻挡性”。她曾在一个活动上做主持人，采访几位科学家，问他们如何看待基因科技对人类基因的改变。 在场科学家们的回答非常一致，“他们说固然有一定伦理风险，但这个事是挡不住的，一定会有科学家往前推动，你挡也挡不住的。所以其实从科技工作者来讲，他们是非常实际地看待这个问题的。我想既然挡也挡不住，我们就只能积极行动，推动技术往好的方向发展，别让我们的生活因技术而陷入灾难。” 郝景芳话音未落，孙富春也赶到了现场，他带着科学工作者的昂扬拿起话筒，分享了清华大学以及国内其他顶尖机构在人工智能研究上取得的前沿进展—— 以人工智能为大脑，清华大学研发的新一代机器人拥有“五模态指尖传感器”， 是目前世界上感知模态最多且分辨率最高的，“机器手接触物体时，对物体表面的颜色纹理，洁净觉、触觉，还有力的感受、温度，都能够测出来。” 听到孙富春介绍说机器人很快就可以给人一个力度合适的拥抱，还可以轻轻“拍一拍”以示亲昵，何怀宏听得很认真，表情严肃。 孙教授继续欢快地介绍：能够实现人、环境和机器人共融的共融机器人可以以智能假肢的方式通过神经接口与人的神经连接，不仅具有触感，还能感受到冷热酸痛，融入人体，成为假肢患者的一部分。此外，通过智能设备视觉和触觉的交叉学习，神经坏死的人可以借助设备通过视觉诱发触觉感知。 孙富春语速很快，全场听得呆住，“我想给大家再展示一个更新的工作，我们大家都很清楚，现在的机器人是硅基的，我们叫‘硅材料’。现在一个最大的改变，是做硅基跟碳基的结合，我们把这个材料叫‘类生命体材料’。在国家科技部的项目里面，我们已经在安排通过活体细胞做触觉做视觉，这种活体细胞目前在营养液里面大概可以存活一个月左右。” 未来这些活体细胞做成的人造细胞使用广泛，“比如人造皮肤，现在都在做，但是没有一款人造细胞做的人造皮肤真正让机器人用上，为什么？因为现在人造细胞一是分辨率比较低，第二个承重很低，现在最好的也就只能做到承重2.5公斤左右，而我们人的皮肤可以承重100-200公斤。通过活体细胞做出的皮肤，将来会达到100多公斤的承重，这样的话就可以真正用在机器人上。” 包裹了人造皮肤的智能部件将来可以用在人的身体里面，实现了硅基与碳基的结合，机器人的发展会再往前跨越。孙富春非常肯定地告诉大家，随着脑科学研究的突破和类生命材料的使用，“机器人将来会越来越聪明，机器人将来会跟人更好地协作。我觉得机器人有一天会有自我意识的，这一天一定会到来的。” 9月1日，美国内华达州，美军士兵在内利斯空军基地使用四足仿生机器狗执行机场防卫任务 孙富春说他给一本名为《机器人的未来——机器人科学的人类隐喻》的书写了序，这本书预言机器人未来可以拥有艺术、宗教，研究形而上学并拥有历史，且人类可以与一个类人机器人结婚。就连不排斥体内装入类生命材料的郝景芳也不能认同“人机共生的形式是人会跟机器结婚”，但孙富春非常肯定，“这个绝对是这样的，只是今天的机器还到不了共生的程度。向后50年，再向后100年，我想大家一定会认同这个观点。” 主持人强烈要求何怀宏发言，他说话很慢，音调不高，一说话，倒比倾听时更安静。当他开口，他把一个小小的人的身影带到由技术乐观主义和科技新发现所掀动的巨浪之前。 “我说的可能不对”，“我承认我的无知”，结尾时，他说，“我就说到这里吧！” 以下为何怀宏自述： 起因 写这个书，直接的起因就是2017年世界哲学大会启动仪式那一年，有一个学术研讨会，题目就叫“学以成人”。当时正好是阿尔法狗战胜了围棋世界冠军，很多机器正在努力地“学以成人”，当然只是成为人的一个方面，就是智能。 引发我对技术思考的后面还有一个比较深的背景，七八年前我对世界的精神文化有一种突然的失落感，觉得精神文化不再是向上，而是已经开始向下衰落。 我不知道在海德格尔、维特根斯坦之后，还有超过他们的吗？好像没有。也快将近一个世纪了，没有出现伟大的哲学家，其他领域，也是一样。 我们所读的书，我们的艺术、我们的音乐、我们的绘画，我们认为伟大，并且推崇的都是一百多年以前的了。当然我们有很多激动人心的影视明星、娱乐明星。但是精神文化上我们是贫乏的，在走下坡路，这是我最早的一个担心。 后来就开始担心文明，不仅是精神文化，更担心文明。物质文明、精神文明，但还有政治文明，有些人认为我们的文明是在进步，但是我恰恰看到了一种不令人乐观的景象。 最后甚至担心人类的存续。 一百多年前，1918年11月7号，梁漱溟的父亲梁济曾经问过他25岁的儿子一个问题，“这个世界会好吗？”三天后他自杀了。梁济先生提问时主要还是心系中国，中国这样一个政治社会在辛亥革命建立共和之后，他看到很多乱象，忧心忡忡地问他儿子那个问题。 “人类还有未来吗？”我们现在问这个问题，不仅仅是对中国，也不是对社会，可能是对人类而言的。其实我原来没想这么一个大的题目，我是在讨论这样一个问题，如何看待精神文化、文明，甚至人类存续所面临的新的挑战？ 这次的新冠只是一个非常细微的微生物发出的挑战，世界够狼狈了。还有很多潜藏的危险，但是我们太容易娱乐至死，太容易忘记。   我们的人均寿命确实在这一百多年翻了一番，从四十多岁到七八十岁，这个世界让我们感到无比的吃惊，也相当的享受，但是有没有潜在的危险？ 我觉得人工智能也好，基因工程也好，都是双刃剑，我们容易看到它们给我们带来的便利、富足，但是不容易看到它们带来的危险。这是我写这本书的一个起因。 2018年4月27日，福州长乐，柯洁观看机器人下围棋 脆弱亦高贵的人 人其实是脆弱的。如果从肉身来说，他是脆弱的，他可能被一块石头击中而死，也可能被一滴毒汁毒死，有时候是无法防范的。 但是就像帕斯卡尔所说的，人还是比毁灭他的东西高贵，人知道他的脆弱性，知道他必有一死，而动物不知道，“人是一根会思想的芦苇。” 会思想，这就是人的高贵之处，伟大之处。仅凭肉身，人不要说永生，或者是长命，乃至永远安全，他都是不可能做到的，但是拼思想他能够穿越时空，能够有哲学的沉思、艺术的创造、信仰的追求等等，这是人独特的地方，是人与动物之区别中最关键的。这恰恰是人最大的一个“人之为人”的特点。 所以我们不能放弃这个，虽然每个个体都会死亡，人类最后也不免灭亡，但是从我个人来说，我非常珍视人类的文明史精神史所创造的，虽然精神文明只有两三千年，从“轴心时代”可以广义一点再往前推一两千年，也就是那么几千年；物质文明从农业文明开始只有一万来年，政治文明也只有五千年左右。人类只有这么一万来年的文明史，但已经创造了如此的成就。 人工智能也是人类的创造，它既是人类的骄傲，又是人类的危险。它在智能上能够超过人，甚至能够取代人，这一点是未来的一个危险，也可以说是最大的挑战。 它并不是全面的类似人，即便未来出现通用智能，超级机器人，它仍然不会完全像人，也不必完全像人，只要在智能方面有超过人的控物能力，也就能够控制人。 然而它不会有人的爱，爱多么脆弱，就像美也是脆弱的，甚至是很容易消失的，它不会有这些。 那么人类就需要一种比较预防性的伦理甚至法律，努力去预测很难预测的后果，扩大你的安全系数和安全范围，不要为一时的方便便利轻易地去试验。无论是生殖基因的实验还是超级智能的实验，因为它可能带来莫测的风险，带来不可逆转的后果。 如果这个风险真的发生，变为现实危险，这就意味着不仅人类的精神文化没有了，文明没有了，甚至人类也将不存，甚至比“核冬天”发生、人类被打回石器时代还可怕，退回石器时代我想肯定还有人类的劫余，就是说还可能有少数人幸存，甚至可能缓慢地恢复文明。但如果是人工智能或者在基因编辑基础上新的物种出现，这样一种造物，就像刘慈欣所说的，“我消灭你，与你无关。”跟你好坏或者有无爱恨，没有关系。我需要这些资源，你可以成为我的资源，这就够了，我就可能毁灭你了。我跟你没有什么爱恨也无所谓道德，我能力上可以毁灭你，就够了——这是可怕的。 6月27日，上海启动智能网联汽车规模化示范应用，安全员在上海市嘉定区路上驾驶。主驾驶座上的安全员在车辆行驶时两手放在方向盘旁，前排座椅背后的屏幕上实时显示行人、车辆等周边路况  图/新华社 人还有许多科学未曾知悉的奥秘 有些人无所谓，当然我们也要达观，我也觉得要好好地生活，不去多想不去深想，就像以赛亚·伯林所说的，“生活在表层”是挺好，一个人不能总是生活在深处。浮在水面多轻松，我们也需要经常地轻松地愉快地活着，不用多想，现在有时候多想无益，甚至还可能有害。 但还是要有人在想，有人在做这样一种事情，所以我还提出一个概念，就是“关键的少数”这样一个概念。 很重要，需要有人来承担，“让一部分人先明白起来”，这个“关键的少数”至少应该包括四种人，即目前掌握科技、经济、政治和舆论资源的四种人。他们首先考虑预防最坏结果的出现，最后反而能得到最不坏的结果。 刚才孙老师介绍了他们的一些最新的研究，我学到了不少，也使我感到有点震撼。 我的感想主要有三点：一个就是材料，过去区分人和智能机器主要的一个区别是在材料，我们是碳基生物，碳基生物就意味着我们天天要不断地呼吸，要喝水，要吃东西，要晒太阳等等。硅基，它就不需要喝水，喝水还糟糕。它不需要这些东西。人机之别，基本的区别就是人是碳基，机器是硅基的存在。融合之后，如何区分？包括脑机结合，都会遇到这样的情况。 如果我们不断地更换，比如人造心脏、人造肢体，换着换着人是不是最后基本上就完全变成了一个硅基的存在？变成了一个“特殊材料制成的人”？ 很难说会在哪一个点上发生一种质变，人类由碳基生物变成了硅基生物，这是一个极大的挑战。 第二点就是感受性。我们作为碳基生物，很强调我们的感受性，恰恰这是人工智能最没办法学的，它计算很快，但是它还有一点很笨很笨：我们人进一个屋子扫视一下就可以看见现场的很多人，一些印象深刻的脸一下子我就记住了，甚至有可能一见钟情，但是机器没办法做到这些。我们最容易做到的事情，机器最难做到，这就是依靠我们的感受性。 感受性是人很独特的能力，科学家通过将神经接口接入假肢，提高它的感受性，这种感受性毕竟还是功能性的，是我们的四肢或者说身体的一部分功能性的感知能力。 人类综合性的感知是我要讲的第三点，综合性的感知或者说心灵，甚至说灵魂，就是一个统合的知觉。过去古人说“心之官则思”，心是一个主宰的部位，现在一般不这样认为，认为是大脑。但是到今天脑科学家依然很难解释，大脑研究可以侧重各种反应，比如人在愤怒的时候，我们的脑细胞脑灰质会发生什么相应的变化。但这还是外在的表征，脑科学的研究至今还不知道人到底有没有灵魂，到底这个灵魂是怎么存在的。 我们也无法解释人类历史上“人猿揖别”的那一刻，人怎么突然有了意识、自我意识和主体意识？那一刻是什么时候？是怎么个奥秘？无论是人类的群体史还是个体史都不容易回答。 灵魂是不是不朽？如果按佛家的轮回说，那也是不朽，某种不朽，但是没有记忆。没有记忆，它不是连贯的。 那是不是有记忆就是不朽？现在可能科学能做到将你的记忆外包，把你的某种记忆保存起来，过上若干年，甚至可以把你的记忆重新安放到某个肢体上，你还记得你小时候的事情，你过去的一生，你重新开始的一生，但你还是你吗？我不知道。 在人这里还存在着很多奥秘。我甚至怀疑科学再进展，也未必能够知悉这些奥秘。 很多奥秘我们原来以为已经离我们不远了，走近了才发现还是很遥远。就像很多医生甚至公共卫生专家认为，包括《人类简史》作者赫拉利也认为，人类已经基本上消灭瘟疫、消灭恶性传染病了，细菌可以用抗生素，病毒可以用疫苗，以后再没什么人需要去研究这些。但是现在看不是那么回事，这次新冠疫情已经发现，疫苗很难研制出来，抗生素会产生抗药性，还会产生副作用，没那么乐观。 其他方面我觉得也是如此，人的技术还是会碰到它的一些限度，另一方面如果不加限制，技术的飞速发展还可能产生不可预测的后果。 光靠科学家自律是不够的 （郝景芳所说的思考和写作上悲观、生活中乐观），其实我是非常欣赏这种态度，但在人工智能可能是“人类最后的发明”上，现实中我们也需要做一些事情，比较具体地话，就是要确立一种预防性的伦理和法律，确保人类文明和人类存续有一个比较大的安全系数，避免它带来不可预测的后果。 人的动机是复杂的，内在的，也是混合的，要根据这些动机提前做一些预防和限制。在实验和研究上，光靠科学家的自律是不够的，很多科学家甚至不愿意自己自律，无论出于追求真理，还是追求其他。就像有些科学家说的，“我不做，别人也会做。”甚至说，“如果不做，我们因此就落后了。”“挡不住的”这样的说法很多，这恰恰是我们的忧虑之处。 我个人的观点是，人工智能的发展和研究要限定为小型化、专门化，不发展通用人工智能。还应该有一个比较严格的限制：机器人不应该拥有暴力的手段。 举个比方，哪怕可能出现小偷或者劫匪入室来抢劫一个老人，也不能给护理机器人使用暴力的程序设定。这是很危险的，因为客户很可能将这个护理机器人变成进攻的工具。 阿西莫夫的机器人三定律，他自己在转圈圈，其中还有一个更深的隐忧，如果让机器人具备人那样的价值判断、自我意识、主体意识，它其实就接近甚至已经是超级智能机器了。它不光在智力上超过人，它还有主体意识，这个时候人不被取代的话也会变成玩物。这是很危险的。 基因工程也是一样，生殖细胞是不能动的，动了生殖细胞，哪怕它的直接结果是健康的，间接的长远的后果你是不知道的。它也可能防止了艾滋病，但是容易感染其他的疾病。另外人如果在生殖细胞上动刀的话，可能就像我们的美容一样，美容手术开始是为了弥补人的相貌的不足，但是现在变成我没有双眼皮我也割一个，我鼻子不够高要整一整，变成一个美容术。基因工程也可能变成一个美智术，会造成人的很大的不平等。 这方面的规则法律还是要尽可能严苛一些，这是我的想法。不一定对。 9月25日，何怀宏（左三）与作家郝景芳（左二）、人工智能专家孙富春（右）在《人类还有未来吗》新书分享会上  图/本刊记者 梁辰 机器人的自我意识是什么 （孙富春教授补充解释了自动化科学对机器人自我意识的理解，“这个机器人的自我意识就是知道自己的存在和知道周边环境的存在，是最基本的自我意识。何老师讲的自我意识可能比这要高得多，我讲的是最基本的自我意识。”） 刚才孙老师谈到机器人自我意识的问题，在哲学上自我意识不仅仅是意识到自己的存在，它是理性和非理性，包括感情、意志。是一个综合体，更重要的它是一个主体意识，意识到自己不是一个工具一个手段，是独立的主体。 我不知道人工智能会不会形成它自己的某种统一的统觉意识，如果产生，那将是一种什么样的自我意识？和人的自我意识有什么不一样？我作为一个人文学者，不是科学家，不像乐观的科学家那么敢预判。至于是不是好事，更不知道。就像我们对不知道的事情，比如死亡，死后到底有什么或者没有什么，我们不知道，但为什么人那么害怕死亡？人为什么不害怕诞生之前的虚无？真的是不好解答。 我承认我的无知。 有自我意识的机器人可能会取代人，或者把人当玩物当宠物，而我们甘心做一个宠物吗？还不是每个人都有这样的资格，你越长得可爱或者越傻越容易变成宠物，你越聪明越深思越难变成宠物。 如果我们发现一只狗在沉思，或者一只猫在深思，我们就怀疑它是不是病了，就觉得它有点像个怪物不敢养它了。所以人的处境是危险的。总而言之，发展超级机器人对人来说，大中小问题都存在。 技术是经济强大的引擎，今人创造了前人想也想不到的充分涌流的财富，那么也创造了时间，用马克思的话说，闲暇时间的多少，是社会进步的一个标志。 人工智能一个最大的夸耀就是可以为人类创造更多的财富和便利，让人拥有更多的闲暇。 但真正会利用闲暇进行创造的永远是少数，会欣赏的比少数更多一些，但这二者加起来可能还是少数。当然，这也没什么可怕的。林肯说过，上帝造了那么多人，尤其普通人更多，他们稳定了这个世界，稳定了这个社会。那些创造的人很可能互相打架，奥林匹克诸神很容易互相嫉妒，互相打架，更多的普通人稳定了这个世界，但我们也要抛除不切实际的幻想，不要认为只要是外在的条件达到了，甚至物质的条件达到了，或者教育的手段达到了，我们就会出现无数的天才，不太可能。 我就说到这里吧。 更多内容vip可查看