原文以Four ethical priorities for neurotechnologies and AI为标题

想象一下这样一种场景：一名瘫痪男子参加一项脑机接口的临床试验，他的大脑被植入一枚芯片，芯片与一台电脑相连。科学家训练该电脑来解读他用大脑预演动作所产生的神经信号。电脑生成的指令能移动一个机械臂。

有一天，这名男子对这个试验组感觉很不耐烦。他的机械臂夺过一位研究助理的杯子，把它捏碎了，还伤到了那位助理。他道了歉，说这肯定是因为脑机接口装置故障，但他不得不怀疑自己的不耐烦是否也在这起事故中起到了一定的作用。

这个场景是虚构的，但也说明了我们这个社会或许将要面对的一些挑战。

眼下，脑机接口技术主要聚焦于临床疗效，比如帮助有脊髓损伤的病人。这项技术已经能让使用者完成一些相对简单的运动任务——比如说移动计算机光标，或者控制电动轮椅。更甚者，通过人的功能性核磁共振成像，研究者们已经可以在一个较基础的水平上解读人的神经活动，比如说某个个体正在想一个人，而不是一辆车。

或许要再等上几年甚至数十年，脑机接口和其他神经技术才能成为我们日常生活的一部分。但科技的发展意味着我们正走在通往一个新世界的道路上，在这个世界里，我们可以解码人们的精神活动，直接操纵他们的意图、情感和决策背后的大脑活动机制；人们能直接通过思考和他人交流；强大的计算系统直接连接到人们的大脑上，帮助人类和世界交互，极大地增强他们的智能和体力。

这样的进步有望变革很多疾病的治疗，从脑损伤、瘫痪到癫痫和精神分裂，并能让人类拥有更好的生存体验。但这种科技也可能加剧社会不平等，给企业、黑客、政府或者其他任何人带来剥削和操控大众的新手段。这或将深远地影响人类的几个核心特征：私密的精神生活，个体能动性，以及对于人类是被身体束缚的实体的理解。

因此，现在就应该认真考虑这可能带来的后果。

晨边小组（The Morningside Group）由神经科学家、神经技术专家、临床医生、伦理学家和机器情报工程师组成，他们有的来自谷歌和Kernel（一家位于加利福尼亚州洛杉矶市的神经科技初创公司）；有的来自国际脑科学项目；有的来自美国、加拿大、欧洲、以色列、中国、日本和澳大利亚的学术和研究机构。

2017年5月，美国国家科学基金会赞助在纽约哥伦比亚大学举办了一场研讨会，我们在会上讨论了神经技术和机器智能的伦理问题。

我们认为现存的伦理规范对这个领域来说是不够的。这其中包括《赫尔辛基宣言》，一项诞生于1964年的关于涉及人类被试的医学研究的伦理原则声明；《贝尔蒙特报告》，1979年由美国国家生物医学和行为研究被试保护委员会制定的一份声明；以及今年年初由商业领袖、人工智能研究者等多方签署的《阿西洛马人工智能原则》。

为了解决这一不足，我们在此就以下四个令人担忧的领域提出我们的建议：隐私权和知情同意权；能动性和身份；体智增强；以及偏见。不同宗教、种族和社会经济背景的国家和人民将有不同的需求和愿景。因此，各国政府必须建立自己的审议机构，协调社会各界代表进行公开讨论，并决定如何将这些指导方针纳入政策当中，包括具体的法律和法规。

世界上最富有的一些投资人正在向神经科学和AI的交叉领域下注。世界各地有十几家公司，包括Kernel和伊隆·马斯克（Elon Musk）今年成立的创业公司Neuralink，都在投资研发一种既能“读取”人类大脑活动又能向大脑里“写入”神经信息的装置。根据我们的估算，目前以营利为目的的工业界每年在神经技术上的支出已达到1亿美元，而这一数字仍在快速增长。

来自非营利部门的投资也很可观。自从2013年开始，仅仅在美国脑计划（US Brain initiative）一项上，就有超过5亿美元的美国联邦政府资金投向了神经技术的研发。

目前，神经科技的发展已经取得了瞩目的成绩。一名因为肌萎缩性脊髓侧索硬化症（ALS）而瘫痪的神经科学家，使用一个脑机接口来管理他的实验室，撰写科研经费申请和发送邮件。

与此同时，杜克大学的研究者们表明，三只被植入了电极的猴子能组成一个“脑力网”，合力移动一个虚拟臂。如果这些信号能通过网络无线传输的话，这些设备在千里之外亦能工作。很快这些最多只能刺激和读取几十个神经元活动的粗糙设备就会被取代。

今年早些时候，美国国防部高级研究计划局（DARPA）发起了一个叫做神经工程系统设计（Neural Enginneering System Design）的项目，计划在四年内获取美国食品和药物管理局的批准，研发一种可以同时利用一百万个电极监测大脑活动并能选择性地刺激至多10万个神经元的人脑装置。

►在大脑中植入电极刺激神经活动后，有些人报告说他们有种身份认同被改变的感觉（SIP/UIG/GETTY）

神经技术若要在普通消费者市场里兴起，这些设备必须是非侵入性的，风险很小，而且部署费用要低于目前的神经外科手术。现在，那些正在开发类似设备的公司必须对其产品负责，应以一定的标准、最佳实践和道德规范为指导。

在此，我们强调有四个方面的问题需要我们立即采取行动进行应对。尽管我们是在神经技术的语境下提出这些问题的，但它们也适用于人工智能。

隐私权和知情同意权。从人们的数据轨迹中可以获取非常多的个人信息。例如，麻省理工学院的研究人员在2015年发现，通过研究人们在个人设备上的键盘输入模式，精细地分析他们的运动行为，使得早期诊断帕金森氏症变为可能。2017年的一项研究表明，测量人类的运动模式，比如在日常活动中使用智能手机的人的运动模式，可以用来诊断阿尔茨海默病造成的认知障碍的早期症状。

如果利用神经信息的话，比如参考那些与特定注意力状态相关的神经元的活动模式信息，用于投放广告、计算保险费或匹配潜在伴侣的算法就会变得更加强大。与互联网连接的神经装置打开了个人或组织（黑客、公司或政府机构）追踪甚至操纵个人精神体验的可能性。

我们认为公民应该有能力和权利保护他们的神经数据隐私（参见“主观能动性和身份认同”）。我们建议采取以下步骤来保障这一点。

对于所有的神经数据，默认都应能选择不分享，这一点应当得到严格保护。如今人们很容易把他们的隐私权拱手送给提供各种服务（比如网络浏览，社交媒体或娱乐）的商业机构，而从未真正认识到他们交出的究竟是什么。

如果默认选项就是拒不分享的话，则意味着神经数据在大多数国家都会被以和器官或生物组织相同的方式对待。如果个人要从任何设备共享神经数据的话，他必须明确地选择和确认这一点。其中将涉及一个安全保障过程，包括一个知情同意程序，明确规定谁将使用数据，目的是什么，以及使用多长时间。

即使实施这种方法，根据许多自愿分享者的神经数据，再加上来源于互联网搜索、运动监视器等等多种渠道的大量非神经数据，也能得出关于那些选择不分享的人们的“可靠”结论。为了遏制这一问题，我们建议对神经数据的销售、商业转让和使用进行严格的管制。

这样的法规也将限制人们放弃自己的神经数据或将神经活动直接写入自己的大脑中，从而换取物质报酬，可能类似于禁止出售人体器官的立法，比如1984年的美国《国家器官移植法案》。

另一重保护措施是限制神经数据的集中处理。我们提倡使用类似差分隐私或者联合学习的计算技术，来保护用户隐私（参见“保护隐私”）。使用其他专门用来保护个人数据的技术也会有所帮助。    

例如，基于区块链的技术可以让数据能被跟踪和审计，而“智能合同”（Smart contracts）则可以对数据的使用方式进行透明的控制，而不需要集权。最后，开放数据格式和开源代码可以让我们更透明地知道什么信息将保持私密，而什么信息会被传递分享出去。

主观能动性和身份认同。有些人通过在脑内植入电极接受深部脑刺激，他们报告说感觉自己的身份和能动性被改变了。

在2016年的一项研究中，一个曾用过大脑刺激器来治疗抑郁症长达7年的人在一个焦点小组中报告说，他开始怀疑他与他人互动的方式，例如说一些他回过头来认为很不合适的话，究竟是因为电极刺激，他自己的抑郁，还是反映了一些关于他自己的更深层次的东西。他说：“这一切模糊到了一起，说实话，到最后我都不确定我是谁了。” 

神经科技可以很明显地扰乱人们对于身份和能动性的认识，从而动摇关于自我和个人责任的核心认知，不论是法律责任还是道德责任。

也许通过“自动完成”或“自动更正”功能，机器学习和大脑接口设备能够更快地实现意图和行动之间的转换，在这种情况下，人们最终可能会做出一些他们自己难以接受的事情。如果人们能够通过自己的思想长距离地控制设备，或者几个大脑被连接到一起工作，那么我们对自身身份和行为的理解将会被扰乱。

随着神经技术的发展，企业、政府和其他各种机构开始努力为人类赋能，但是个人身份认同（我们的身体和精神的完整性）以及能动性（我们选择行动的能力），必须被作为基本人权保护起来。

我们建议在国际条约（如1948年的《世界人权宣言》）中加入保护这类权利的条款（“神经权利”）。然而，这可能还不够，国际宣言和法律只是各国之间的协议，即便《世界人权宣言》也没有法律约束力。

因此，我们主张制定一项国际公约，界定与神经技术和机器智能有关的被严格禁止的行为，类似于2010年《保护所有人免遭强迫失踪国际公约》所列的禁令。一个对应的联合国工作组可以审查所有成员国的遵守情况，并在需要时建议实施制裁。

类似的宣言还必须保护人们接受教育的权利，让他们能了解神经技术可能带来的认知和情感方面的影响。目前，知情同意书通常只关注手术的生理风险，而不是一个设备可能对情绪、个性或自我感知带来的影响。

►本评论完整的作者名单

体智增强。如果一个人的身体或大脑功能与大多数人不同，则常常饱受偏见之苦。人们将来面临的压力可能包括采用增强型神经技术，例如允许人们从根本上增强忍耐力或感觉或智能的神经技术，这可能会改变社会规范，引发公平享有方面的问题，并产生新种类型的歧视。

此外，不难想象军备竞赛也会发生在体智增强领域。近年来，我们听闻美国国防部高级研究计划局和美国情报高级计划局（IARPA）的工作人员在讨论为士兵和分析师增强心智能力（“超级智能特工”）的计划。这些计划将被用于作战目的，也会被用于增强破译数据流的能力。

由于预测哪些技术会对人类生活产生负面影响非常难，所以难以非常清晰地划定界限。尽管如此，我们仍要敦促在国际和国家层面制定一些指导方针，对可实施的增强型神经技术加以限制，并定义它们被可以使用的场景——就像我们对人类基因编辑所做的限制一样。

某些文化比其它文化更注重隐私和个性。因此，必须在尊重普世权利和全球性准则的同时，在具体文化背景下做出监管决策。此外，对某些技术的一刀切或许只会将其推到地下运行，所以在制定具体的法律法规时，必须组织举行论坛来进行深入且公开的讨论。

过去有很多建立国际共识、将公众舆论纳入国家层面科学决策中的先例，它们都值得借鉴。例如，在第一次世界大战之后，1925年的一次会议促成了《日内瓦协议》的起草和缔结，该协议禁止世界各国使用化学武器和生物武器。

同样地，在第二次世界大战之后，联合国原子能委员会（UN Atomic Energy Commission）成立了，旨在管控用于和平目的的原子能，控制核武器的扩散。

尤其值得注意的是，我们建议严格管制被用于军事目的的神经技术。出于显而易见的原因，任何禁令都应该是全球性的，并且应当是由联合国牵头的委员会发起的。尽管这样的委员会和类似的过程可能无法解决所有关于增强型神经科技的问题，但它们提供了一种最有效的模式，能让公众知道这种技术必须被限制，也能让世界各国广泛地投入到这种技术的发展和实施中来。

偏见。当科学或技术决策是基于一套狭隘的系统、结构或是社会概念和规范的时候，由此产生的技术可能会使某些群体获得特权，而使另一些群体受害。2015年的一项研究发现，谷歌的广告算法展示给女性用户的招聘职位要比给男性展示的待遇低。

类似地，ProPublica的一项调查显示，美国执法机构使用的算法错误地预测，黑人被告比拥有类似犯罪记录的白人被告更有可能再次犯罪。这种偏见甚至可能会被嵌入到神经装置中。事实上，研究过这类案例的研究人员已经表明，要以一种数学严谨的方式来严格定义公平是非常困难的。

工业界和学术界已经在讨论一些对抗技术偏见的实际步骤。这样的公开讨论和辩论是极有必要的，不论是对于定义有问题的偏见，还是对于定义更普世的“常态”来说都是如此。

我们主张让对抗偏见的对策成为机器学习规范的一部分。我们还建议可能的用户群体（特别是那些已经被边缘化的用户群体）在设计算法和设备时就大胆发声，确保偏见在技术开发的第一个阶段就得到处理。

提出这些建议是为了呼吁工业界和学术界承担起随着这类神经科技设备和系统而来的相关责任。为此，他们可以借鉴之前已经为负责任创新而制定出来的一些框架。

除了之前提到的几点指导方针之外，英国工程和物理科学研究理事会也提出了一个框架来鼓励创新者“预测、反思、参与和行动”，推动符合公共利益和社会期望的科学和创新。

在人工智能领域，IEEE标准协会在2016年4月创建了一个全球伦理倡议，目的是将伦理融入到所有人工智能和自主系统的设计流程中。

历史表明，在企业界，追逐利润往往会凌驾于社会责任之上。虽然在个人层面上，大多数技术专家的目的都是想要造福人类，但是他们仍有可能碰到自己未曾准备好要去面对的复杂伦理困境。我们认为，通过将相关伦理准则引入到工业界和学术界中来，可以改变业界普遍的思维模式，增强设备制造商的应对能力。

第一步就是让伦理成为工程师、其他技术开发人员和学术研究人员加入公司或实验室时的标准培训的一部分。教育员工更深入地思考如何追求科学进步，实施有望建设社会而非破坏社会的策略。

这种方法基本上遵循了医学专业正在使用的思路。医学生接受的教育包括病人病情保密、不伤害原则、行善原则和公正原则，他们还要遵守希波克拉底誓言，坚持这个职业的最高道德标准。

神经技术可能带来的临床效益和社会效益是巨大的。要想获得这些效益，我们必须尊重、保护和支持人性中最珍贵的品质，以此指导神经技术的发展。

原文链接：

Nature|doi:10.1038/551159a

版权声明：

本文由施普林格·自然上海办公室负责翻译。《知识分子》获Nature自然科研授权转载。