在7月13日，由中国计算机学会（CCF）主办，雷锋网、香港中文大学（深圳）承办的2019第四届全球人工智能与机器人峰会（CCF-GAIR 2019）上，香港科技大学讲席教授、微众银行首席AI官、IJCAI理事会主席、ACM Fellow杨强教授带来题为《联邦学习的最新发展及应用》主题演讲。 （摄影：邸利会）

撰文 | 邸利会

●　●　●

阿尔法狗战胜世界冠军的那一刻，AI的强大震撼了每个人。它背后依赖的深度神经网络在其他任务，如语音识别、图像处理也获得了巨大的成功，很多测试集上的错误率降低到了人类的水平。

有人把这波AI的成功归结为三个因素：算法、算力、数据。神经网络的回归让在此方向默默坚持的“三巨头”（Yoshua Bengio、Geoffrey Hinton、Yann LeCun）获得了今年的图灵奖；不断缩小却更为强大的芯片让计算机的计算能力逼近百亿亿次；而互联网和手机则造就了“大数据”的时代。

如今，在每个成功的因素上，人们还在努力 “百尺竿头，更进一步”，但与算法和算力的提升相比，数据的获取却不是那么容易，可谓“理想很丰满，现实很骨感”。

很多时候，没有那么多的数据，比如高质量标注的医学影像就很少。缺少标注的数据还催生了一个个 “数据标注” 工厂，标记员从早干到晚，从上千张照片里把汽车、动物、建筑等物品框出来。

除了短缺，数据的另一个麻烦是，不少机构之间，甚至同一个机构内部的数据都无法共享，形成一个个数据孤岛。没有了数据这种燃料，人工智能的火箭将无法起飞。

更严峻的挑战还在后面。

从2018年5月25日起，欧盟实施了迄今最严格的数据保护法 GDPR（The General Data Protection Regulation），其中的规定对AI业界可谓字字揪心，比如收集数据时，必须清楚地告知用户数据的使用范围，处理数据的法律依据，数据会保留多久，数据是不是转移给了第三方，产品设计中是否一开始就考虑了数据保护，用户有权利抹除自己的数据等等。

不少公司已经撞在了枪口上。今年年初，法国的数据保护监管机构CNIL给谷歌开出了5680万美金的罚单；据 BBC 报道，爱尔兰数据保护委员会称，在它启动的19项调查中，11项与脸书及旗下的 WhatsApp 和 Instagram 有关。

这样严苛的数据保护法令某种程度反映了公众对数据隐私的担忧。臭名昭书的数据泄露事件让人心有余悸。

去年发生的脸书－剑桥分析（Cambridge Analytica）数据丑闻曾震惊世界，几百万的脸书用户数据未经同意给了剑桥分析并随后用于了政治宣传。消息败露，脸书股价几天跌掉了数千亿。

严格的数据隐私保护，让不少企业感到沮丧。一些企业家甚至劝说用户，为了效率可以让渡自己的隐私，用户本身不那么在乎隐私，隐私只是媒体喜欢的话题等等。

面对数据短缺，数据孤岛，越来越严格的数据隐私法规，AI是否会因此步入寒冬？离开了直接获取的大量数据，AI是否还会有明天？

在香港科技大学教授、微众银行首席人工智能官杨强看来，有办法让AI从这种困境中走出来。

“我们不这么看，我们觉得挑战是一个机会。这个机会使得我们有必要发明一种新的技术，在严格遵从法规的前提下还能够把这些数据聚合起来，同时建模。”  在刚刚过去的 CCF-GAIR 2019  “AI金融”  专场的演讲中，杨强对台下的听众说。

他提到的新的技术，一是从2016年开始兴起的联邦学习，可以实现数据共享同时保护隐私；二是迁移学习，可以克服数据的短缺。

“联邦学习，我一说你就明白了，”  他继续说道，“我们每个人的大脑里都有数据，可两个人一起做作业或者两个人合写一本书，并没有把两颗脑袋物理结合在一起，而是用语言交流，把合作的书写出来。”

这是一个很妙的比喻，两颗大脑相当于经过数据训练后的模型，语言交流相当于加密的参数传递，通过这样的方法，每个人脑中的隐私数据不离开身体也可以建立共享的模型（这里可以看作是书）。

而另一项利器迁移学习，则是他研究了20多年的题目，主要的用途在于将一个领域训练好的模型迁移到另一目标领域，在该领域数据缺乏的情况下也能建立恰当的模型，实现特定的任务。

在过去的这些年，无论是在学术的场合还是面对公众，杨强用他一贯的浅显而明晰的方式解释这些难懂的概念。

他经常把迁移学习比作举一反三的学问，就像学会了骑自行车的人也可以学会骑摩托车，学会了看小说的人，也能看得懂电影。

“关键是找到一座桥梁。” 他说。

这里所说的桥梁指的是某种不变或者共通的部分。“我现在在香港，经常回大陆，尽管两个地方开车的习惯不一样，一个是司机靠右，一个靠左，但掌握一个诀窍后就不会错，诀窍就是无论是在哪个地方，司机都是在靠道路中央的位置。下次你们可以试试。” 在一个学会会议上，他向观众如此解释道，台下发出会心的笑声。

借助迁移学习，之前因为数据短缺无法训练模型的领域也照进了智能的阳光。

回到著名的阿尔法狗，在它惊人的成功的背后，是用了300,000盘的数据，可只要把棋盘的大小改换一下，阿尔法狗就得重新学习一遍。这种很低的泛化能力，让人觉得它就是一个专用的智能。

通向通用智能的努力，由于迁移学习，似乎显现了一丝微光。

在去年发表的一篇文章中，杨强和他的学生们，通过借鉴之前迁移学习所获得的经验，可以自动决定在迁移的过程中学什么，怎么学，再不用像之前那样，从头找成百上千个迁移学习的算法。

这一想法是受到了教育心理学某些概念的启发。比如，“善于下棋的小孩可以把所获得的数学的技能、视觉空间感、做决策的能力分别用到解算术题、模式匹配、打篮球当中去。等他长大了，他或许可以把下棋学到的数学的技能、做决策的能力用到股票投资中，而不用视觉空间感这种能力”。

“迁移学习没有深度学习火，但慢慢热度上来了，吸引了越来越多人的注意，部分是由于深度学习的局限性。”  杨强说。

回顾过去60多年人工智能的发展，可谓起起落落。在每一个阶段，人们在看到AI系统某些进步或者优势的同时，也会碰到一时难以克服的困难。作为几十年的研究者，杨强经历了这一切，但他相信，人工智能技术终究是可以做到服务于人类而不是损害人的利益。在7月13日，第四届全球人工智能与机器人峰会（CCF-GAIR 2019）“AI金融” 的演讲结束后，他接受了本刊的专访，面对今天的人工智能发展以及道德、法规、技术局限等方面的困境，分享了他的思考和判断。

从太阳物理转向人工智能

《知识分子》：30年前你在马里兰大学获得了计算机科学博士学位，但之前学的是物理，是什么样的机缘让你选择了计算机科学而且是人工智能方向？

杨强：我读硕士的时候是研究太阳物理，需要处理很多数据，接触了计算机，那时候计算机还是卡片的，就很热爱计算机，有几个原因：一是，天体物理需要很多数据，需要卫星去采集，但卫星有时候发射不了，一等就是几个月，当时等数据是非常焦虑，而人工智能，可以通过卫星图像自己产生数据，不用等。第二是研究的很多流程我觉得都可以自动化，都可以用学习的方式来解决，所以就学人工智能吧。后来博士我就转到人工智能了，这是一个切身的体会。现在天体物理界，数据的处理融合都用到人工智能。

《知识分子》：可否谈谈那个时候人工智能研究的状态？

杨强：我是1985年转过去（人工智能）的。那时人工智能刚刚经历了第一次高峰，大家开始失望，发现专家系统其实有点言过其实。那时人工智能最热的时候比现在都热，大会动辄就上万人参加，学生还没有毕业，就已经有好几家公司来邀约。大家还是希望借助人工智能节省资源，提高效率，现在的这波AI驱动也是这么来的——所有公司都想用最少的资源来做最多的事情，这是竞争的本质。

我觉得是个机会，也发现里面有好多特别有趣的问题。老板也给我“洗脑”，他去机械系待了一段时间，他说机械制造将来会全部被人工智能取代，他还说，你看现在美国，十个律师才有一个做技术的，他门口就贴着个条——“Too many lawyers, too few computer scientists”。

他是美国人，他的想法就是要用人工智能来代替有经验的工人，因为80年代战后，美国第一批有经验的工人开始退休了，所以社会很焦虑，想用什么代替他们，然后做计算机的人就出来说，用人工智能来顶替他们，当然最后也没成功。当时我是在马里兰念书，写完了毕业论文就去加拿大了。

《知识分子》：能否谈一下加拿大的研究氛围？自从2019年的图灵奖颁发后，大家有不少的讨论，几位得主都在加拿大呆了好些年。

杨强：加拿大也不是所有的大学都那么有成就，加拿大有几个大学是可以和美国大学比肩的，但却没有美国大学的一些烦扰。美国大学大部分是由工业、政府、军方资助来维持实验室。所以他们的教授特别能表达，能销售自己的实验室，美国这一点做得特别好。

在加拿大，教授不擅于表达，但他们有水平。政府给的资助（时间）也很长，而且不用写申请书，一拿就是五年的资助，五年里面就做那件事，也不用有人来参观去接待，或者是填各种表格证明自己。这一定程度上会有懒人，但有志向的人就会脱颖而出。

当时我在的滑铁卢大学，一开始他们跟微软关系非常密切，以至于他们学生毕业后几乎都去微软，微软当时1/3的员工都是滑铁卢大学的。这种环境，包括资助的机制，对做长期的研究是挺好的。

能“举一反三”的机器学习

《知识分子》：你是在怎样的机缘下开始研究迁移学习？

杨强：我一开始做规划（AI的一个子领域），里面的关键是，让一个机器人像人一样做动作，比方说让机器人去踢球。当时的AI研究者还定了一个特别雄心的计划，2050年机器人要上世界杯，现在看来是不行。

后来我成为终身教授，可以自由地想一些问题，做着就发现一些阻碍。因为当时那些规划、逻辑全都是人来定的，而且一般的人还不行，得专门的人来定。所以，为了这个我还去上了很多选修课，还去学木匠，去学做桌子、椅子，从砍树皮开始，一步步怎么做，把所有这些都记录下来，然后赋能给机器人。我现在木匠活还特别好。

但是我就发现这条路是不通的，因为不能所有人都这么去做（学习专门的知识）。后来我开始关注机器学习，尤其关注这种能“举一反三”的机器学习。

当时进入了一个叫案例推论（case based reasoning）的机器学习分支里。我们拿下了加拿大的一个项目，不断跑去核电站收集粒子样本，这个项目做完了以后，我就开始关注和机器学习的结合。发现在机器学习也有一部分人在做类似迁移学习，当时还不叫这个词，因为粒子的那个研究是一定要举一反三的，我就继续相关的研究探索，一直延续到现在。

《知识分子》：你在2010年时曾总结过迁移学习，当时提到什么情况下不可以做迁移是一个公开的难题，现在是否解决了？

杨强：这个已经比较明确了。那个时候之所以有这个问题是因为数据太小，所以你随便抓一个数据，要迁移到另外一个领域容易抓错。现在的做法是源领域的数据一定要足够大，足够大就不会出错。所以不管是在语音识别、图像识别，还是自然语言处理，去年和今年美国的研究者做了一些工作，他们通过做一个巨大的源模型，然后目标领域用很少的数据就可以做到迁移。

《知识分子》：你在好几个场合，包括 CIKM 2017的邀请报告的题目就是“当深度学习遇到迁移学习”，能否介绍一下这方面的情形？

杨强：所有机器学习的算法，不管是不是深度学习，都可以用迁移学习来解决，所以迁移学习类似于方法论。有研究分析表明，浅层更具有一般性，更有迁移性，含有更多的不变特性。因为深度学习是把学习模型分层了，我们可以按层来分析它可迁移的程度，就知道对某一领域，迁移应该发生在哪些层，其他层就不用迁移。其他的机器学习也可以结合，但是与深度学习结合的效果特别好。

“我其实同意在大街上不能做人脸识别”

《知识分子》：2016年谷歌提出了联邦学习的概念，你随后也提出了全面的安全联邦学习框架，可以解决数据孤岛问题，让不同机构之间可以分享知识但同时不对用户的隐私造成影响。如今这一领域有哪些重要的进展？

杨强：对联邦学习的学术研究在不断深入，行业落地和生态建设也在不断推进。工具层面，微众银行AI团队自研的工业级联邦学习开源框架 FATE（Federated AI Technology Enabler）近期捐给了 Linux 基金会；标准制定上，IEEE 国际标准已经召开两次标准工作组会议，第三次会议将于8月在澳门举办，目前已经有十几家国内外机构加入，而国内的首个联邦学习团体标准也在上个月 AIOSS（中国人工智能开源软件发展联盟标准）大会上发布；行业应用上，金融、医疗、零售多个行业目前都有落地项目在进行中。我们希望未来越来越多的机构能加入到联邦学习生态建设中来。

《知识分子》：欧盟在2018年5月开始执行 General Data Protection Regulation （GDPR），中国也准备出台相关法律，保护用户的隐私和数据安全，你怎么看这样的法规带来的影响？

杨强：法律法规的确带来很大的挑战，原本就分散、割裂的行业数据更难聚集成大数据加以利用，但是这也是重要的机会，驱使我们去寻求技术解决方法，联邦学习能在满足数据安全和隐私保护的要求下让大家进行AI协作，也因此会有更大的发展空间。

《知识分子》：你曾担任华为诺亚方舟的主任，现在是微众银行的首席AI官，你觉得学界和企业界有何不同？

杨强：在学术界往往是深挖一个东西，持续做 10 年、20 年。迁移学习我做了 20 多年，最后写出一本书，这是在学术界的做法，而在工业界就是发现问题，比如在工业界我就发现公司和公司之间、部门和部门之间数据不通，有部门墙。很多人可能会因此认为 AI 没法做，但我认为这是机会，所以我尝试在保护数据隐私的情况下，打破部门墙。这是到了工业界才发现的问题。

《知识分子》：谈谈 AI 向善，美国多个城市禁止使用人脸识别，你怎么看？

杨强：我其实同意在大街上不能做人脸识别。我在街上，并不希望张三李四知道我在街上，我希望的是有人打我的时候，警察马上能到这。现在街上的摄像头，它能看见，但它还不具备这样的能力。所以现在是有人打我了以后我去告，警察去查，才可以追踪到那一段视频。这是技术还不过关，技术是可以做到一种保护隐私的摄像头，有人打你的时候它才报警，其他的时候都不作声，而且不接受任何输入。

《知识分子》：这个是可以做到的？

杨强：这个是可以做到的，只不过现在没有做到。

人工智能的第三种哲学

《知识分子》：2012年你写了一本书《学术研究的成功之道》，你提到找到好的问题比解决问题更为重要，有意思的是，你说讲给外行听，如果外行感兴趣了，那说明是一个好的题目，为什么是这样？

杨强：找问题的人如果没有找好问题，是因为他没有找对，或者没有找好，或者没有真正理解问题的本质，才导致整个项目失败。我提的这个方法是一个试金石，如果你真的是理解了，虽然问题很复杂，有无数的变化，就像我刚才讲的联邦学习，有很复杂的加密算法，但是你理解了，你可以用一种对方能理解的方式把概念给讲出来，表明你真的理解了。

《知识分子》：人工智能领域，现在发这么多文章，很多是跟踪，这是不是好事？如何产生重要的原创性想法？

杨强：现在大家跟踪，其实也不是那么坏。做深度学习的那些领导者，把门槛已经降得很低了，比如说谷歌做了 TensorFlow 框架，把流程梳理很清楚，这些事都需要花费大量精力，但那些人大公无私地做了，而且做得非常优秀，以至于一上手就能写出论文，所以我们论文才这么多。应该正向地来看，论文多是他们工作做得好的一个体现。

那么大家都去发文章这件事是不是个坏事，我觉得不一定是，因为一开始你首先得知道大家做了什么东西，你就得先把别人做的东西重复一遍，然后你可能就有想发表的欲望。我的建议是大家不要停在那，继续走下去。继续走下去，往往是要把思维打开，要发现新的东西，一定要跨领域地协作。

像神经网络，也是受到很多大脑神经学的启发，不一定是沿用，还可以思索那是为什么，就会有启发。肯定不是按照计算机固有的方式来做智能机器，而是从这些启发出发。如果以后的发明也有类似的情况，才有意思。

《知识分子》：当下人工智能是否也会经历寒冬？什么时候，会因为什么因素？

杨强：我觉得不会进入寒冬，只不过大家会更理智了，比方说不会乱投资。从机器下围棋赢了人开始，人工智能引起了大家兴趣，到现在这一步，大家就开始探索落地到实际的场景，比如医疗场景、教育场景，金融场景。会发现医疗场景很难，教育场景也很难，还有很多更难的，比如无人车之类。这些“难”，往往都是在开放领域。

所谓开放领域，就是说在设计 AI 模型的时候，有些因素没有预估到，因素是不断出现的。所有的影响都能看到，就是封闭的。阿尔法狗就是一个封闭的场景，包括德州扑克也是，就这些牌，只不过出的时间和顺序不一样。但你走在路上，突然出来一个人，路封了，天黑，下雨，刮风，这些不可控的因素影响下都是开放领域。开放领域的人工智能现在没有特别大的进展。

我们在做的金融领域，是可以把它变成一个封闭领域，因为它足够的垂直，又有大量的人贡献数据，所以效果会比较好。

《知识分子》：现在深度学习很热，未来会出现新的研究范式么？

杨强：未来一定会有新的研究范式。其实深度学习不是一个算法，是一个哲学。

有计算机以后，我们就开始表达知识，怎么表达？假如我看到一瓶水，把瓶盖拧开就可以喝水，这里面有三个物体需要表达，瓶子、瓶盖、水，最原始的做法就是把它们分别对应到三个变量上，这是第一代的做法。

第二代就是深度学习。它不是这样，找不到一个变量对应。它是分布在这些神经上，所有的神经都承担了一部分水的特质，瓶子的特质，瓶盖的特质，所以这是一个哲学的概念，不是说我们看到一个东西，这个东西就形成我们的经验了，而是这个东西的特性是散落在我们神经里面的各个部分。这是他成功的原因。

肯定还有第三种哲学出来，这需要我们怎么办呢？一定是跨领域去想，最后也可能不是做计算机的人想出来的。

参考文献

1. SJ Pan, Q Yang, A survey ontransfer learning, IEEE Transactions on knowledge and data engineering 22 (10),1345-1359

2. M Long, Y Cao, J Wang, MIJordan ,Learning transferable features with deep adaptation networks, arXiv preprint arXiv:1502.02791, 2015

3. Jason Yosinski, Jeff Clune,Yoshua Bengio, and Hod Lipson. How transferable are features in deep neural networks? In Advances in Neural Information Processing Systems, pages3320–3328, 2014.

4. Z Li, Y Zhang, Y Wei, Y Wu,Q Yang, End-to-End Adversarial Memory Network for Cross-domain Sentiment Classification, IJCAI, 2237-2243

5. W Ying, Y Zhang, J Huang, QYang , Transfer learning via learning to transfer, International Conference onMachine Learning, 5072-5081

6. Q Yang, Y Liu, T Chen, YTong , Federated machine learning: Concept and applications, ACM Transactionson Intelligent Systems and Technology (TIST) 10 (2), 12

制版编辑 | 皮皮鱼