过去一年里，人工智能、数据科学、机器学习研究有哪些重大进展?在接下来的 2021 年又有哪些主要趋势?
2020 年终于要结束了。也许这不会是谁都喜欢的一年，但 2020 在我们的领域中确实有了一些显著的进步，而 2021 也有一些值得期待的重要趋势。作为年终的传统，我们的专家们再次发表了他们的看法。请继续阅读以了解更多信息。
绝对没有人会感到懊恼，2020 年终于接近尾声了。新冠肺炎大流行几乎完全定义了这一年，犹如过山车一般。但在 2020 年也发生了其他一些事情，包括人工智能、数据科学和机器学习等领域。为此，现在是 KDnuggets 年度年终专家进行分析和预测的时候了。
人工智能、数据科学、机器学习研究在 2020 有哪些重大进展?2021 年趋势如何?
过去一年最引人注目的发展和预测 包括许多研究领域的持续进步，特别是自然语言处理。尽管人们对 2020 年在自然语言处理方面取得的巨大进展是否像最初(或者现在)那样令人生畏仍存在争议，但毫无疑问，2020 年的自然语言处理研究仍然受到了持续而强烈的关注。不难猜测，这种情况也将持续到 2021 年。
像伦理和多样性这样的主题已经在 2019 年占据了中心舞台，在过去的一年中，它们已经占据了中心舞台。人们似乎已经从将多样性、伦理学以及相关的主题看作是边缘问题，转向将它们与技术一起作为机器学习的核心考虑。我们希望这一趋势能够持续到 2021 年甚至更久。
对于 202 1 年的主要发展 趋势，我们的专家小组如何看待?他们认为 2021 年的主要趋势是什么?
这一年，我们的小组由以下成员组成：Dan Becker、Pedro Domingos、Ajit Jaokar、Ines Montani、Brandon Rohrer、Dipanjan Sarkar、Rosaria Silipo、Rachael Tatman 和 Daniel Tunkelang 组成。
相对于过去的几年，我们更要感谢我们的作家们，在这个动荡的时代，在百忙之中抽出时间和我们的读者们分享他们的观点。
本文是未来一周发布的三篇系列文章中的第一篇— 研究篇。尽管这三篇文章被分为研究、技术和行业三个领域，但它们之间存在相当多的重叠，这是可以理解的，因此，我们建议，在这三篇文章全部发表后，请阅读所有文章。
闲话少叙，下面是专家小组今年提出的 2020 年的主要趋势和 2021 年的预测。
Dan Becker(@dan_s_becker)：Decision AI 的创始人，此前曾创立 Kaggle Learn。
今年的机器学习研究遵循了以下既定的主题：
- Transformer：GPT-3 是今年所有开发项目中最受关注的项目，它展示了 Transformer 模型的不断发展，该模型经过了大规模语料库的训练。同时，我们还看到了首次成功地将 Transformer 用于计算机视觉方面的实验，而计算机视觉在历史上是由卷积网络主导的。
- 生成模型：像 Vid2Player 这样的研究表明，计算机生成的视频的质量水平超出了我们过去所看到的水平。生成式模型的社会影响将是巨大而难以预测的。
- 强化学习：我发现，与前几年相比，2020 年人们对强化学习的关注度有所下降。但是在统一政策下，跨任务的迁移学习看起来非常有前途。我预计这在未来几年内的重要性会低于 GPT-3，但在更长的时间范围内，可能会变得重要得多。大多数人并没有意识到，一旦强化学习能够更可靠地工作，它就会产生巨大的影响。
2021 年：
- 概率编程和贝叶斯模型：我们已经看到了很多新的概率编程语言的实验。这让我想起五年前我在深度学习框架中看到的实验。因此，我希望概率编程是 2021 年的一个主要趋势，尽管它也需要对用户进行更多的教育，以利用新工具。
- GPT-4：随着越来越多的人使用 GPT-3 进行实验，我想我们会发现它有点不够实用。从最近的趋势推断来看，GPT-4 将会好得多，并有可能越过实际有用的门槛。
- 用于结构化数据的 GPU：NVIDIA RAPIDS 团队正在开发数据科学工具，这些工具有望突飞猛进，超越我们在过去十年中所见到的任何一种工具。我的感觉是，这个软件还没有准备好进入黄金时代，但到了 2021 年可能会实现。
- AutoML 变得乏味：大多数数据科学家仍在通过临时实验来调整参数。用更多的自动化解决方案只是个时间问题，明年也许就会实现了。
- 强化学习变得实际有用：这是我最兴奋的地方。传统的机器学习专注于预测，但很少有数据科学家优化决策层，将这些预测转化为现实世界的业务决策。这造成了模型准确而无用。到 2021 年，我们将会看到思维方式的转变，即在复杂环境中使用模型来做出优化决策。
Pedro Domingos(@pmddomingos)：华盛顿大学计算机科学与工程系教授。
依我看，2020 年的主要发展是以图神经网络和神经符号人工智能作为主要研究方向的出现。到 2021 年，我们将会看到后者包含前者。图神经网络是一种有限的关系学习形式，不久之后，我们就可以用神经符号方法来完成图神经网络的所有功能。
之后，需要为特定应用打开具有代表性的功能表盘，这通常是过度控制和扩展性的常见问题。到了高级阶段，神经符号人工智能可以把我们带到人类级别的人工智能，这是一个万亿级的问题。
Ajit Jaokar(@ajitjaokar)：牛津大学《人工智能：云端和边缘的实现》(Artificial Intelligence: Cloud and Edge implementations)课程的课程总监、企业家。
2020 年是新冠肺炎疫情爆发的一年，但也是科技领域的一年。通过 MLOps 的部署，人工智能逐渐成熟。云计算平台(如：AWS、Azure、GCP)也在人工智能的各个领域推动创新，包括在边缘设备上使用人工智能。在 NVIDIA 收购了 ARM 之后，我期待着这个领域出现更多的创新。
自然语言处理 (GPT-3 和其他模型) 是人工智能领域的主要趋势。对于 2021 年来说，真正的问题是：小样本学习模型(比如 GPT-3)是否会改变模型的构建的方式?不像传统的用数据反映来建立模型，我们可以把它颠倒过来。只要用一个很大的模型就可以认为是向前传递的，即模型 → 问题 → 推理。
当然，我们需要一个像 GPT-3 这样的大型预训练模型。假如这一趋势真的开始的话，那么接下来的两年里，人工智能将会发生改变。
到 2021 年，传统的机器学习模型可能会成为一种商品，也就是说，每个人都可以使用某种形式的基本机器学习或深度学习。这样我们就可以从数据科学转向决策科学。
数据科学的输出是一个具有性能指标(例如准确性)的模型。有了决策科学，我们能够进一步提出行动建议并执行这些行动。也就是说，诸如强化学习等算法将在 2021 年或更长时间内成为主流。
Ines Montani(@_inesmontani)：Explosion 的联合创始人，从事人工智能和自然语言处理技术的软件开发者。
2020 年是不平凡的一年，尽管我们在这一领域看到了许多令人振奋的进展，但我认为，最重要的进展是巩固而非革命。这一技术在前几年发展迅速，对于很多公司来说，等待是明智的选择。如今，计算方式发生了变化，人们对哪些项目可能会成功有了更好的了解。
构建原型并将机器学习应用于业务问题从未如此简单，但是缩小原型设计和将成功的项目交付给生产之间的差距仍然是一个挑战。到 2021 年，我们将会看到越来越多的人开始关注机器学习项目的整个生命周期：从原型到生产，从迭代开发到持续维护和监控。
Brandon Rohrer ：iRobot 的首席数据科学家，也是端到端机器学习的讲师
卷积和递归神经网络已经开始显示，它们并不能像我们所希望的那样很好地解决每一个问题。今年有两篇论文总结了这一趋势。这篇题为《硬件彩票》(The Hardware Lottery)的论文，描述了哪些算法能够崭露头角并成为根深蒂固的行业标准，这其中有多少偶然性。
此外，这篇题为《描述不足对现代机器学习的可信度提出了挑战》(Underspecification Presents Challenges for Credibility in Modern Machine Learning)的论文，则对我们一直以来评估模型和衡量进展的方式提出了严厉的批评。这些都是好事。在 2021 年，如果我们选择的话，我们可以投资于探索并解决一系列的新问题。
此外，由于新冠肺炎疫情使我们别无选择，我们开始开发用于远程教学、分布式团队和异步工作的工具和实践。2020 年的机器学习研究环境会让我们 2019 年的自己都认不出来。我预测，到 2021 年，在线教学和协作的质量和质量将翻一番。
Dipanjan Sarkar：Applied Materials 数据科学负责人、Google 机器学习领域的开发专家、出版作家和顾问。
根据我去年的预测，2020 年理所当然地成为了自然语言处理的一年，而 Transformer 为轻松解决答题、搜索和翻译等棘手问题铺平了道路。可解释的人工智能也已经开始走出“期望膨胀”的 Gartner 技术成熟度曲线(Gartner Hype Cycle)阶段，有许多实用的实现可用来解释各种问题和数据的复杂模型。
对于 2021 年，我相信我们将看到强大而高效的模型的出现，特别是对于视觉和自然语言处理方面。在 DistilBERT、Reformer 和 Performer 等高效 Transformer 模型中，我们已经看到了进展。像 TensorFlow 这样的深度学习框架，通过 TFLite 和 TF.js 专注于移动设备和物联网设备上的机器学习，而在边缘设备和设备上的计算，正是市场所需要的。
我还预见在深度学习领域中，与无监督和自监督学习相关的领域将会出现更多的进展，像 SimCLR、SimSiam 和 SwAV 这样的方法论在预训练模型方面取得了巨大的成功，从而在适应阶段提供更好的性能。
最后，但并非最不重要的是，低代码自动机器学习平台和负责任的人工智能也是另外两个值得关注的领域，因为我们肯定会在这方面取得一些有兴趣的进展。
Rosaria Silipo(@dmr_rosaria)：KNIME 首席数据科学家。
在这个奇怪的 2020 年，由于存在着对未来的不确定性因素，人们的注意力已经集中到为数据科学解决方案做好准备并取得成果：安全部署、应用监控和安全解决方案。到 2021 年，这种趋势可能会持续下去。
在数据科学项目中，部署仍然是关键阶段，在此阶段之前的步骤中，所有未被注意到的错误都将重现。所以，除了传统的企业级功能外，我们也开始觉得有必要从训练环境中生产应用程序，以避免在迁移过程中出现不必要的错误。
2021 年的一些重点还将放在数据分析过程的解释上，特别是在生命科学中，通过机器学习可解释性(machine learning interpretability，MLI)或可解释人工智能(eXplainable AI，XAI)技术来实现黑箱模型。
说句题外话，我真的怀疑，如果世界上许多国家持续存在新冠肺炎疫情而不得不隔离的话，那么关于机器学习和人工智能方面的书籍数量将会暴增。
RachaelTatman(@rctatman)：Rasa 的开发倡导者，从事自然语言处理方面的工作。
我知道很多人可能会认为 GPT-3 是今年自然语言处理的一大新进展，但我认为它不过是现有自然语言处理方法的一个非常直接的扩展，对绝大多数自然语言处理应用来说，它是完全不切实际的。更让我感到兴奋的是，专注于小型、高效模型的趋势越来越明显，而且性能依然良好。
第一次 SustainNLP 研讨会(https://sites.google.com/view/sustainlp2020/home)就是一个很好的例子。我认为，从研究的角度来看，找到用有限的数据和计算资源来获得真正优秀的模型性能的方法，既是一个巨大的挑战，但也是真正有意义的一件事。
Daniel Tunkelang：独立顾问，专门从事搜索、发现和机器学习 / 人工智能。
与此同时，2020 年一直被新冠肺炎大流行所主导。尽管人工智能在抗击病毒方面发挥了作用，但更有趣的是，由于这场大流行，大多数从事或研究机器学习的人都是居家工作的。
如果在大流行过后，远程工作和教育的主流接受依然存在(这看起来是可能的)，那么我们就可以预见到两种相互竞争的趋势。一方面，人工智能的专业知识将会真正全球化，而不会成为一个特定的中心。另一方面，科技巨头则会牺牲较小的地区公司为代价，在全球范围内招募人才。
但是，随着远程工作推动了人工智能的全球化，美国与中国之间日益加剧的冲突也导致了人工智能走向分裂。看来，未来十年我们很有可能会在人工智能军备竞赛中度过。
又及：11 月 30 日，也就是本篇文章的投稿截止日，DeepMind 的研究人员宣布，他们的 AlphaFold 系统以革命性的精度和速度预测蛋白质折叠大挑战，并解决了蛋白质结构预测的关键评估(Critical Assessment of protein Structure Prediction，CASP)大挑战。要理解这一消息还为时尚早，但它的确可能会成为 2020 年人工智能领域最大的突破。
作者介绍：
Matthew Mayo，机器学习研究员、KDnuggets 编辑，KDnuggets 是开创性的在线数据科学和机器学习资源网站。他对无监督学习、深度神经网络、自然语言处理、算法设计和优化以及数据处理和分析的分布式方法特别感兴趣。他拥有计算机科学硕士学位和数据挖掘的研究生文凭。
