您还未登录! 登录 | 注册 | 帮助  

您的位置: 首页 > 软件开发专栏 > 开发技术 > 正文

开发人工智能需要哪些东西?

发表于:2021-10-21 作者:一起读资治通鉴 来源:今日头条

 如何搭建自己的人工智能系统?

像很多事情一样,答案是“视情况而定”。如果我们将深度学习作为一个日益流行的人工智能的例子。工作负载,为数据集的深度学习训练构建 AI 系统在很大程度上取决于您可以轻松访问的资源、专业知识和基础设施数量。例如,您可能作为独立开发人员或在较小环境中作为研究人员使用的系统看起来与支持大型组织努力“支持”与客户的业务交互所需的系统有很大不同,或者提高临床护理质量,或检测大量金融交易数据中的欺诈行为。最终,这变成了您是设计和构建自己的系统,还是针对您的问题采用专门构建的解决方案的问题。

对于前者,当今消费市场中常见的 GPU 技术往往会进入“自己动手”的人工智能领域。系统非常强大,并且提供比基于 CPU 的系统明显更好的性能。可以在当今的 GPU 上实现通用并行计算的现成工具包,结合支持流行深度学习框架所需的编程技能,可以产生很好的结果,正如 Alex Krizhevsky 的“AlexNet”首次证明的那样,该工具包赢得了 ImageNet Large规模视觉识别挑战

2012 年,使用在 GPU 和 NVIDIA CUDA 上运行的卷积神经网络。

对于后者(大规模深度学习,对于大型组织)——有两个重要的考虑因素会影响你实施人工智能的方法。系统:

1. 你需要多快开始看到结果?

如果您正在进行探索之旅,并且喜欢玩各种硬件和软件配置的智力挑战和有时“侦探工作”,那么您很可能没有按照老板设定的时间表进行操作,或者某种商业或研究势在必行。在这种情况下,当您将您感兴趣的包括 GPU、驱动程序、库和深度学习框架在内的系统拼凑在一起时,沿着一条曲折的道路走下去可能完全没问题,并在您承担角色时筛选可能有数百页的文档“系统集成商”。

但是,如果您的努力受到从数据中获取洞察力的首要需求的引导,那么您可能需要一条更简单、更快速的路径来实现这一目标。在这种情况下,您需要利用“解决方案化”平台或设备,例如 NVIDIA DGX-1 或 DGX Station

集成您需要的所有组件,并通过已发布的基准测试进行验证,在您关心的框架上提供可量化的性能。此类设备应根据它们的“即插即用”程度以及开通体验是否直观、引导您完成易于导航的简单管理界面、管理数据集、分配资源、并安排工作。这种部署模式使您不必戴上“IT 管理员”的帽子,并让您尽快开始训练神经网络,在短短一天内启动并运行。

获得更快洞察的另一个方面是协同工作的硬件和软件的性能。 GPU 优化的深度学习软件堆栈的好处是能够在深度学习训练中达到比单独使用 GPU 硬件更高的加速因子。与使用相同 Tesla V100 GPU 构建但缺乏集成、优化的深度学习软件的其他系统相比,NVIDIA DGX 系统的深度学习性能提高了 30%。这里重要的一点是,即使你构建了一个 A.I.您自己的系统,使用绝对最新的 GPU 技术,相对于集成的硬件和软件系统,该系统仍然处于性能劣势,该系统经过全面优化和软件工程,以实现每个深度学习框架的最大性能。

2. 我准备花多少时间管理和优化基础设施?

类似于“探索之旅”路线,您的 A.I.系统可能看起来非常不同,具体取决于您遵循的路线。如果您热衷于花时间微调您的软件堆栈,使用不同的框架和支持库组合,并且不介意在社区论坛中寻求故障排除支持,那么构建您自己的系统可能是您的最佳选择。现实情况是,要调整“完美”的深度学习堆栈,从框架到 GPU,通常需要大量的软件工程技能支出驱动程序,以及中间的每一层。还要考虑到框架本身通常是开源的,并且在不断发展。因此,确保您的堆栈以最佳性能运行意味着承诺在工时进行调整和重新调整,并可能在持续的基础上重新构建您的堆栈。如果这是您的章程,那么这可能不是问题,但如果您正在资助其他人来完成这项工作,则可能意味着数十万美元的软件工程运营支出,以确保您最大限度地提高人工智能的投资回报率。投资。

或者,A.I.像 NVIDIA 的 DGX 这样的设备,包括访问流行的深度学习框架,如 TensorFlow、Caffe2、MXNet 等,以及支持库,所有这些都与硬件集成,可以节省大量时间和金钱。此类产品具有预先优化的堆栈,由解决方案提供商定期(最好是每月)更新。这使您免受开源软件的流失和不确定性的影响,同时如果您对硬件和软件中的任何元素有问题,还可以为您提供企业级支持。

此外,由于数据科学和人工智能的实验性质,开发人员经常发现他们自己(或他们的团队)需要同时对系统资源和软件配置的不同组合进行实验,以确定哪种模型可以最快地获得洞察力。基于 Docker 的容器能够支持深度学习堆栈的多个版本的共存,每个版本彼此隔离,并具有自己的支持驱动程序和库的实例。这使系统操作系统的基本映像保持“干净”,并避免在实验者想要尝试不同的配置排列时必须重新映像设备的可能性。容器与正确的管理和调度设备相结合,还可以使研究人员团队同时使用该平台,并在他们正在开发的模型上进行协作,从而提高系统的利用率,推动您部门的人工智能获得更高的回报。投资。

所有这一切都可以为您(试图利用人工智能力量的数据科学家)提高生产力。在您的企业中。所以,你真的有两条途径来构建人工智能。系统,每个系统都适合您可能正在处理的一组不同的时间表、业务目标和运营设置。选择最终将归结为您是否有自由扩展您的章程以包括系统集成商和 IT 管理员的角色,或者您的职责是否让您始终专注于数据科学并为您的组织获取洞察力。