出品 | 51CTO技术栈（微信号：blog51cto）

作者 | Liam Crilly

编译 | 言征

从GitHub Copilot到Microsoft Office Copilot再到ChatGPT等，AI已经以光速从“总有一天我们会到达那里”转变为“你的AI战略是什么？” 

因此，组织正在迅速接受AI——创造增强的最终用户体验、降低的运营成本和竞争优势。围绕AI流程和工作流程构建的全新应用程序正在涌现。像大多数新的应用程序和服务一样，AI服务，如OpenAI或各种云提供商提供的服务，是通过API提供和消费的。

那么在AI应用跟大模型之间怎么交互呢？这里就是AI网关的用武之地。

AI网关是专门构建的系统，用于管理、保护和观察激增的AI流量和应用需求。因此，它们正迅速成为一个重要的产品类别。那么什么是AI网关呢？也许你还真的需要一个！ 

一、什么是AI网关：快速定义

AI网关是一种专门的设备或解决方案，旨在管理和简化应用程序和AI模型之间的交互，特别是在大型语言模型（LLM）和其他AI服务的背景下。网关充当AI流量的中心控制点，为应用程序访问各种AI后端和模型提供统一的接口。AI网关还允许运营和安全团队管理关键领域，如安全、治理、可观察性和成本管理。

大多数AI网关包括以下几组功能：

1.安全性和合规性

AI安全既是最重要的，也是最重要的。AI应用程序可能用于处理客户数据或其他形式的个人身份信息，并且经常暴露在有价值的专有公司数据中。越来越多的第三方AI机器人试图在未经授权的情况下对公开的数据进行训练。

网关处理身份验证和零信任，充当AI服务和API访问的看门人。

面对这些和其他风险，AI网关正在成为一种新型防火墙。AI网关管理AI服务的消费者和提供者的安全凭证。

网关处理身份验证和零信任，充当AI服务和API访问的看门人。它还提供了一个授权层，以确保只有经过批准的用户才能访问特定的服务，或者根据定义的策略批准使用服务。策略可能会根据地理位置、业务部门、角色、基础设施提供商或基础设施类型来限制使用。

对于特定的AI提示管理，AI网关可以实现提示安全、验证和模板生成。这通过将功能整合在一个控制平面中简化了即时管理，该控制平面可以在不需要更新本地开发环境或不同模型系统或AI应用程序的情况下进行管理。这对于负责任和合规的AI使用至关重要，因为它可以防止开发人员围绕受限制的主题构建AI集成或在提示中设置错误的上下文。

此外，AI网关被用作AI数据的防火墙或数字丢失保护系统。一个功能齐全的AI网关可以防止模型中毒、模型盗窃和其他对AI系统的新生网络安全威胁。

2.负载平衡和集中消耗管理

你可能需要一个AI负载均衡器，即使你还没有。AI应用程序可能具有高度的数据密集性和计算依赖性。不管理AI应用程序的流量可能意味着非常昂贵的GPU闲置着，等待资源不足的上游部分完成工作。对于面向消费者的产品来说，AI应用程序的延迟是一个杀手——你让某人等待聊天机器人响应的时间越长，他们向左或向右滑动的可能性就越大。

然后是消费问题。如今，大多数组织都在使用多种AI模型即服务产品。这些大多是通过云提供商或其他第三方服务提供的。AI网关为管理组织内不同团队和应用程序的AI消费提供了一个集中的平台。这种集中化对于保持对AI流量的控制以及确保AI以合规和负责任的方式使用至关重要。

AI网关为管理不同团队和应用程序的AI消费提供了一个集中的平台。

通过提供统一的控制平面和负载均衡器，AI网关使组织能够管理所有AI消耗和可观测性收集。在AI中，消费是不同的，因为它是以代币而不是交易或数据量来衡量的。

然而，令牌的简单测量是不精确的：某些类型的查询需要更多的令牌来运行作业，并且同一提示所需的令牌数量可能会随着时间的推移而变化。换言之，假设您的标准应用程序为同一请求返回了可变数量的数据。这是AI细微差别的核心——消费可能更难预测和控制。

3.简化开发人员工作流

如今，开发者和平台运营团队面临着一系列令人眼花缭乱的AI集成和API可供选择。云提供商可以通过其API简化消费，但AI网关的设计允许轻松管理AIAPI和单个集成管理点。

AI网关支持多种AI服务，并提供单个API接口，开发人员可以使用该接口访问他们需要的任何AI模型。端点可能允许开发人员访问OpenAI提供的各种模型，但也可以访问Hugging Face上包含的数千个更精细调整的开源模型和工具。AI网关可以自动启用需要访问AI服务的团队。

是的，AI的蔓延是一件事，你不希望你的开发者扰乱它。

这个统一的API端点简化了开发工作流程并加快了集成过程。这反过来又使开发人员能够专注于构建AI应用程序，而不是管理复杂的集成。

正如开发人员希望在开发软件时有一系列框架和开源模块可供选择一样，AI开发人员也越来越希望有广泛的模型和AI服务可供选择，以便更快、更适当地定制应用程序。是的，AI的蔓延是一件事，你不希望你的开发者扰乱它。

4.成本优化、监控和可观测性

AI网关允许组织从其AI使用中学习，以管理和降低成本。网关可以深入了解每个模型的消耗配额，从而实现高效的资源分配和成本控制。这种透明度允许用户有效地管理他们的AI资源使用情况，确保最佳利用率并防止浪费（例如为闲置的GPU付费）。

更先进的AI网关可以通过将上下文应用于每个作业，将正确类型的AI计算作业引导到最经济的基础设施。例如，需要大规模和吞吐量的最关键的作业可能被定向到容量最高的GPU集群，而更简单的推理作业可以被定向到更接近最终用户但功能较弱的GPU。

优化硬币的另一面是可观察性和监控性。AI网关从一个地方管理AI的可观察性，甚至可以将数据发送给第三方日志/度量收集器。这使得捕获生成的整个AI流量更加容易，以进一步确保数据合规性并识别使用中的任何异常情况。其中一些与安全性重叠，但大部分是AI特有的，因为AI的消费模式不同，信号问题的异常也不同。

例如，AI在生产中对应用程序的推理可能看起来与正常的应用程序流量相似，但AI模型训练和调整看起来非常突然，有大量的流量和依赖的计算工作，需要密切监控，以确保GPU不会浪费在低效的数据管道中等待。

二、为AI的狂野西部带来秩序

更令人困惑的是，许多点产品关注的是更全面的AI网关寻求解决的一两个问题。一些供应商还将API网关包装成一些特定于AI的功能，并将其命名为AI网关。

有一些开源项目提供了上面讨论的一些功能。例如，许多机器学习操作平台和服务为开发团队的AI消费创建了统一的API端点。

将许多不同的产品捆绑在一起以获得所有功能最终将成为一个难以克服的麻烦，而且会更加昂贵。正如API管理集中在API网关上一样，AI管理也将表现出对综合AI网关的偏见。

最好的将为每一个接触到这种强大的新技术范式的人提供一种有效的方式来驯服AI“狂野的西部”。

合适的AI网关将为企业采用AI铺平道路，并使部署这项强大的新技术在任何规模上都更加常规、安全和经济。