既然大模型应用的编程范式是面向提示词的编程，需要建立一个全面且结构化的提示词库， 对提示词进行持续优化也是必不可少的，那么如何在大模型应用中更好的管理提示词呢？
1. 提示词回顾
提示词在本质上是向大型语言模型（例如GPT-4）提出的具体问题，它们作为初始输入，指导着人工智能生成相应的输出。在利用这些大模型进行查询时，妥善管理提示词是至关重要的。由于这些模型的输出具有一定的随机性，即使使用相同的提示词，在相似的条件下，模型的响应也可能呈现出显著的差异。这种差异往往源于提示词本身的结构设计。
那么，为何要重视提示词呢？这是因为提示词的特异性、清晰度以及结构安排直接决定了AI输出的准确度和相关性。一个经过精心设计的提示词能够引导模型产生更为精确且有价值的反馈；相反，一个表达模糊或结构混乱的提示词，则可能导致输出内容变得泛泛而无趣或者与期望相去甚远。
在使用大型语言模型的过程中，即使是措辞上的细微变化，也会对最终的输出产生显著影响。例如，“解释太阳能电池是如何工作的”与“描述光伏电池的技术机制”，虽然两者都在询问有关太阳能方面的信息，但后者的表述更可能促使模型给出深入的技术细节。此外，如果在提示词中加入特定的上下文或约束条件，还能进一步优化输出内容的精确度。
不同模型之间对于提示词的偏好也可能存在差异。因为这些模型是基于统计模式构建的，因此，寻找到最高效的提示词往往需要通过实验来摸索。根据模型的反馈不断地调整并优化你的提示词，可以增进你对模型交互方式的理解，从而更有效地达到你所需的结果。
2. 提示词的进一步理解
为大型语言模型（Large Language Model, LLLM）应用设计一个有效的提示，需要在清晰度、特异性以及上下文之间实现微妙的平衡。尽管不存在一个通用的完美模板，但深入理解并合理运用提示词的各个组成部分，却能显著提升基于LLM的应用程序的整体性能。
精心设计的提示词应当清晰而具体，避免模糊性，确保AI能够准确解读意图。同时，合适的上下文信息能够为AI提供必要的背景知识，帮助它更好地聚焦于所求答案的相关领域。
2.1 上下文
提示词的上下文或背景元素为大模型提供了必要的信息，从而生成相关且准确的响应。这些上下文包括：
- 历史交互：从先前的交互或聊天记录中获取的数据，能够帮助模型更好地理解正在进行的对话内容以及用户的具体偏好，从而做出更为贴切的回应。
- 检索增强信息：检索增强信息涉及从外部来源抽取相关数据，并运用高级技术如 RAG。通过整合来自矢量数据库的最新资讯，RAG显著提升了大模型响应的准确性与相关性。以向量形式高效存储数据，使RAG能够有效查询并检索与特定上下文相关的信息，从而使系统能够产生更加知情和精确定制的答案。
- 内部数据访问：对于某些应用程序，例如人工智能银行代理，访问内部数据库显得尤为重要。这可能涉及检索用户的账户余额或最近的交易记录，以支持提供个性化的财务建议。
通过整合这些上下文元素，大模型能够更全面地理解查询的背景，进而生成更加精准、贴合用户需求的响应。
2.2 指令
指令为大型语言模型在特定上下文中的行动提供了明确指引，至少应当包含以下两个关键要素：
- 任务定义：清晰阐述所要完成的任务，无论是解答问题、撰写内容还是进行深度分析，都需直接且具体地解释模型所需承担的职责。
- 方法细节：提供具体的指导，说明模型应如何利用提供的上下文信息来完成任务。这可能涉及对特定类型信息的排序指令，或是处理信息中的不明确和模糊之处的具体步骤。
通过精确的任务定义和方法细节，可以确保大模型在执行指令时，能够沿着既定的路径高效达成目标。
2.3 输入数据
输入数据是大模型运作的基础，其具体内容可能因应用程序和特定用例而千差万别。一般而言，输入数据主要包含以下两类信息：
- 用户生成的Query：这是由用户主动发起的问题或指令，作为触发大模型执行特定任务的起点。
- 丰富后的信息：为了增强用户输入的意义和深度，系统会从外部数据库或互联网中提取相关数据，这些附加的细节能够为大模型提供更全面的背景知识。
通过数据输入的补充，大模型能够提供更具针对性的答案或解决方案。
2.4 输出指示器
输出指示器在大模型的运作中扮演着关键角色，它确保模型的响应不仅精准地回应了用户的查询，还符合用户的期望和系统的要求。以下是两个主要的示例：
- 响应格式：这决定了模型输出的形式，无论是对话式的交互、正式的报告文档，还是结构化的数据格式（如JSON对象），都需明确指定，以确保输出内容的适用性和易用性。
- 字段规范：在涉及数据驱动的输出时，这一部分详细规定了需要填充的字段及其格式，确保信息的准确传递和有效组织。
在真实的生产环境中，提示词的管理通常更为复杂，可能包括：
- 特定于模型的上下文：这包括所使用的AI模型的具体信息（例如，Llama 3、GPT-4等），这些背景信息对于根据模型已知的能力和局限性来构建有效的提示至关重要。
- 模型设置：这涉及到调整模型的行为参数，例如“温度”或“最大token数”，这些参数影响模型的创造力或输出的长度，从而提供更个性化的响应。
3.什么是提示词管理
大模型应用需要一个针对产品级大型语言模型的高效管理系统。这一系统致力于精确处理输入至语言模型的各类查询与指令，其运作机制可类比于数字图书馆的管理体系，只不过这里的“藏书”换成了一个个精心设计的提示词。
从抽象视角来看，提示词管理是一系列优化实践的集合，旨在提升应用程序中大模型对提示的处理能力。其核心在于实现提示词的版本控制，确保其与应用程序的核心代码及部署流程相分离，同时保证从请求的角度能够轻松追踪。鉴于多人协作在快速开发中的普遍性，提示词管理系统还支持不同版本的并行开发与测试，确保这一过程不会干扰到生产环境的稳定性。此框架为团队成员提供了一个共享的工作空间，他们可以在此独立地开展工作并对提示词进行测试。
该框架借鉴了传统软件开发的基本准则，并针对大模型应用程序的独特需求进行了适应性调整，涵盖了其他需要特别关注的“可编码”元素。
另外，提示词管理与提示词工程略有不同。后者关注于创造性的设计提示词以最大化每次与大模型交互的效率，涉及一系列独特的实践和原则。而前者则更侧重于及时、高效的管理流程，与机器学习领域内传统的代码或模型管理紧密相连，尽管联系紧密，但二者在概念上仍有明显区别。
4. 提示词管理的方式
提示词管理确保了对提示词的精确控制，并显著提升了与大型语言模型的互动效率。通过系统化的方法来组织、存储和检索这些提示词，使得在实际应用中能够迅速找到并应用最合适的提示词，从而提升模型响应的相关性与准确性。此外，有效的提示词管理还涉及持续的监控和优化过程，能够根据模型性能反馈及时调整提示词策略，确保与大模型的交互保持在最佳状态。
4.1 保存更改日志
即便缺乏专门的大模型平台，跟踪提示词的变迁也是至关重要的。一个简便而有效的方法是将每个版本的提示词存储在Git仓库中。尽管这并非最复杂的方法，它直接将提示更新与应用程序部署关联起来，可能需要让领域专家或提示工程师等团队成员访问仓库，但此策略使得回退至之前的版本变得简单易行，这对调试或理解过往问题极为有用。
4.2 应用代码解耦提示词
为了增强安全性和访问控制，建议将提示词存储在独立于应用程序代码的存储库中。这样做可以在不泄露完整代码库的前提下管理对提示词的访问权限，进而更精确地控制谁有权利查看和编辑这些关键元素。
4.3 模块化提示词
将提示词视为构建模块，通过设计可重用的组件并利用内插变量，可以保持提示词的灵活性和便于更新。这种模块化的方法不仅节省时间，还有助于维护应用程序不同部分之间的一致性。
4.4 监控使用成本
当依赖于第三方提供商时，使用大模型的成本可能会迅速增加。需要清楚的是，费用通常是根据大模型处理的token数量来计算的，因此，较长的提示词和更详尽的输出结果将直接导致更高的费用。务必密切监控自己对大模型的使用量及相应的费用，这对于确保项目不超出预算至关重要。
4.5 定期评估提示词的有效性
在一个大型模型中表现出色的提示词，在另一个大模型中可能会效果不佳。为确保提示词能达到预期效果，要建立一个全面的跟踪系统。这个系统应能捕捉提示词本身、输入、输出及详细的元数据，如模型版本和配置参数。有了这些信息，我们就可以跨不同的场景和模型分析性能。这种跟踪可以通过将数据记录到数据库或分析平台来实现，为评估每个提示次的有效性提供了坚实的基础。基于这些见解，我们可以不断改进提示词，确保它们与模型的功能和应用程序的需求保持一致。
图片
5. 提示词管理的参考工具
提示词管理工具针对在生产环境中部署大型模型应用所带来的若干实际挑战，提供了有效的解决方案：
1. 版本控制：与软件代码管理类似，此工具能够对提示进行版本控制和管理，确保仅使用那些经过验证且最有效的提示。这种机制使得对提示的更新能够独立于应用程序部署之外，从而无需为了更新提示而重新部署整个应用程序。
2.协作和访问控制：该工具支持不同利益相关者，例如项目经理、开发人员和领域专家，通过他们偏好的接口（例如用户界面或软件开发套件）独立于核心应用程序和流水线系统进行提示词的测试和部署。
3.集成和可跟踪性：一个强大的提示管理系统能够与更广泛的模型基础设施整合，包括模型调用及输入/输出存储。这种设置不仅满足直接的操作需求，还通过追踪所有相关的模型交互细节（从用户输入到模型行为和输出）来辅助进行全面评估。
这样的管理和控制提升了操作的效率和透明度，同时确保了模型应用的稳定和优化。
当前已经有一些工具可以用于管理大模型应用程序的提示词，例如Humanloop、Langfus等。特别地，需要介绍一下Langchain。LangChain 作为一个开源框架，旨在促进大模型应用的创建。该框架特别适合于构建思想链推理应用程序，这些应用程序需要一个模型来进行多步推理或工作流以提供解决方案或答案。它致力于简化开发过程，降低在新系统和现有系统中嵌入高级人工智能语言功能的复杂性。它提供了一组健壮的工具，用于管理各种应用程序组件与 大模型 之间的交互，包括 API 调用管理、多步逻辑编排以及在复杂场景中对大模型的优化利用，详见《解读LangChain》。尽管LangChain 引入了 LangSmith，旨在填补监视和优化大模型应用在其生命周期中的空白，但它并没有提供全面的工具来进行提示词管理、工作流分析或详细的模型使用和成本跟踪。
5.1 参考工具之一：Humanloop
Humanloop 是一个多功能的开发平台，旨在简化大型语言模型团队的协作工作。它支持在整个开发和生产阶段管理、迭代和细化提示词和模型，同时提供版本控制和多环境部署的功能。Humanloop 的一个显著特性是它能够在不同的模型配置上进行 A/B 测试，或者直接在已部署的应用程序中进行提示工程。
Humanloop 擅长于提示词管理，并且能够管理模型和数据，为评估提示词和模型的有效性提供了一个灵活的框架。开发者可以使用 Python SDK 来创建详细的提示词，添加丰富的元数据，如模型配置和内插变量。然后可以通过模型激活这些提示词，这些模型在指定的环境中充当 API 端点。
此外，Humanloop 还通过允许集成专门功能来增强提示词的功能。这些工具可以执行从矢量数据库检索数据或执行外部 API 调用等任务，然后在大模型处理提示词之前将这些结果无缝地合并到提示词中。这种集成通过第三方服务如 Pinecone 来支持语义搜索等高级功能。
5.2 参考工具之二：Langfuse
Langfuse 是一个开源平台，专注于增强大型模型应用的可观察性和分析性。它的自托管支持为开发人员提供了在不同基础设施约束下工作的灵活性。Langfuse 配备了一个强大的提示词管理系统，允许开发人员在存储库中记录、版本控制、标记和分类提示词。此系统还具备根据用户输入动态组装这些提示词的能力，这对于保持其快速相关性和有效性至关重要。每个提示词都与包含模型类型和版本等详细信息的元数据相关联，从而增强了与底层模型基础设施的集成。
开发人员可以利用Prompt Playground实时测试提示词——这一功能支持对选定的模型提供商实时执行提示词。这不仅有助于即时验证，还能进行不同提示词间的比较，以识别最有效的选项。此外，Langfuse支持以多种格式导出提示词，提升其在其他平台上的使用，从而增强了互操作性和灵活性。除了管理和测试提示词外，Langfuse还允许从应用程序请求数据创建数据集，这对于进一步测试、微调模型或实施及时评估极为有用。
Langfuse能详细监控大型模型API调用的每个环节。该平台能够跟踪每个请求的完整流程，包括与矢量数据库和嵌入模型的所有交互。这种详细的可见性对于调试和优化大型模型应用程序工作流来说至关重要，使开发人员能更容易快速地识别和解决问题。它还监控le了大型模型使用成本相关的指标，这对于维持预算友好型运营至关重要。开发人员可以根据模型评估、手动评分或用户反馈等多种标准来评估提示词输出的质量，结果可以通过Langfuse仪表板上的直观图表方便地展示。
总的来说，Langfuse将提示词管理、请求跟踪和强大的数据分析工具相结合，对于那些寻求提高大型模型应用性能和增强可观察性的用户而言，是一个非常有吸引力的选择。更多关于Langfuse的信息，包括详尽的文档和用户支持，可以访问他们的官方网站或文档页面获取。
6.小结
在本文中，我们探讨了提示词管理作为大型模型应用不可或缺的一部分所扮演的角色，这一方法在与传统的软件或机器学习模型开发相比时显示出其独特性。提示词是大模型应用的核心，涵盖了所有必要的细节，如大型模型的调用、上下文、元数据等。我们已经认识到开发评估方法以有效地测试和监控部署的重要性。根据应用场景的不同，这些提示词还可能需要与向量存储进行交互以增加上下文或整合第三方服务。
[参考资料与关联阅读]
