要解决的问题
同一个模型,提示写法不同,效果可能差很多。提示工程研究如何设计、组织和优化提示,让模型稳定地完成任务。
发展趋势
从手工编写模板,逐步走向结构化提示、自动优化,以及声明式、程序化的编排:
- 手工模板:人工编写指令和示例。
- 结构化提示:用固定的格式区分角色、任务、约束、示例和输出格式。
- 自动优化:把提示当成可以搜索和优化的对象,由模型自己生成和筛选候选提示。
- 声明式编排:把由多次模型调用组成的流程写成程序,由框架自动优化其中的提示和示例。
代表工作
- Automatic Prompt Engineer(2022):把提示看作可搜索的「程序」,让模型生成大量候选指令,再按效果筛选。
- DSPy(2023):把语言模型流程写成声明式的模块,由框架自动编译、优化其中的提示和示例。
实践建议
把提示当作软件工件来管理:做版本控制、A/B 测试,积累失败样例库,改动提示后用固定样例回归测试。
开放问题
- 提示在不同模型、不同版本之间的可迁移性。
- 自动优化出的提示是否会过拟合评测集。
相关专题
- 推理能力与思维链:思维链最初就是一种提示技巧。
- 评测基准:提示优化需要可靠的评测。
- LLMOps与可观测性:提示的版本管理与线上监控。