要解决的问题

同一个模型,提示写法不同,效果可能差很多。提示工程研究如何设计、组织和优化提示,让模型稳定地完成任务。

发展趋势

从手工编写模板,逐步走向结构化提示、自动优化,以及声明式、程序化的编排:

  • 手工模板:人工编写指令和示例。
  • 结构化提示:用固定的格式区分角色、任务、约束、示例和输出格式。
  • 自动优化:把提示当成可以搜索和优化的对象,由模型自己生成和筛选候选提示。
  • 声明式编排:把由多次模型调用组成的流程写成程序,由框架自动优化其中的提示和示例。

代表工作

  • Automatic Prompt Engineer(2022):把提示看作可搜索的「程序」,让模型生成大量候选指令,再按效果筛选。
  • DSPy(2023):把语言模型流程写成声明式的模块,由框架自动编译、优化其中的提示和示例。

实践建议

把提示当作软件工件来管理:做版本控制、A/B 测试,积累失败样例库,改动提示后用固定样例回归测试。

开放问题

  • 提示在不同模型、不同版本之间的可迁移性。
  • 自动优化出的提示是否会过拟合评测集。

相关专题