摘要：最近，为目标任务微调连续提示已成为完全模型微调的紧凑替代品。受这些有前途的结果推动，我们研究了提取连续提示的离散（文本）解释的可行性，这个解释忠实于它们解决的问题。在实践中，我们观察到连续提示解决的任务和它们的最近邻离散投影之间存在“任性”的行为：我们可以找到解决任务的连续提示，同时被投影到任意文本（例如，不同的定义或甚至相互矛盾的任务的定义）中，同时在任务的相同大小的最佳连续提示的非常小的（2％）的边缘内。我们提供了这种奇怪和令人惊讶行为的直觉，并进行了广泛的经验分析，量化了各种参数的影响。例如，对于更大的模型尺寸，我们观察到更高的任性性，即我们可以找到更接近任意文本的提示，而准确度降低的更少。这些发现涉及到忠实解释连续提示及其在模型和任务之间的普适性的困难，为未来在提示语言模型方面的进步提供指导。
撰写关于最新研究论文的推文
查看我们最新的研究论文：调查#NLP中连续提示的#任性行为及其对建模的影响。#人工智能 #自然语言处理机器学习