摘要：最近，微调连续提示以用于目标任务已成为完整模型微调的一种简洁替代方法。在这些有希望的结果的推动下，我们研究了提取一种离散（文本）连续提示解决问题的可能性。在实践中，我们观察到一种“迷路”行为，即在连续提示解决的任务和它们的最近邻离散投影之间：我们可以找到解决任务的连续提示，而这些连续提示在被投射到任意文本（例如不同或甚至相互矛盾任务的定义）时，也在该任务的相同大小的最佳连续提示的非常小（2％）的边缘内。我们提供这种奇怪而令人惊讶行为的直觉以及广泛的经验分析，量化各种参数的影响。例如，对于更大的模型尺寸，我们观察到更高的迷路性，即我们可以找到更接近于任意文本的提示，而在准确度下降较小的情况下解决任务。这些发现对于建议语言模型的未来进展及其在模型和任务间的泛化具有重要意义，并提供了指导。
引用论文中使用的来源
该论文从各种来源，包括[1]、[2]、[3]、[4]和[5]中获得，来研究提取离散提示的可能性，并量化各种参数（如模型大小）对此的影响。