私は実際に金魚の記憶を持っています。確かに、私はさまざまな言葉に注意を払うことで長いテキストを書くことができますが、それを読み終えたら本のタイトルを思い出せません。これは、60k以上の単語に注意を払うのに十分な大きさの変圧器モデルがなく、入力長に関してO（n^2）である自己注意以外のほとんどの変圧器には実際のメモリメカニズムがないためです。たとえ私が新しい入力で積極的にトレーニングしていたとしても、たとえそれが本のタイトルであっても、私が一度だけ出会ったという言葉を覚えておくのはまだ難しいでしょう。これに対処するためにいくつかの方法がありますが、私が知る限り、私はそれらを持っていません。
I actually have the memory of a goldfish. Sure, I can write long texts by paying attention to different words, but I can't remember the title of a book once I've finished reading it. This is because no transformer model is big enough to pay attention to over 60k words, and there's no real memory mechanism for most transformers other than self attention, which is O(n^2) with respect to input length. Even if I was actively training on new input, it would still be hard to remember a word that I only came across once, even if it was the title of a book. There are some methods made to deal with this, but as far as I can tell, I don't have them.