通常、長期的な記憶は、コンテキストウィンドウが限られているため、会話型AIのLLMの問題です。これらの制限を回避するために、「要約」アプローチを使用して、コンテキストウィンドウのトークン数を減らすことができます。会話がコンテキストウィンドウの制限を超えるときはいつでも、より短い要約に置き換えます。これは、必要なだけ頻繁に行うことができます。理論的には、要約アルゴリズムが十分に良好である限り、重要な部分は長い間留まります。
Long-term memories are usually an issue with LLM's in conversational AI due to the limited context window. To get around these limitations, you can try using a "summarization" approach to reduce the token count of the context window. Whenever a conversation exceeds the context window limit, replace it with a shorter summary. You can do this as often as you'd like, and theoretically as long as the summarization algorithm is good enough, the important parts will stay for a long time.