康奈尔笔记法
康奈尔笔记法（），又名5R笔记法，是康奈尔大学教育学教授于1940年代提出的一种笔记方法。他在畅销书《如何在大学学习》（）中提倡这种方法。
長短期記憶
為了最小化訓練誤差，梯度下降法（Gradient descent）如：，可用來依據錯誤修改每次的權重。梯度下降法在循環神經網路（RNN）中主要的問題初次在1991年發現，就是誤差梯度隨著事件間的時間長度成指數般的消失。當設置了LSTM 區塊時，誤差也隨著倒回計算，從output影響回input階段的每一個gate，直到這個數值被過濾掉。因此正常的倒循環類神經是一個有效訓練LSTM區塊記住長時間數值的方法。