Yoctol, Paper Note, Data Scientist, Tech, AI.
訓練時就是餵給模型很多完整加法的執行示範，也就是完整的白板操作步驟，然後預測時就是給模型一個有兩個數字的白板，一個 ADD 命令，剩下交給它，結束時白板應該要有兩數的和。 NPI 核心 NPI 核心是個 LSTM 類神經網路。較有趣的是 key-value 的記憶。這個記憶體是負責儲存指令的向量 embedding，每個離散的指令會對應到一個較短的 key 向量和一個較長的 value 向量。value 向量當作 LSTM 的輸入，融和現在的環境狀態和指令，而 LSTM 預測的其實是下一個指令的 key 向量。預測出來的 key 向量不會是剛剛好等於記憶裡庫裡的 key，所以要找最相似的