Исследователи из Hangzhou Institute for Advanced Study в Китае представили инновационный метод обучения нейронных сетей, который они назвали хаотическим обратным распространением ошибки (CSBP). Этот метод внедряет хаотическую динамику, сходную с той, которая наблюдается в мозге, в процесс обучения нейронных сетей.
Применение CSBP к пиковым нейронным сетям (SNN) не только повышает эффективность обучения, но также способствует лучшему обобщению результатов на различных наборах данных.
SNN отличаются от классических нейронных сетей тем, что передают импульсные сигналы, что делает их более энергоэффективными, подобно биологическим нервным системам. Однако их обучение осложнено из-за проблем с локальными минимумами, что затрудняет применение существующих методов, таких как суррогатный градиент, сообщает National Science Review (NSR).
С точки зрения теории, CSBP показывает, что процесс обучения сначала хаотичен, затем подвергается различным бифуркациям и, наконец, сходится к градиентной динамике, что соответствует активности мозга животных.
Эта работа не только открывает новые возможности для обучения SNN, но и предоставляет глубокое понимание процесса обучения.