Non-equilibrium stochastic dynamics framework for continual learning using Kramers escape theory. Unifies insight and repetitive learning through thermodynamic perspective. Activation: non-equilibrium continual learning, Kramers escape learning, stability-plasticity dilemma, 非平衡持续学习, Kramers逃逸学习.
人工神经网络中的持续学习根本上受到稳定性-可塑性困境的限制:保留先前知识的系统倾向于抵制获取新知识,反之亦然。现有方法(特别是弹性权重巩固 EWC)仅经验性地解决这个问题,没有从物理层面解释为什么随着任务累积可塑性最终会崩溃。
本文展示这两个问题(稳定性-可塑性和顿悟vs重复学习)可以通过非平衡随机动力学的共同框架解决,使用 Kramers 逃逸理论。
持续学习的核心挑战:
从势阱逃逸的物理理论:
τ_escape ∝ exp(ΔE / kT)
其中 ΔE 为势垒高度,kT 为热噪声。
整合两种学习模式:
# 定义任务能量函数
E(x; task) = L_task(x) + λ R(x)
# 计算任务间转换速率
transition_rate = A * exp(-barrier_height / temperature)
Last updated: 2026-04-13
execreadwriteUser: 请帮我应用此技能
Agent: 我将按照标准流程执行...
User: 有更复杂的场景需要处理
Agent: 针对复杂场景,我将采用以下策略...