0. Abstract

经典 cann: 依赖于循环权重 $\mathbb{M}$ 的连续对称性, 调谐曲线也具有平移对称性. 而小鼠头朝向细胞具有异质性.

仍可通过经典 cann 动力学解释哺乳动物神经回路.

通过动力学平均场理论(Dynamical Mean Field Theory) 表明调谐异质性网络(在大 N 下)等效于经典 ring attractor. 随机权重通过特征值简并反映出来. 因此可以对权重进行谱结构分析.

将这一方法推广至二维, 从而构造 环面吸引子(toroidal attractor), 如 grid cell.

结论: 经典 cann 动力学不仅适用于小型脑, 也存在于复杂的哺乳动物神经回路.

1. Introduction

表征: 头朝向, 位置, 更抽象的认知变量(比如进攻性...)

cann 维持这些表征.

cann 具有 marginally stable manifold 的要素:

  • 非线性激活函数 $v=F(I)$ (非线性地将输入电流 $I$ 转换为放电率 $v$)
  • 循环权重 $\mathbb{M}$ 支持 Turing pattern 的形成(局部兴奋和长程抑制)
  • 循环权重 $\mathbb{M}$ 具有和所 encode 的变量匹配的连续对称性(头朝向: 一维圆对称; grid cell: 二维). 单神经元的调谐曲线除了神经元偏移完全一致

Drosophila 大脑中(中央复合体 central complex, 椭球体 ellipsoid body)存在 ring attractor cuircuit.

设有 $N$ 个神经元, 一共有 $M$ 只小鼠. 证明小鼠头朝向细胞的调谐曲线具有异质性.

  • C: 经典 ring attractor 调谐曲线平移不变
  • D: postsubicular 头朝向细胞的神经元调谐曲线具有异质性, 并不具有方向的平移不变性
  • 调谐曲线峰值对齐($\theta=0^{\circ}$)后, 小鼠 $k$ 在某角度 $\theta_{i}$ 会有 $N$ 个 $v_{j}(\theta_{i})$,
    • E
      • 浅色线: 单只小鼠 $k$ 对神经元求均值 $\begin{aligned} \langle v^{(k)}(\theta_{i})\rangle = \frac{1}{N}\sum_{j=1}^{N}v_{j}^{(k)}(\theta_{i}) \end{aligned}$
      • 粗实线: 对 $M$ 只小鼠求均值 $\begin{aligned} \bar{v}(\theta) = \frac{1}{M}\sum_{k=1}^{M} \langle v^{(k)}(\theta)\rangle \end{aligned}$
    • F
      • 浅色线: 单只小鼠 $k$ 对神经元求标准差 $\begin{aligned}\sigma_{k}(\theta_{i}) = \sqrt{\frac{1}{N}\sum_{j=1}^{N}[v_{j}(\theta_{i})-\langle v_{k}(\theta_{i})\rangle]^{2}}\end{aligned}$
      • 粗实线: 对 $M$ 只小鼠求标准差均值 $\begin{aligned}\bar{\sigma}(\theta) = \frac{1}{M}\sum_{k=1}^{M}\sigma_{k}(\theta) \end{aligned}$

哺乳动物稳定表征连续变量

  • 丘脑前背核, 下托后部: 头朝向神经元(环状拓扑流形)
  • 内测内嗅皮层(medial entorhinal cortex): grid cell(环面拓扑流形)

符合 "神经活动限制于低维流形" 的预测.

哺乳动物神经回路不具有平移对称的调谐曲线. 啮齿动物; 内嗅皮层的 grid scores.

  1. 异质性调节的本质是什么?
    • 通过高斯过程采样 tuning curve, 并使其通过非线性激活函数 $F(\cdot)$, 可以解释海马体 place cell.
  2. 平移对称性破缺的情况下, 经典 cann 的适用性?
    • RNN 的 universal approximation 能力 (没有建立与经典模型的联系)
      • 通过高 rank 和低 rank 权重组合解释异质性调谐的 ring attractor
      • 预设动力学的 RNN 生成异质性调谐的 ring attractor
      • 具有一定相关性的低 rank 随机权重生成振幅异质性的 ring attractor

本文解决了 1, 2 问: 哺乳动物的异质性神经回路可以依赖于经典 cann 的基于对称性的动力学.

  • 开发了统计生成过程捕捉异质性调谐曲线
  • 通过 DMFT 证明异质性网络在大 $N$ 下等效于经典 cann

1.1 Ouline of the paper

啮齿动物的头朝向系统.

  1. 异质性调谐曲线不可能自身构成经典 cann.
  2. 用实验测得的调谐曲线构造 RNN, 且异质性调谐可以维持表征, 即准连续吸引子动力学
  3. 开发用于采样合成调谐曲线的统计生成过程, 其中用到了圆对称的高斯过程
  4. 分析大 $N$ 极限下的最优权重. 随机矩阵具有潜在的圆对称性, 即简并度为 2 的特征值, 与经典模型通过 Fourier 模嵌入圆对称不同
  5. 使用 DMFT 分析大 $N$ 网络. MFT 恢复了经典 cann 的非线性激活函数/mexican hat/连续对称性三个特征.

2 Examining a dataset of head-direction cells

自由移动小鼠后下托(postsubiculum)头朝向细胞. 调谐曲线存在异质性, 与经典 cann 的预测偏离.

没有明显的单峰性约束.

使用高斯核对调谐曲线进行平滑.

2.1 Failure of classical ring-attractor models

两种曲线在不同小鼠都存在着某种一致的统计结构. 和经典模型的调谐曲线零偏差预设不同.

2.2 Network construction

仅仅依靠 RNN 能否维持异质性调谐曲线的 attractor 结构?

$N$ 神经元($i=1,\cdots,N$).

firing rate RNN, 但是也可推广至 spiking RNN.

动力学: $\begin{aligned}\tau\frac{\partial x_{i}(t)}{\partial t} = -x_{i}(t) + \sum_{j=1}^{N}J_{ij}\phi_{j}(t) + b\end{aligned}$

$x_{i}(t)$ 输入电流, $\phi_{i}(t)$ 输出放电率

$J_{ij}$: 神经元 $j$ 到 $i$ 的突触权重, $b$: 偏置电流, $\tau = 50,\mathrm{ms}$: 网络时间常数, $\phi(x) = \ln{(1+e^{x})}$: 非线性激活函数 softplus

该动力学在 $N$ 维空间中约束了一个流形, 稳定的 $\left(\frac{\partial x}{\partial t} = 0\right)$ 神经活动只能在该流形上演化. 令该流形为 $\phi_{i}^{*}(\theta)$, 使用激活函数的逆函数 $\phi^{-1}$ 解得输入电流流形 $x_{i}^{*}(\theta)$.

沿着流形 $x_{i}^{*}(\theta)$, 应有零流条件(vanishing-flow condition) $\begin{aligned}\frac{\partial x_{i}(t)}{\partial t} = 0\end{aligned}$.

非饱和激活函数(如 $\phi(x) = [x]_{+}$) 没有输出上限. 为此归一化处理 $\frac{1}{N}\sum_{i=1}^{N}\phi_{i}^{*}(\theta) = 1$

偏置电流平移 $b\to b + c$, 为了维持整体形式不变相当于权重平移 $J_{ij}\to J_{ij} - \frac{c}{N}$. 因此可在 $b=0$ 下优化 $J_{ij}$.

最小二乘法优化目标函数

$$ \mathcal{L} = \frac{1}{2\pi}\int_{0}^{2\pi}\mathrm{d}\theta\,\sum_{i=1}^{N}\left[\sum_{j=1}^{N}J_{ij}\phi_{j}^{*}(\theta) - x_{i}^{*}(\theta)\right]^{2} + \lambda \sum_{i,j}J_{ij}^{2} $$

  • $\lambda \sum_{i,j}J_{ij}^{2}$: 生物大脑维持突触需要消耗能量. 因此要求尽可能使用最小的突触权重
  • $J_{ii} = 0\,(\forall i)$: 神经元几乎没有自突触连接

解得 $J_{ij} = \frac{1}{N}\int_{0}^{2\pi}\mathrm{d}\theta\,\int_{0}^{2\pi}\mathrm{d}\theta^{\prime}\, K_{i,\lambda}^{-1}(\theta,\theta^{\prime}) x_{i}^{*}(\theta)\phi_{j}^{*}(\theta^{\prime})$

形式类似于 Hebb's rule $w_{ij} = \frac{1}{p}\sum_{k=1}^{p}x_{i}^{k}x_{j}^{k}$, 但是 $J_{ij}$ 并非对称阵所以不能使用能量函数

确保网络在迭代过程中能量单调下降从而收敛至极小值. 若 $J_{ij}\neq J_{ji}$, 网络将进入无休止循环.

核函数 $K_{i,\lambda}(\theta,\theta^{\prime}) = C^{\phi}(\theta,\theta^{\prime}) - \frac{\phi_{i}^{*}(\theta)\phi_{i}^{*}(\theta^{\prime})}{N} + \frac{2\pi\lambda\delta(\theta-\theta^{\prime})}{N}$

关联函数 $C^{\phi} = \frac{1}{N}\sum_{i=1}^{N}\phi_{i}^{*}(\theta)\phi_{i}^{*}(\theta^{\prime})$

悖论: 由于 $\theta\in[0,2\pi]$ 连续变量, 产生无穷多方程组 $x_{i}^{*}(\theta) = \sum_{j=1}^{N}J_{ij}\phi_{j}^{*}(\theta)$, 每组都对应 $\{J_{ij}\}$ 的 $N$ 个未知数. $N$ 个未知数无法满足无穷多的方程组. 然而 $\phi_{j}^{*}$ 是平滑曲线, 因此在 Fourier 空间中频率存在上限, 写作 $\phi_{j}^{*}(\theta) = \sum_{n=-D}^{D} \hat{\phi}_{jn}e^{in\theta}$ 和 $x_{i}^{*}(\theta) = \sum_{n=-D}^{D}\hat{x}_{in}e^{in\theta}$,

方程 $\sum_{n=-D}^{D}\hat{x}_{in}e^{in\theta} = \sum_{j=1}^{N}J_{ij}\left(\sum_{n=-D}^{D}\hat{\phi}_{jn}e^{in\theta}\right)$, 根据 Fourier 模正交性提取 $n\in\{-D,\cdots,D\}$ 的 $\hat{x}_{in} = \sum_{j=1}^{N}J_{ij}\hat{\phi}_{jn}$, 共有 $2D+1$ 个方程, 而 $D\ll N$, 因此实际上是欠约束(underconstrained), 存在无穷多解

头朝向系统具有角速度积分功能. 为此修改为

$$ J_{ij}[\omega(t)] = \frac{1}{N}\int_{0}^{2\pi}\mathrm{d}\theta\int_{0}^{2\pi}\mathrm{d}\theta^{\prime}K_{i,\lambda}^{-1}(\theta,\theta^{\prime})\left[1 + \tau\omega(t)\frac{\partial}{\partial\theta}\right]x_{i}^{*}(\theta)\phi_{j}^{*}(\theta^{\prime}) $$