图片来源视觉中国
作者|刘宇豪、吴婷婷、赵世同、石冬平，编辑|历下
2023年1月，北京大学心理学与认知科学系吴思教授和清华大学社会科学学院心理学系刘佳教授在《脑与认知科学中的AI:》一文中提到。“第一原理视角”提出了大脑的基本原理，作为提高人工智能最重要的参考资料。
近日，雯雯邀请了四位认知神经科学领域的青年学者，在这篇重要论文的基础上，讨论了“人工智能如何向人类智能学习？”这一话题，包括吸引子网络、临界性、随机网络和稀疏编码、关系记忆等。……以及感知学习，与读者一起揭示大脑的基本原理。
这个解释分为上、中、下三部分，这是中间部分。
随机编码大脑编码信息的基础是什么？
自从Hubel和Wiesel首次发现神经元如何调整到条状方向[1]以来，神经生理学家一直致力于寻找针对单一特定刺激具有清晰调整曲线的神经元。然而，由于许多非线性地反映不同类型特征的非线性混合选择性神经元同时出现，常常会出现混乱[2-7]。为了理解这一现象，科学研究越来越多地转向对神经元群体的分析，群体编码理论认为每个神经元在一维上运行，一组神经元的活动构成了一个高维的状态空间。增加高维状态空间维度空间后，可以更加差分地编码更多信息，增加表示维度后，原本线性不可分的表示变成线性可分[8]。大脑的下游结构。
此外，为了解释能够同时参与不同信息编码的混合选择性神经元的特性，需要在尽可能简单的同时综合考虑多样性[3]和混合选择性。随机网络可以支持在多种混合大脑回路中发挥作用[9-15]。在随机网络中，神经元的突触连接权值遵循一定的随机分布。将信号混合到下游神经元的输入中。多样性来自这些连接的随机性。在每个神经元内，输入经历非线性映射。通过这种方式，神经元具有非线性混合选择性，并且越来越多的生物学证据开始支持这一想法。
图1随机网络示意图。随机网络中的每个节点具有大约相似数量的链接，在度分布图中形成钟形曲线。资料来源参考文献43
在随机编码理论中，由一组神经元组成的神经空间可以具有的最大维度是神经元总数，而为了增加维度，在完全随机连接的极端情况下，连接后的神经元组必须更大。该组比连接之前的神经元大。因此，网络必须具有不同的架构。一方面，这些多样化的网络结构已在不同物种的生物大脑中观察到[16]，另一方面，这种观点自20世纪90年代初以来也出现在人工智能中[17]。
在人工智能中，随机网络是指一种人工神经网络，其中某些权重是随机初始化的，并且在训练过程中不进行调整。这些网络最初引起了人们的关注，因为它们易于分析并且训练速度更快。然而，研究人员很快发现随机网络的表现出人意料地好[18]，并且它们在短期预测、图像识别和生物医学分类等应用中的测试准确性接近完全训练的模型[15]。受这些观察的启发，研究人员研究了各种随机网络的特性。
其中，两类网络得到了广泛的研究前馈网络和类水库递归网络。在前馈网络中，输入神经元连接到具有随机权重的更大隐藏层。在储存器计算中，输入神经元连接到内部神经元储存器，这些神经元储存器彼此随机连接。前馈网络的示例包括随机向量函数链接网络、径向基函数链接网络、具有随机权重的前馈网络、无反向传播的算法、权重无关网络和随机卷积神经网络。存储计算的示例包括回声状态网络、液态状态机和深度回声状态网络。
所有这些模型都具有三个共同特征
隐藏层或箱生成输入的高维表示[19]。
连接到输出神经元的权重必须进行线性优化[17]。
网络性能对于各种随机权重实现都是稳健的[20]。
从这些观察中我们可以得出的结论是，影响任务性能的是经过训练的人工神经网络的架构，而不是微调的连接权重。更有趣的是，进一步的研究表明架构本身可能是随机的。使用随机图生成器生成的架构在ImageNet[21]上表现出了良好的分类精度。这些观察结果表明，随机性并不是一项仓促的任务，而是可能成为机器智能的基础。这一观点反映了上述神经科学领域的类似推测。随机网络的有效性和效率及其实现未知计算原理的潜力激发了许多人对它们进行分析研究。
生物学证据、工程实践和理论分析似乎都表明分布式随机网络足以实现认知功能。然而，这个结论过于简单化，在实践中，实现复杂的功能需要将随机网络与其他网络属性相结合。这些属性包括收敛读数[22]、可塑性[23,24]、兴奋-抑制平衡[10,25]和稀疏性[5,10,26]。所有这些附加特征都是基于随机连接的先决条件，并且对于神经电路来说是必不可少的。
随机网络是最简单的神经回路，可产生神经生理学中常见的混合选择性。尽管与功能只能从有组织的网络中产生的传统观点相矛盾，但在过去的几十年里，在生物大脑的各种系统中都发现了随机网络。同时，人工智能利用随机性这种高效的计算方法来构建人工神经网络。随机网络由于其独特性和高效性，吸引了许多理论研究者探索其基本原理。
这些原则可以在三个概念层面上进行解释[27]。在计算层面，随机网络是通用函数近似，就像经过训练的神经网络一样。通过其发散式架构，随机网络产生高维状态空间，其中判别性解码更加灵活和可行。在算法层面，随机网络相当于计算机科学中的区域敏感哈希算法。这些算法可以显着节省训练深度网络所需的计算量。在实现层面，随机网络是大脑密集神经网络中分布式网络最合理的物理实现。
然而，值得注意的是，随机网络的原理只有在使用其他属性时才能完美发挥作用。尽管在过去十年中，人们对随机网络的重要性有了更好的理解，并且几个关键概念也变得清晰，但仍有许多题有待解。尽管在计算层面理解了维度和稀疏性题，但对随机网络的表示仍然知之甚少。
状态空间中的本征态流形是什么样的？在算法层面，用于随机采样权重的分布是经验性的和随机的。那么我们应该如何指定这些分布呢？我应该使用先验知识吗？生成的权重应该固定还是应该进行缓慢的赫布学习？在实现层面，大脑还具有功能列等模块化属性。那么我们如何协调模块化与随机分布的网络结构呢？随着这些题变得更加清晰，人们对随机网络的理解将会加深，届时就有可能真正确认随机网络代表了智能的基本原理。
编者注Hebbian学习是指DonaldHebb提出的神经网络学习机制。也就是说，当两个相邻神经元同时激活时，它们的连接权重会增加。
稀疏编码大脑的独特特征
大脑是储存和处理信息的机器。为了实现这些功能，外部信息必须被准确量化和合理表征[28]。稀疏编码策略是实现这一目标的关键途径。大脑在多个层面上利用稀疏机制，包括视觉、嗅觉、触觉等感知层面[29]对这些机制的讨论对于理解神经系统组织的原理和智力的形成很重要。
稀疏编码的含义是，在任何给定时刻发射的神经元数量仅占神经元总数的一小部分[30]。“稀疏”本身只是一个相对的概念，没有明确的阈值，与另外两种极端的编码方法——局部编码和——密集编码相比，其优势变得更加明显[31]。局部编码，也称为“one-hot”编码每个神经元只编码一个对象，并且两个对象的表示不重叠。“祖母细胞”是最著名的例子。另一种极端的编码情况是密集编码，也称为完全分布式编码。每个实体由神经元群体中所有神经元的联合活动表示。稀疏编码介于上述两种情况之间，具有两者的优点[32]。
编者注祖母细胞是20世纪60年代末一些科学家提出的假设细胞，在视觉系统中具有高度专业化的功能。他们通常会对受试者熟悉的复杂物体的图像做出剧烈反应，并对其他物体表现出温和的反应。这是图像稀疏编码的一种极端形式的假设。
图2稀疏编码示意图。在稀疏编码机制中，图像由少量激活元素表示，并且激活元素的分布因图像而异。另外，对于单个元素，活动概率分布图将具有一个“峰值”和两个长“尾部”，因为该元素在稀疏编码过程中大部分时间处于静止状态。资料来源参考文献44
稀疏编码在编码能力、能量效率和解码难度之间提供了良好的平衡。局部编码不允许重叠，并且N个二元神经元的群体最多可以表示N个不同的项目。编码更多的物体需要招募更多的神经元，这会消耗更多的能量并大脑可用的能量，这设定了局部编码的上限。相比之下，密集编码允许N个二元神经元编码2N个对象，从而大大提高了表征能力。在稀疏编码中，即使一个对象只能同时激活几个神经元，但可以编码的对象总数为
，在编码相同信息时，比本地编码消耗的能量要少得多。分布式编码的困难在于必须以生物学上合理的方式学习阅读。然而，可以使用简单的赫布学习机制建立本地编码与其输出之间的关联，从而在神经活动模式稀疏编码时使学习更加有效[30,33]。
其次，稀疏编码还平衡了泛化性和抗干扰性之间的关系。在局部编码中，每个模式都与另一个模式正交，并且不同模式之间没有相似性，因此不可能从一种模式推广到另一种模式。密集和稀疏编码允许部分重叠和不同级别的编码相似性，从而允许具有相似编码的项目之间的泛化。然而，密集编码决定了许多物体可以激活相同的神经元，这可能导致不同放电模式之间的干扰[34]。稀疏编码可以帮助对抗这种灾难性的遗忘[35]并减少模态间干扰[36]。在极端情况下，本地编码允许同时表示多个对象而不会互相干扰。
最后，稀疏编码通过响应明确地表示刺激的自然结构，例如神经响应的独特调谐曲线。感受野复制了环境中遇到的频率结构，确保只有一小部分神经元可以代表自然刺激。稀疏编码与不完整的碱基相结合可以通过生成表面流形的分段平面表示来简化后续的表征和分析步骤，其中刺激自然聚集[30]。这些优势支持生物体更有效地编码、传输和存储信息。
编者注过完备基通常是指向量空间中包含的向量多于所需的向量。尽管这些情况可能导致冗余和过度表示，但它们在某些情况下也很有用，例如压缩感知和稀疏表示领域。过完备基的概念在信号重建、降维和特征选择等应用中发挥着重要作用。
本篇文章详细讲解了样本空间如何表示的题和用状态空间如何表示题相关的题，希望能帮助到广大网友!
No Comment