On the computational power of circuits of spiking neurons

郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布!

J. Comput. Syst. Sci., no. 4 (2004): 593-616

Abstract

  多模态时变输入流的复杂实时计算由通用皮层微电路执行。开发足够的理论模型来解释实时计算的皮层微电路看似普遍的力量的障碍是它们的计算单元(神经元和突触)的复杂性和多样性,以及传统上几乎所有神经计算的理论方法对离线计算的强调。在本文中,我们对新一代神经计算模型、液态机的实时计算能力进行了严格的数学分析,这些模型可以通过——实际上受益于——不同的计算单元来实现。因此,皮层微电路的现实模型代表了这种液态机器的特殊实例,无需简化或统一其不同的计算单元。我们提供了两个定理的证明,这些定理关于实时计算的此类模型的潜在计算能力,包括模拟输入流和作为输入的脉冲序列。

1. Introduction

  我们提出了一个新的概念和理论框架,用于分析用于实时计算的皮层微电路的能力。人们经常猜想,并且也有经验证据支持这一猜想[30],即这些神经微电路不是为皮层中出现的每个计算任务单独构建的,而是相同的基本电路架构用于不同大脑区域的不同计算任务。这激发了对可以赋予这种通用循环神经回路看似"通用"计算能力的一般原理的探索,尤其是对于实时计算。

  在计算机科学和数理逻辑中,存在完善的理论框架来使这种普遍性猜想精确。一个这样的框架表征了原则上可计算的所有数字函数的类别(这是递归函数的类别),并表明图灵机对这一类别具有通用的计算能力。但该框架面向数字输入的离线计算,对于分析神经电路对时间的模拟函数(或脉冲序列)的并行实时计算几乎没有用。这同样适用于计算复杂性理论的经典框架,其中递归函数类被所有数字函数的类P替换,这些数字函数可以在可接受的多项式计算时间内计算。

  我们想争辩说,与图灵机相反,神经电路的通用计算不是数字化的,也不是在静态输入上执行的,而是在时间(或时间序列)函数上执行的。输入时间u(·)的模拟函数并输出时间y(·)的另一个函数的电路定义了时间函数之间的映射F。这种映射在数学上称为算子,在工程上称为滤波器F。由于缺乏更好的术语,我们将在本文中使用术语滤波器,尽管滤波器在神经科学中通常被视为有些微不足道的信号处理或预处理设备,并且有时与当前不流行的特定神经计算方法相关联。然而,人们不应该陷入用特殊类别的滤波器识别滤波器的通用术语的陷阱,例如线性滤波器、二次滤波器或更一般的可以由有限Volterra或Wiener级数表示的滤波器(参见[15,24,25,27]),所有这些都具有相当有限的计算能力。相反,应该记住,任何生物体的任何输入都是时间的函数,而生物体的任何运动输出都是时间的函数。因此,它们执行的计算是滤波器的特例。这同样适用于任何人工行为系统,例如机器人。

  本文采用的方法为滤波器提出了完全不同的表征和层次结构,这似乎对分析神经计算更有用。在神经计算中特别重要的基本滤波器,例如阈值设备(例如脉冲神经元)对传入脉冲序列的响应,可以出现在此类替代层次结构的低级别。事实上,这个替代框架允许我们放置任何滤波器,例如那些恰好在某些特定物理实现域中大量可用的滤波器,在层次结构的底层,并按照需要多少个这样的基础滤波器来逼近F来衡量任何目标滤波器F的复杂性。

  我们在[19]中引入了一个非常通用的滤波器计算模型,它在概念上将实时处理分为两个互补的子任务:

(1) 由有限多个基滤波器B组成的滤波器L分离不同的输入函数,从一些固定的滤波器池B中提取,

(2) 通过一些固定的读出映射 f 将L的当前输出静态转换为系统的当前目标输出,从"内存较少"函数的一些固定池F中选择。1

  得到的计算模型M = <L, f>被称为液体状态机(LSM)。与计算机科学中熟悉的有限状态机相比,它提供了任何图灵机的计算核心,它允许滤波器L的不同输出值xM(t)的潜在无限集(例如,在生物学解释中可能对应于当前循环神经回路的激活状态,或更抽象地表示高维动力系统的当前内部状态)。这个状态xM(t)是液态的,因为它通常会在输入函数u(·)的呈现期间不断变化,不仅仅是在预先指定的离散时间点。由读数图 f 决定,该液态xM(t)在该分辨率下被"读取"并在时间 t 转换为LSM M的输出(Mu)(t):

  因此,形式上每个LSM M计算一个滤波器,该滤波器将输入函数u(·)映射到输出函数(Mu)(t)。2 根据常见约定,当F应用于输入函数u(·)时,我们将(Fu)(t)表示为滤波器F的输出:在本文中,所有这些函数都将被解释为时间函数。重要的是要记住,这个滤波器在时间 t 的输出(Fu)(t)通常不仅仅取决于时间 t 的输入函数u(·)的值,但可能取决于s≤t的所有值u(s)。3 使用这个术语可以正式描述LSM M = <LM, fM>的两个互补计算操作,具体如下:

即,关于过去值u(s)的所有信息,s≤t,LSM M在时间 t 的输出(Mu)(t)可能需要的输入函数u(·)首先浓缩为当前液态xM(t)和第二个公式:

这表示M在时间 t 的输出是通过将其静态读出映射fM应用于当前液体状态而从xM(t)产生的。在将此框架应用于循环神经回路中的计算时,第一个公式描述(主要)时间积分的任务,第二个公式描述了信息空间整合的熟悉(和不那么困难)的任务。

原文地址:https://www.cnblogs.com/lucifer1997/p/15525000.html