时序模式、非线性滤波
以多层感知器为例的静态神经网络的原型应用是结构化模式识别。时序模式识别或飞翔性滤波要求对随时间演化的模式进行处理，对特定的时刻的相应不仅依赖于输入的当前值，还依赖于以前的值。简单说，时间是有序的量，构成了时序模式识别任务中学习过程的重要成分。
对于动态神经网络来说，它必须以一种或另一种形式给定短期记忆。完成这已修改的一个简单途径是利用时间延迟，时间延迟可以在网络内部的突触层或者外部地在网络的输入层上执行。确实，神经网络中时间延迟的使用是受神经生物学启发的，因为在大脑中信号延迟是无所不在的，且在神经生物信息处理中起着重要的作用。时间可以通过如下的两种基本途径来嵌入神经网络的运行中：
隐式表示。时间是通过其作用于信号处理的效果以一种隐含方式来表示的，这由通过外部方式对一个静态神经网络（如多层感知器）提供动态属性而得到。
显示表示。在网络结构内时间由它自身的特定表示给出。
建立在神经网络上的非线性滤波：
由两个子系统的层叠连接组成：短期记忆和静态神经网络（如多层感知器）。这一结构对于处理规则提供了明确的分割：静态网络对应于非线性，记忆对应于时间。具体来说，假设给定了具有大小为m的输入层的多层感知器。那么，在一个对应的途径下，记忆是一个单输入多输出（SIMO）的结构，提供对模拟神经网络的输入信号的m哥不同延迟版本。
通用短视映射定理
任何平移不变的短视动态映射可以包含有两个功能块的结构任意地一致逼近：一组线性滤波器馈给一个静态神经网络。
NETtalk网络结构示意图
NETtalk是将英语语音转化为音速的大规模并行分布式网络的第一个示范。音素（phoneme）是一个基本的语言单位。上面显示了一个NETtalk系统的示意图，它建立在一个多层感知器的基础上，输入层由203的感知（源）节点，隐藏层有80个神经元，输出层有26个神经元。所有神经元都使用sigmoid（logistic）型激活函数。这个网络的突触连接有18629个，每个神经元包含有可变的阈值。阈值时偏置的负值。这个网络使用标准的反向传播算法进行训练。这个网络有7组输入层节点。每组对输入文本的1个字母进行编码。从而每次将7个字母组成的串呈现给输入层。训练过程的期望相应是和7个字母窗口中央的一个（第四个）相联系的正确因素。另外6个字母对网络的每一个决策来说提供部分的上下文。通过一个字母接着一个字母的方式使文本通过窗口。在处理的每一步中，网络都计算一个音速，没学完一个单词后，网络的突触权值就根据计算出的发音与正确的发音的接近程度进行调整。NETtalk的性能显示出和观察到的人类表现的相似之处:
训练遵守有力的规律（power law）。
网络学习的单词越多，它的泛化性能和对新词正确发音的性能就越好。
当网络的突触连接被破坏时，网络性能的下降非常缓慢。
在网络遭遇到破坏后，进行重新学习，学习的速度要比原始训练快得多。