黎曼滤波在神经计算方面的应用

  本文是根据Alexandre Barachant的文章:Classification of Covariance Matrices Using A Riemannian-based Kernel For BCI Application所撰写的学习笔记,所有公式以及思路方法全部来源于该文章。

  黎曼几何是一门中文资料比较少的领域,尤其在神经计算方面,Alexandre Barachant使用黎曼几何的方法已经许久,在神经计算领域取得了很好的效果,赢得了6次左右神经计算领域竞赛的冠军。黎曼方法作为神经计算领域的预处理方法,使得分类效果得到了显著的提高。然而这个大神貌似还没有做过回归方面的事情,至少我没有在他的个人网站上找到 = =。

  首先介绍一些必须的概念,本文也主要以介绍黎曼几何相关的概念为主,有关黎曼几何的概念了解了之后,读者自然会对用黎曼方法优化机器学习模型性能的方法有自己的认识和想法。

  在神经计算领域,信号是一个E*T的矩阵,E代表了电极数目,T代表了采样点数目。每一段信号叫做trial,为了防止错误翻译,后文统称trial。

  协方差矩阵的计算方法为:

  我们假设全部的EEG信号都经过了带通滤波,比如8-35Hz的滤波,μ(8-14Hz),β(14-30)Hz。对于二类分类问题,标签格式为:{-1,1}。

  根据[1]中所述,协方差矩阵对异常信号比较敏感,根据这一点,有两种方法可以用来提高预测的性能。

(1)Robust Covariance Estimation

(2)Regularization

  但是协方差矩阵是一个矩阵,大小为E*E,大部分分类算法都是基于向量的,那么我们就要把矩阵转化成向量。

  首先我们想,如果一个矩阵是对称矩阵,那么我们就可以把它转化成(E+1)E/2的大小的向量。

  那么我们假设我们要转换一个对称矩阵变成向量,文中给出了一种公式来进行转换:

  

  这里加入了一个√2的权重是为了保证

  由Farquhar和Reuderink等人的工作证明,CSP这类滤波器加上线性分类器是可以等同于在高维条件下,使用向量化的协方差矩阵作为特征进行分类的方法的[2,3]。  

  那么对于一个分类问题的分数函数我们就可以表示成如下形式:

                  

  对于EEG信号来说,不同的人甚至同一个人在不同的时间,EEG信号都不尽相同,这一点,黎曼距离可以帮助我们。

  对于相同的人不同的时间,我们假设不同时间的EEG数据具有不同的黎曼均值,但是相同标签数据对于黎曼均值的黎曼距离是近似相同的。

  如果我们进行特征映射,原文中给了我们一个示例图:

  假设对于同一类,不同Session代表了不同的时间记录的数据,左图是它们的特征区域,可以看到它们的特征区域不尽相同,那么右图代表了进行了特征自适应。这个自适应的意思就是说,根据黎曼均值进行了映射,我们可以看到进行了映射之后,不同Session的特征区域比左图要明显重合很多。

  文中介绍了两种方法,一是使用了黎曼核作为SVM的核函数的算法,二是根据上述协方差矩阵转换成向量并应用在SVM上的方法。

  首先我们看文中所构造的黎曼核:(推导请见原文)

  文中核函数是基于Cref构造的。对于Cref有两种选择。一是使用大小为E*E的单位矩阵,二是使用训练数据的黎曼均值,上述图形也是基于这第二种选择。

  黎曼均值的求法:

  黎曼均值其实就是要找到一个和每个trial的协方差矩阵的黎曼距离的和最小。黎曼距离的定义如下:

  黎曼均值可以使用一种迭代算法有效的求出,这里不加介绍。

  之后可以使用根据上述核函数来进行SVM分类。

  非核函数的方法是根据公式:将协方差矩阵转换成对称矩阵,然后向量化,放入线性分类中进行分类。

 参考文献:

[1]O. Ledoit, M. Wolf, A well-conditioned estimator for large-dimensional covariance matrices, J. Multivar. Anal. 88 (2) (2004) 365–411 

[2]J. Farquhar, A linear feature space for simultaneous learning of spatio- spectral filters in BCI, Neural Networks 22 (November (9)) (2009) 1278–1285. 

[3]B. Blankertz, R. Tomioka, S. Lemm, M. Kawanabe, K. Mu ̈ller, Optimizing spatial filters for robust EEG Single-Trial analysis, IEEE Signal Process. Mag. 25 (2008) 41–56. 

原文地址:https://www.cnblogs.com/cyq041804/p/6516464.html