对于线性分类问题，线性分类支持向量机效果很好。但是当碰到无法直线分开的时候，就涉及通过曲线(非线性模型)将它们正确分开。由于非线性问题往往不好解，则通过进行非线性变换将非线性问题转换为线性问题，通过求解变换后的线性问题来求解原非线性问题。
非线性分类问题：
一般来说，对于给定的训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)},其中实例xi属于输入空间，
,对应的标记有2类
,i=1,2,...,N，如果能用Rn中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题。为了将非线性可分问题转化为线性可分问题，则需要用到非线性变换。
设原空间为
，
，新空间为
，定义从原空间到新空间的变换（映射）：
经过变换z=Φ(x)，原空间
变换为新空间
,原空间中的点相应的变换为新空间中的点，原空间中的椭圆：
变换成新空间中的直线：
在变换后的新空间里，直线
可以将变换后的正负实例点正确分开，这样原空间的非线性可分问题就变成了新空间的线性可分问题。
如上例子说明，用线性分类方法求解非线性分类问题分为两步：首先使用一个变换将原空间的数据映射到新空间，然后再新空间里用线性分类学习方法从训练数据中学习分类模型，核技巧就属于这样的方法。
核函数的定义：
设X是输入空间（欧式空间Rn的子集或离散集合），又设H为特征空间（希尔伯特空间），如果存在一个从X到H的映射：
使得对于所有
，函数K(x,z)满足条件：
K(x,z)=Φ(x)·Φ(z)
则称K(x,z)为核函数，Φ(x)为映射函数，式中Φ(x)·Φ(z)为Φ(x)和Φ(z)的内积，完成x,z到新的维度的映射。
在学习和预测中一般只定义K(x,z)，而不显式地定义映射函数
，通常直接计算K(x,z)比较容易，而通过
和
计算K(x,z)并不容易。 由于是输入空间到特征空间H的映射，特征空间H一般是高维的甚至是无穷维的，因而对于给定的核K(x,z)，特征空间H和映射函数的取法并不唯一，可以取不同的特征空间，即使在相同的特征空间里也可以取不同的映射。
以如下简单例子为例：
设输入空间为R2，核函数是K(x,z)=(x·z)2，取特征空间H=R3，记x=(x1,x2)T，z=(z1,z2)T
由于(x·z)2=(x1z1+x2z2)2=(x1z1)2+2x1z1x2z2+(x2z2)2
所以可以取映射Φ(x)=((x1)2, 2½x1x2, (x2)2)T
容易验证Φ(x)·Φ(z)=(x·z)2=K(x,z)
当然，Φ(x)的式子可以有许多种类，但是终需满足Φ(x)·Φ(z)=K(x,z)
在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只涉及输入实例与实例之间的内积，在对偶问题的目标函数中的内积
可以用核函数
来替代，此时对偶问题的目标函数成为:
因为
，则原表达式
可以表示为如下：
同样的，分类决策函数的内积也用相同核函数表示，则分类决策函数经过w*的替换后得到下式：
这等价于经过映射后将原输入空间变换为新的特征空间，输入空间的内积
变换为特征空间的内积
，在新的特征空间从训练样本学习线性支持向量机，当映射函数为非线性函数时，学习到的含有核函数的支持向量机是非线性分类模型。也就是说在核函数K(x,z)给定的条件下，可以利用解线性分类问题的方法来求解非线性分类问题的支持向量机，学习是隐式地在特征空间进行，不需要显式定义特征空间和映射函数，这样的技巧也称为核技巧。
正定核
这里首先介绍一下正定矩阵的概念：
对于实对称矩阵，若对任意非零向量X≠0，有
则矩阵A称为正定。其中正定矩阵A的充要条件是A的n个特征值全是正数。
那么对于半正定矩阵，则有
，相对应于正定矩阵的充要条件则表现为半正定矩阵的充要条件是A的n个特征值非负。
假设 K(x,z)是定义在XxX上的对称函数，并且对任意的
,K(x,z)关于x1,x2,...,xm的Gram矩阵是半正定的，可以依据函数K(x,z)构成希尔伯特空间，即首先定义映射并构成向量空间S；然后在S上定义内积构成内积空间，最后将S完备化构成希尔伯特空间。
正定核形成具体如下：
1、定义映射：
根据映射，对任意
,定义线性组合：
考虑由线性组合为元素的集合S，集合S对加法和数乘运算是封闭的，所以S构成一个向量空间。
2、在S上定义内积，使其成为内积空间：
在S上定义一个运算*，对任意
,
定义运算*：
3、将内积空间S完备化为希尔伯特空间
将内积空间S完备化，由上式定义的内积可以得到泛数：
因此S是一个赋泛向量空间，由泛函分析理论，对于不完备的赋泛向量空间S，一定可以使它完备化，得到完备的赋范向量空间H。当内积空间作为一个赋范向量空间是完备的时候，就是希尔伯特空间，从而得到希尔伯特空间H。这类希尔伯特空间H称为再生希尔伯特空间，这是由于核K具有再生性，即满足：
称为再生核。
设
是对称函数，则K(x,z)为正定核函数的充要条件是对任意的
，K(x,z)对应的Gram矩阵:
是半正定矩阵。
以下部分给出上式的证明过程：
必要性：由于K(x,z)是
上的正定核，所以存在从
到希尔伯特空间H的映射
，使得：
于是对于任意
，构造
的Gram矩阵
对于任意
，有：
说明的Gram矩阵是半正定的。
充分性：
已知对称函数K(x,z)对任意
，的Gram矩阵是半正定的，根据前面的结果，对给定的K(x,z)，可以构造从到某个希尔伯特空间H的映射：
由及上式可以得：
从而表明：
K(x,z)是
上的核函数。
正定核的等价定义：
设
，K(x,z)是定义在
上的对称函数，如果对于任意
，i=1,2,...,m, K(x,z)对应的Gram矩阵
是半正定矩阵，则称K(x,z)是正定核。
这一定义在构造核函数的时候很有用，但对于一个具体函数K(x,z)来说，检验它是否为正定核函数并不容易，因为要求对任意有限输入集{x1,x2,...,xm}验证K对应的Gram矩阵是否为半正定的。在实际问题中往往应用已有的核函数，另外由Mercer定理可以得到Mercer核，正定核比Mercer核更具有一般性。