回归分析方法是利用数理统计方法分析数据，建立自变量和因变量间的回归模型，用于预测因变量变化的分析方法，其中比较经典的是 Hoerl和Kennard 提出的岭回归算法。岭回归算法是在最小二乘法的基础上引入了正则项，使回归模型具有较好泛化能力和稳定性，但是岭回归算法并不能处理自变量间非线性相关的情况。KRR 算法是在岭回归算法基础上引入了核方法，通过核函数将自变量空间映射到高维特征空间，然后用岭回归方法在高维特征空间中分析和处理数据[1]。 也就是说，核岭回归是回归算法的一种，其本质就是使用岭回归来做预测。岭回归是做线性回归的，其拟合出来的是一条直线，在面对非线性情况时，可以通过增加一个核函数，将自变量空间映射到高维特征空间。在高维特征空间里做线性回归就可以了。 设： y = f ( x ) y=f(x) y=f(x) 式中，矩阵 x 为多维输入辅助变量，y 为因变量；同时 y 也可写成函数和的形式。 f ( x ) = ∑ i = 1 n ω n ϕ n ( x ) f(x)=\sum\limits_{i=1}^{n}{{{\omega }_{n}}{{\phi }_{n}}(x)} f(x)=i=1∑nωnϕn(x) 式中， ϕ n ( x ) {{\phi }_{n}}(x) ϕn(x)表示数据函数， ω n {\omega }_{n} ωn表示相应回归分析的权值。上式又可写成 f ( x ) = ∑ i α i K ( x i , x ) f(x)=\sum\limits_{i}{{{\alpha }_{i}}K({{x}_{i}},x)} f(x)=i∑αiK(xi,x) 式中，核函数 K ( x i , x ) K({{x}_{i}},x) K(xi,x)定义为 K ( x i , x ) = ∑ n ϕ n ( x i ) ϕ n ( x ) K({{x}_{i}},x)=\sum\limits_{n}{{{\phi }_{n}}({{x}_{i}}){{\phi }_{n}}(x)} K(xi,x)=n∑ϕn(xi)ϕn(x) 核函数确定后，对偶变量 α i {\alpha }_{i} αi 通过岭回归来解，优化岭回归描述如下： min λ ∑ n ω n 2 + ∑ n ξ n 2 , s . t . y i − λ ∑ n ω n ϕ n ( x i ) = ξ i \min \lambda \sum\limits_{n}{\omega _{n}^{2}+}\sum\limits_{n}{\xi _{n}^{2}},s.t.{{y}_{i}}-\lambda \sum\limits_{n}{{{\omega }_{n}}{{\phi }_{n}}({{x}_{i}})}={{\xi }_{i}} minλn∑ωn2+n∑ξn2,s.t.yi−λn∑ωnϕn(xi)=ξi 式中， λ \lambda λ是岭参数，控制岭回归的正规化度。应用数学运算可以证明公式(3)中对偶变量 α i {\alpha }_{i} αi 可以表示为 α i = ∑ j ( K + λ I ) i j − 1 y j {{\alpha }_{i}}=\sum\limits_{j}{(K+\lambda I)_{ij}^{-1}}{{y}_{j}} αi=j∑(K+λI)ij−1yj 最后我们给出一种最常用的核函数，高斯核函数（RBF） K i j = K ( x i , x j ) = exp ( − ∥ x i − x j ∥ 2 2 σ 2 ) {{K}_{ij}}=K({{x}_{i}},{{x}_{j}})=\exp (-\frac{{{\left\| {{x}_{i}}-{{x}_{j}} \right\|}^{2}}}{2{{\sigma }^{2}}}) Kij=K(xi,xj)=exp(−2σ2∥xi−xj∥2)
[1]汤卓,乐燕芬,施伟斌.基于核岭回归方法的定位算法研究[J].数据采集与处理,2020,35(01):147-154. [2]郑蓉建,潘丰.基于核岭回归的谷氨酸发酵过程软测量建模[J].控制工程,2017,24(11):2195-2200.
