状态估计(1)
为了对未知量 X X X进行估计，对其进行 k k k次测量，测量值为 z i = h i X + ε i , i = 1 , 2 , … , k z_i=h_iX+\varepsilon_i, i=1, 2, \dots, k zi=hiX+εi,i=1,2,…,k 其中 h i h_i hi为已知量， ε i \varepsilon_i εi为第 i i i次观测时的随机误差，设所得估计值为 X ^ \hat{X} X^，第 i i i次观测值与相应的估计值 h i X ^ h_i\hat{X} hiX^的误差为 e ^ i = z i − h i X ^ \hat{e}_i=z_i-h_i\hat{X} e^i=zi−hiX^ 计算误差平方和为 J ( X ^ ) = ∑ i = 1 k ( z i − h i X ^ ) 2 J(\hat{X})=\sum_{i=1}^k(z_i-h_i\hat{X})^2 J(X^)=i=1∑k(zi−hiX^)2 使得 J ( X ^ ) J(\hat{X}) J(X^)取最小值的估计值 X ^ \hat{X} X^为 X X X的最小二乘估计，记做 X ^ L S \hat{X}_{LS} X^LS. 使用向量矩阵形式，令 Z = [ z 1 z 2 ⋮ z k ] ， H = [ h 1 h 2 ⋮ h k ] ， ε = [ ε 1 ε 2 ⋮ ε k ] Z=\left[ \begin{aligned} &z_1\\ &z_2\\ &\vdots\\ &z_k \end{aligned} \right]， H=\left[ \begin{aligned} &h_1\\ &h_2\\ &\vdots\\ &h_k \end{aligned} \right]， \varepsilon=\left[ \begin{aligned} &\varepsilon_1\\ &\varepsilon_2\\ &\vdots\\ &\varepsilon_k \end{aligned} \right] Z=⎣⎢⎢⎢⎢⎢⎡z1z2⋮zk⎦⎥⎥⎥⎥⎥⎤，H=⎣⎢⎢⎢⎢⎢⎡h1h2⋮hk⎦⎥⎥⎥⎥⎥⎤，ε=⎣⎢⎢⎢⎢⎢⎡ε1ε2⋮εk⎦⎥⎥⎥⎥⎥⎤ 得到估计方程和损失函数为 { Z = H X + ε J ( X ^ ) = ( Z − H X ^ ) T ( Z − H X ^ ) \left\{ \begin{aligned} &Z=HX+\varepsilon\\ &J(\hat{X})=(Z-H\hat{X})^T(Z-H\hat{X}) \end{aligned} \right. {Z=HX+εJ(X^)=(Z−HX^)T(Z−HX^) 一阶条件得到 ∂ J ( X ^ ) ∂ X ^ = − 2 H T ( Z − H X ^ ) = 0 \frac{\partial J(\hat{X})}{\partial \hat{X}}=-2H^T(Z-H\hat{X})=0 ∂X^∂J(X^)=−2HT(Z−HX^)=0 当 ( H T H ) − 1 (H^TH)^{-1} (HTH)−1存在时，可以得到 X ^ L S = ( H T H ) − 1 H T Z \hat{X}_{LS}=(H^TH)^{-1}H^TZ X^LS=(HTH)−1HTZ
根据对二维向量的 x x x的两次观测 z 1 = [ 2 1 ] = [ 1 1 0 1 ] x + ε 1 z 2 = 4 = [ 1 2 ] x + ε 2 z_1=\left[ \begin{matrix} 2\\ 1 \end{matrix} \right]=\left[ \begin{matrix} 1 & 1\\ 0 & 1 \end{matrix} \right]x+\varepsilon_1\\ z_2=4=[\begin{matrix}1 & 2\end{matrix}] x+\varepsilon_2 z1=[21]=[1011]x+ε1z2=4=[12]x+ε2 求 x x x的最小估计. 解析： 合并观测方程 z = [ z 1 z 2 ] = [ 2 1 4 ] ， H = [ H 1 H 2 ] = [ 1 1 0 1 1 2 ] ， ε = [ ε 1 ε 2 ] z=\left[ \begin{matrix} z_1\\ z_2 \end{matrix} \right]=\left[ \begin{matrix} 2\\ 1\\ 4 \end{matrix} \right]， H=\left[ \begin{matrix} H_1\\ H_2 \end{matrix} \right]=\left[ \begin{matrix} 1& 1\\ 0 & 1\\ 1 & 2 \end{matrix} \right]， \varepsilon=\left[ \begin{matrix} \varepsilon_1\\ \varepsilon_2 \end{matrix} \right] z=[z1z2]=⎣⎡214⎦⎤，H=[H1H2]=⎣⎡101112⎦⎤，ε=[ε1ε2] 因为 r a n k ( H ) = 2 rank(H)=2 rank(H)=2，所以 ( H T H ) − 1 (H^TH)^{-1} (HTH)−1存在，根据计算公式可知 X ^ L S = { [ 1 0 1 1 1 2 ] [ 1 1 0 1 1 2 ] } − 1 [ 1 0 1 1 1 2 ] [ 2 1 4 ] = [ 1 4 3 ] \hat{X}_{LS}=\bigg\{\bigg[\begin{matrix} 1 & 0 & 1\\ 1 & 1 & 2 \end{matrix}\bigg]\Bigg[ \begin{matrix} 1& 1\\ 0 & 1\\ 1& 2 \end{matrix} \Bigg]\bigg\}^{-1}\bigg[\begin{matrix} 1 & 0 & 1\\ 1 & 1 & 2 \end{matrix}\bigg]\Bigg[ \begin{matrix} 2\\ 1\\ 4 \end{matrix} \Bigg]=\Bigg[ \begin{matrix} 1\\ \frac{4}{3} \end{matrix} \Bigg] X^LS={[110112][101112]}−1[110112][214]=[134] 在最小二乘估计中，不需要知道联合概率分布，也不需要知道随机变量的二阶矩，属于线性估计，其误差方差阵一般会大于最小方差估计的误差方差阵.
在欧式空间中，两个向量 a a a和 b b b为正交，通常是指 ∑ i = 1 N a i b i = 0 \sum_{i=1}^Na_ib_i=0 ∑i=1Naibi=0或者 a T b = 0 a^Tb=0 aTb=0. 在随机问题中，两个随机向量 X X X和 Y Y Y正交是指 E ( X − E X ^ ) ( Y − E Y ^ ) T = 0 \mathbb{E}(X-\mathbb{E}\hat{X})(Y-\mathbb{E}\hat{Y})^T=0 E(X−EX^)(Y−EY^)T=0 即两个随机向量的各分量之间彼此不相关. 定义：如果一个与随机向量 X X X同维数的随机向量 X ^ \hat{X} X^具有性质
X ^ = a + B Z \hat{X}=a+BZ X^=a+BZ E ( X − X ^ ) = 0 \mathbb{E}(X-\hat{X})=0 E(X−X^)=0 E ( X − X ^ ) Z T = 0 \mathbb{E}(X-\hat{X})Z^T=0 E(X−X^)ZT=0则称 X ^ \hat{X} X^为 X X X在向量 Z Z Z上的投影. 投影定理： (1). 设 X , Z 1 X, Z_1 X,Z1为两个随机向量，维数分别为 n n n与 m 1 m_1 m1，则 E ^ ( A X ∣ Z 1 ) = A E ^ ( X ∣ Z 1 ) \hat{\mathbb{E}}(AX\mid Z_1)=A\hat{\mathbb{E}}(X\mid Z_1) E^(AX∣Z1)=AE^(X∣Z1) 其中 A A A为 l × n l\times n l×n矩阵 (2). 设 X , Z 1 , Z 2 X, Z_1, Z_2 X,Z1,Z2为三个随机向量，维数分别为 n , m 1 , m 2 n, m_1, m_2 n,m1,m2，令 Z = ( Z 1 Z 2 ) Z=\left(\begin{matrix}Z_1\\Z_2\end{matrix}\right) Z=(Z1Z2)，则 E ^ ( X ∣ Z ) = E ^ ( X ∣ Z 1 ) + ( E X ~ Z ~ 2 T ) ( E Z ~ 2 Z ~ 2 T ) − 1 Z ~ 2 \mathbb{\hat{E}}(X\mid Z)=\mathbb{\hat{E}}(X\mid Z_1)+(\mathbb{E}\widetilde{X}\widetilde{Z}_2^T)(\mathbb{E}\widetilde{Z}_2\widetilde{Z}_2^T)^{-1}\widetilde{Z}_2 E^(X∣Z)=E^(X∣Z1)+(EX Z 2T)(EZ 2Z 2T)−1Z 2 其中 { X ~ = X − E ^ ( X ∣ Z 1 ) Z ~ 2 = Z 2 − E ^ ( Z 2 ∣ Z 1 ) \left\{ \begin{aligned} &\widetilde{X}=X-\hat{\mathbb{E}}(X\mid Z_1)\\ &\widetilde{Z}_2=Z_2-\mathbb{\hat{E}}(Z_2\mid Z_1) \end{aligned} \right. {X =X−E^(X∣Z1)Z 2=Z2−E^(Z2∣Z1) 根据 E ^ ( X ∣ Z 1 ) \mathbb{\hat{E}}(X\mid Z_1) E^(X∣Z1)是 Z 1 Z_1 Z1的线性函数可以证明线性，无偏性和正交性. 几何意义： ( 1 ) (1) (1)的几何意义为，由 n n n维随机向量所组成的 l l l维随机向量 A X AX AX在 Z 1 Z_1 Z1空间上的投影等于先用 n n n维随机向量在 Z 1 Z_1 Z1空间上的投影，再乘上 A A A矩阵所构成的随机向量. ( 2 ) (2) (2)的几何意义为，随机向量 X X X在 Z Z Z上的投影等于两个分量之和，一个分量为 X X X在 Z 1 Z_1 Z1子空间中的投影，另一个分量为在 Z ~ 2 \widetilde{Z}_2 Z 2子空间中的投影，其中 Z ~ 2 \widetilde{Z}_2 Z 2子空间 ⊥ \perp ⊥ Z 1 Z_1 Z1的子空间。
下列方程成立 E ^ ( X ∣ Z ) = E X + c o v ( X , Z ) ( V X ) − 1 ( Z − E Z ) = E ^ ( X ∣ Z 1 ) + ( E X ~ Z ~ 2 T ) [ E Z ~ 2 Z ~ 2 ] − 1 Z ~ 2 \begin{aligned} \mathbb{\hat{E}}(X\mid Z)&=\mathbb{E}X+cov(X, Z)(\mathbb{V}X)^{-1}(Z-\mathbb{E}Z)\\ &=\mathbb{\hat{E}}(X\mid Z_1)+(\mathbb{E}\widetilde{X}\widetilde{Z}_2^T)[\mathbb{E}\widetilde{Z}_2\widetilde{Z}_2]^{-1}\widetilde{Z}_2 \end{aligned} E^(X∣Z)=EX+cov(X,Z)(VX)−1(Z−EZ)=E^(X∣Z1)+(EX Z 2T)[EZ 2Z 2]−1Z 2
现代控制理论（第二版） 清华大学出版社 张嗣瀛 高立群 投影定理与最小二乘
