均方误差（Mean Squared Error, MSE）：各数据偏离真实值的距离平方和的平均数，也即误差平方和的平均数。 举个例子：我们要测量房间里的温度，很遗憾我们的温度计精度不高，所以就需要测量5次，得到一组数据[x1,x2,x3,x4,x5], 假设温度的真实值是x，数据与真实值的误差为ε=x-xi 那么均方误差MSE=
均方根误差：
平方误差：在相同的条件下，各个测定值xi对真实值x的偏差平方后再求和
数学期望E(X)：简称期望或均值，是试验中每次可能结果的概率乘以其结果的总和，反映随机变量平均取值的大小。 Xk:表示观察到随机变量X的样本的值。 Pk:表示xk发生的概率。 举例：假设有这样的一组数 1,1,1,1,1,2,2,2,2,3（一共10个数，5个1 ，4个2，1个3）如果按照数学期望是这样求值： 赌博是期望值的一种常见应用。例如，美国的轮盘中常用的轮盘上有38个数字，每一个数字被选中的概率都是相等的。赌注一般押在其中某一个数字上，如果轮盘的输出值和这个数字相等，那么下赌者可以将相当于赌注35倍的奖金(原注不包含在内)，若输出值和下压数字不同，则赌注就输掉了。考虑到38种所有的可能结果，然后这里我们的设定的期望目标是“赢钱”，则因此，讨论赢或输两种预想状态的话，以1美元赌注押一个数字上，则获利的期望值为：赢的“概率38分之1，能获得35元”，加上“输1元的情况37种”，结果约等于-0.0526美元。也就是说，平均起来每赌1美元就会输掉5美分，即美式轮盘以1美元作赌注的期望值为 负0.0526美元。
方差：度量随机变量和其数学期望（即均值）之间的偏离程度。是 数据 与 均值（数学期望）之间的平方和 也可以表示为：平方期望 - 期望平方
标准差（均方差）：是方差的平均值开根号( u表示数学期望)
协方差：x,y协同之间的波动程度（乘积期望 - 期望乘积）： Cov(X,Y)=E{[X−E(X)][Y−E(Y)]} Cov(X,Y)=E(XY)−E(X)E(Y) D(X+Y)=D(X)+D(Y)+2Cov(X,Y) 假设求Cov[X,Y] (X,Y)=(−6,−7),(8,−5),(−4,7),(10,9) 协方差先求期望值 再求协方差
设X1，X2，X3…,Xn是来自总体X的样本 样本均值： 样本方差： 样本标准差
