· 最小二乘法参数识别

一般最小二乘法和整体最小二乘法都是使用一系列的实验数据，通过关系Y=Q*X，来估算一个容量常数。这里Y和X都是矩阵，第i个数据集，由X中的xi和Y中的yi组成。对应于在第i个时间间隔内从电池中测量的数据，其中xi是在该时间间隔内荷电状态的估计变化，yi是在该期间通过电池的累计安培小时。普通最小二乘法假设在x_i数据集没有误差，并将数据建模为y=Qx+∆y，其中∆y是误差向量。如右图所示，其中数据点上的误差线用来描述yi的不确定性。

普通最小二乘法

最小二乘法却的主要思想是通过确定未知参数(通常是一个参数矩阵)，来使得真实值和预测值的误差(也称残差)平方和最小，算法如下所示。全局最小二乘法容星测星的线性方程的x和y同为实验数据，都存在误差和噪点，如右图所示。

全局最小二乘法

· 全局最小二乘法

关于整体最小二乘法(total least square, TLS)最早的思想可以追溯到Pearson于1901年发表的论文，文章主要考虑了矩阵方程y=Qx中y和x同时存在误差的问题，并提出了近似的求解方法。但是，直到1980年，Golub和Van Loan才首次从数值分析的观点对该方法进行了整体分析，并正式命名为整体最小二乘法。该方法在数理统计中也被称为正交回归(orthogonal regression)或变量误差回归(error-in-variable regression)。在系统辨识中，总体最小二乘称为特征向量法或Koopmans-Levin方法。凡是对于需要求解线性方程y=Qx的工程问题，由于矩阵x和向量y都是实测数据，总是存在误差。因此，整体最小二乘方法在这些场合都可以使用。在科学与工程问题的数值分析中，经常需要对给定的一些数据点，拟合一条曲线或一曲面，由于这些数据点通常是通过观测得到的，不可避免地会含有误差或被噪声污染，总体最小二乘方法可以给出比一般最小二乘方法更好的拟合效果。后续会详细讨论整体最小二乘法的应用。