问一个关于最小二乘法和误差的问题

显示全部楼层 · 2021-1-29 04:25:29

如果把最小二乘法描述成：Y=A*X(A是一个M*N的矩阵，X是一个N*1的矩阵，Y是一个M*1的矩阵)求X使得：min||Y-A*X||2
那么A这个矩阵的大小对求得的X的误差有什么样的影响也就是X的误差随着M的变化是如何变化的有否数学公式可以计算呢？
哪位大牛能不能帮忙解答一下，谢谢！直观的感觉是，随着M的增大，X的精度肯定是提升的，但是提升的速度越来越慢，但是有没有什么具体的理论分析呢？谢谢！
在线等一等~~

千问 · 2021-1-29 04:25:29

没懂你的问题……误差的概念也没有定义，需要先有一个模型。
刚才笔误了……是求X
marshalfei (...) 在 ta 的帖子中提到：如果把最小二乘法描述成：Y=A*X(A是一个M*N的矩阵，X是一个N*1的矩阵，Y是一个M*1的矩阵)求X使得：min||Y-A*X||2那么A这个矩阵的大小对求得的X的误差有什么样的影响也就是X的误差随着M的变化是如何变化的有否数学公式可以计算呢？哪位大牛能不能帮忙解答一下，谢谢！直观的感觉是，随着M的增大，X的精度肯定是提升的，但是提升的速度越来越慢，但是有没有什么具体的理论分析呢？...........................

千问 · 2021-1-29 04:25:29

哎哎，不是数学专业的，可能我建模有问题，举个例子：
有4个房间，每个房间里面都有若干个宝箱，同一个房间里的宝箱的价值是近似相等的，设第1个房间里的宝箱价值为x1，第二个房间的宝箱价值是x2，第三个是x3，第四个是x4。现在已知的是：第1个人，在房间1里面拿了3个宝箱，在房间2里面拿了2个宝箱，总价值是y1，因此有：y1=3*x1+2*x2第2个人，在房间1里面拿了2个宝箱，在房间3里面拿了2个宝箱，总价值是y2，因此有：y2=2*x1+2*x3...第m个人，在房间1里面拿了Am1个宝箱，在房间2里面拿了Am2个宝箱，在房间3里面拿了Am3个宝箱，在房间4里面拿了Am4个宝箱，因此有：ym=Am1*x1+Am2*x2+Am3*x3+Am4*x4根据这m个人拿到的宝箱的价值，就可以建立这样的方程：Y=A*X其中A是M*4的矩阵，X=[x1;x2;x3;x4]，Y=[y1;y2;y3;...;ym]现在要求的是X因为同一个房间里的宝箱的价值是近似相等的，但是只用了一个变量x1表示第一个房间中所有宝箱的价值，因此Y=A*X是没有解的，于是想用最小二乘法来求解X，使得min||Y-AX||2
这里的误差就是指x1与第一个房间里各个宝箱的实际价值之间的差距
我的问题是，随着m的变大，这个误差是如何变化的

本人数学菜鸟，不知道这样描述问题对不对，烦请指导一下，十分感谢！！！
clubjack (太阳) 在 ta 的帖子中提到：没懂你的问题，最小二乘法求的是A。误差的概念也没有定义，需要先有一个模型。

千问 · 2021-1-29 04:25:29

定性描述的话，随M增大，X会收敛到每个房间宝箱价值的均值上。也就是人越多，解出的X越接近各房间宝箱价值的均值。
这里的误差与两个因素有关，一个是A，另一个是各房间里宝箱的价值的方差。具体计算还进一步依赖于宝箱价值的分布。不光A的大小，A的具体元素也会影响估计的准确性。简单地说，如果是四个人，每个人只从一个房间拿了1个宝箱，那么现在有一个估计。如果每个人都从一个房间拿了100个宝箱，显然后者对每个房间宝箱的均值估计更准。
marshalfei (...) 在 ta 的帖子中提到：哎哎，不是数学专业的，可能我建模有问题，举个例子：有4个房间，每个房间里面都有若干个宝箱，同一个房间里的宝箱的价值是近似相等的，设第1个房间里的宝箱价值为x1，第二个房间的宝箱价值是x2，第三个是x3，第四个是x4。现在已知的是：第1个人，在房间1里面拿了3个宝箱，在房间2里面拿了2个宝箱，总价值是y1，因此有：y1=3*x1+2*x2第2个人，在房间1里面拿了2个宝箱，在房间3里面拿了2个宝箱，总价值是y2，因此有：y2=2*x1+2*x3..............................

千问 · 2021-1-29 04:25:29

恩，明白，直观上是这样没错但如果想从理论上去分析的话，有没有可能将A的大小和这个误差建立某个函数关系呢？或者您能不能推荐一下，从什么角度，或者应该搜点什么资料呢，因为我不是数学专业的，现在完全不知道应该从哪入手，脑子比较混乱，能不能麻烦您给点建议，十分感谢！
clubjack (太阳) 在 ta 的帖子中提到：定性描述的话，随M增大，X会收敛到每个房间宝箱价值的均值上。也就是人越多，解出的X越接近各房间宝箱价值的均值。这里的误差与两个因素有关，一个是A，另一个是各房间里宝箱的价值的方差。具体计算还进一步依赖于宝箱价值的分布。不光A的大小，A的具体元素也会影响估计的准确性。简单地说，如果是四个人，每个人只从一个房间拿了1个宝箱，那么现在有一个估计。如果每个人都从一个房间拿了100个宝箱，显然后者对每个房间宝箱的均值估计更准。

千问 · 2021-1-29 04:25:29

可以先从最简单的模型入手，设每个房间宝箱的价值服从正态分布，这样就是去估计四个正态分布的均值。估计值X的期望、方差通过不算复杂的回归分析就能得到。简单学习一下回归分析即可。
顺便一提，这种简单模型下yi不是同方差的，直接最小二乘得到的结果不是最好的。
marshalfei (...) 在 ta 的帖子中提到：恩，明白，直观上是这样没错但如果想从理论上去分析的话，有没有可能将A的大小和这个误差建立某个函数关系呢？或者您能不能推荐一下，从什么角度，或者应该搜点什么资料呢，因为我不是数学专业的，现在完全不知道应该从哪入手，脑子比较混乱，能不能麻烦您给点建议，十分感谢！

千问 · 2021-1-29 04:25:29

好的，谢谢！
clubjack (太阳) 在 ta 的帖子中提到：可以先从最简单的模型入手，设每个房间宝箱的价值服从正态分布，这样就是去估计四个正态分布的均值。估计值X的期望、方差通过不算复杂的回归分析就能得到。简单学习一下回归分析即可。顺便一提，这种简单模型下yi不是同方差的，直接最小二乘得到的结果不是最好的。