Logistic回歸模型的參數(shù)估計(jì)為什么不能采用最小二乘法？首先，我們確實(shí)可以使用普通最小二乘法，也就是OLS，來(lái)做y=0/1的回歸。但我們通常不使用它。為什么？一般來(lái)說(shuō)，當(dāng)y為0/1時(shí)，我們要得到y(tǒng)

Logistic回歸模型的參數(shù)估計(jì)為什么不能采用最小二乘法？

首先，我們確實(shí)可以使用普通最小二乘法，也就是OLS，來(lái)做y=0/1的回歸。但我們通常不使用它。為什么？一般來(lái)說(shuō)，當(dāng)y為0/1時(shí)，我們要得到y(tǒng)=1的概率，并且概率不能小于0或大于1。然而，使用OLS，很容易得到小于0或大于1的概率預(yù)測(cè)值。這是第一個(gè)原因。其次，從稍微定量的角度來(lái)看，OLS的關(guān)鍵假設(shè)是誤差項(xiàng)u與x無(wú)關(guān)，但當(dāng)y=0/1時(shí)，我們可以想象這個(gè)假設(shè)是站不住腳的。第三個(gè)原因是不僅u與x有關(guān)，而且u的方差也與x有關(guān)，因此u具有異方差性，這違反了Blue的假設(shè)。第四個(gè)原因是，從線(xiàn)性投影的角度來(lái)看，OLS要求y和其他向量在一個(gè)向量空間中，但在像連續(xù)X這樣的n維向量空間中，只有0/1y不能存在，所以如果y只能取0/1的兩個(gè)值，問(wèn)題就會(huì)跳出線(xiàn)性模型的范圍，變成一個(gè)非線(xiàn)性模型。當(dāng)然，由于這個(gè)模型比較簡(jiǎn)單，所以仍然是在“廣義線(xiàn)性模型”的框架內(nèi)。此外，雖然OLS是不合適的，但并不意味著“最小二乘法”不能使用。一般來(lái)說(shuō)，“最小二乘法”不僅包括普通最小二乘法（OLS），還包括非線(xiàn)性最小二乘法（NLS）、加權(quán)最小二乘法（WLS）等，我覺(jué)得有些網(wǎng)站的答案已經(jīng)非常詳細(xì)了，所以我在這里附上一個(gè)鏈接（僅供參考）https://www.zhihu.com/question/23817253/answer/85072173

最小二乘法ols的得出來(lái)的值為什么是平均值？

以單變量線(xiàn)性回歸為例，OLS法計(jì)算的β0和β1滿(mǎn)足兩個(gè)條件：R 1回歸線(xiàn)通過(guò)（x均值，y均值），r2β1等于X和Y的協(xié)方差除以X的方差上述方差和協(xié)方差是樣本的參數(shù)，而不是總體的參數(shù)。也就是說(shuō)，隨機(jī)抽樣會(huì)導(dǎo)致β1的波動(dòng)，所以即使你手上的參數(shù)β1不等于0，你也不容易判斷出總體的β1不等于0。普通最小二乘估計(jì)就是求參數(shù)的估計(jì)值，使偏差平方和最小。各平方項(xiàng)的權(quán)重相同，這是常用的最小二乘回歸參數(shù)估計(jì)方法。在誤差項(xiàng)等方差不相關(guān)的條件下，普通最小二乘估計(jì)是回歸參數(shù)的最小方差線(xiàn)性無(wú)偏估計(jì)。然而，在異方差條件下，每一項(xiàng)在平方和中的地位是不一樣的。誤差項(xiàng)方差較大的項(xiàng)在殘差平方和中取較大值，起較大作用。因此，一般最小二乘估計(jì)的回歸線(xiàn)會(huì)拉到方差大的項(xiàng)目上，方差大的項(xiàng)目擬合度較好，方差小的項(xiàng)目擬合度較差。OLS仍然是無(wú)偏估計(jì)，但它不再是最小方差線(xiàn)性無(wú)偏估計(jì)。所以它是：給較大的殘差平方賦予較小的權(quán)重，給較小的殘差平方賦予較大的權(quán)重。通過(guò)這種方法，對(duì)殘差提供的信息的重要性進(jìn)行校正，提高了參數(shù)估計(jì)的精度。

加權(quán)最小二乘法如下