剛剛無聊推導了一下
線性回歸方程式
令理想的直線方程式為
y=ax+b
而我們手上有的資料點為
yi=ax+b+c
此時c為描述實際資料與模型的誤差
我們目標是令誤差越小越好，有很多種求法
最簡單的就是最小平方法
所以我們的目標函數建立如下
Q = Σ(yi-axi-b)^2
做偏微分運算
∂/∂a (Q) = 2*Σ[(yi-axi-b)xi] = 0
∂/∂b (Q) = 2*Σ(yi-axi-b) = 0
整理方程式
Σ(xi^2) * a + Σ(xi) * b = Σ(xiyi)
Σ(xi) * a + n * b = Σ(yi)
解聯立,克拉瑪簡單解一下
|Σ(xi^2) Σ(xi)| | a | | Σ(xiyi)|
| | | | = | |
| Σ(xi) n | | b | | Σ(yi) |
Δ = n*Σ(xi^2) - Σ(xi)Σ(xi)
Δa = n*Σ(xiyi) - Σ(xi)Σ(yi)
Δb = Σ(xi^2)*Σ(yi) - Σ(xiyi)*Σ(xi)
a = [n*Σ(xiyi) - Σ(xi)Σ(yi)] / [n*Σ(xi^2) - Σ(xi)Σ(xi)]
b = [Σ(xi^2)*Σ(yi) - Σ(xiyi)*Σ(xi)] / [n*Σ(xi^2) - Σ(xi)Σ(xi)]
有更簡單的形式，不過原則點到此