リッジ回帰

リッジ回帰（リッジかいき、Ridge regression）は、独立変数が強く相関している場合に、重回帰モデルの係数を推定する方法^[1]。計量経済学、化学、工学などの分野で使用されている^[2]。

この理論は、1970年に Hoerl と ケナード が Technometrics の論文「RIDGE regressions: biased estimation of nonorthogonal problems」と「RIDGE regressions: applications in nonorthogonal problems」で初めて紹介した^[3][4][1]。これは、リッジ分析の分野における 10 年間の研究の結果だった^[5]。

リッジ回帰は、線形回帰モデルに多重共線性がある（強く相関する独立変数がある）場合に最小二乗推定量が不正確になることを解決するために開発された。リッジ回帰推定量は、最小二乗推定量よりも精度が高い^[6][2]。

数学的詳細

${\textstyle n\times 1}$ の列ベクトル ${\textstyle y}$ は ${\textstyle n\times p}$ の計画行列 ${\textstyle X}$（通常は${\textstyle p\ll n}$）の列空間に射影され、その列は高度に相関しているものとする。正射影 ${\textstyle X\beta }$ を得るための係数 ${\textstyle \beta \in \mathbb {R} ^{p\times 1}}$ の最小二乗推定量 ${\displaystyle {\widehat {\beta }}}$ は

${\displaystyle {\widehat {\beta }}=(X'X)^{-1}X'y}$

それに対して、リッジ回帰推定量 ${\displaystyle {\widehat {\beta }}_{\text{ridge}}}$ は

${\displaystyle {\widehat {\beta }}_{\text{ridge}}=(X^{\top }X+kI_{p})^{-1}X^{\top }y}$

ここで、${\textstyle I_{p}}$ は ${\textstyle p\times p}$ の単位行列であり、${\textstyle k>0}$ は小さい値である。

脚注

1. ^ ^{a b} Hilt (1977年). “Ridge, a computer program for calculating ridge regression estimates”. 2021年6月25日閲覧。
2. ^ ^{a b} Gruber, Marvin (26 February 1998). Improving Efficiency by Shrinkage: The James–Stein and Ridge Regression Estimators. ISBN 9780824701567. https://books.google.com/books?id=wmA_R3ZFrXYC&pg=PA2 
3. ^ Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Biased Estimation for Nonorthogonal Problems.” Technometrics, vol. 12, no. 1, 1970, pp. 55–67. [www.jstor.org/stable/1267351 JSTOR]. Accessed 13 March 2021.
4. ^ Hoerl, Arthur E., and Robert W. Kennard. “Ridge Regression: Applications to Nonorthogonal Problems.” Technometrics, volume 12, number 1, 1970, pp. 69–82. [www.jstor.org/stable/1267352 JSTOR]. Accessed 13 March 2021.
5. ^ Beck, James Vere; Arnold, Kenneth J. (1977). Parameter Estimation in Engineering and Science. ISBN 9780471061182. https://books.google.com/books?id=_qAYgYN87UQC&pg=PA287 
6. ^ Jolliffe, I. T. (9 May 2006). Principal Component Analysis. ISBN 9780387224404. https://books.google.com/books?id=6ZUMBwAAQBAJ&pg=PA178