正则化で过学习を抑制する

n-ozawan

2025.08.27

AI 骋検定対策机械学习

皆さん、こんにちは。尝笔开発グループの苍-辞锄补飞补苍です。
一部のクラゲでは、ポリプ期と呼ばれる岩や海底などに付着して生活した后、成体クラゲに成长します。ベニクラゲは成体クラゲからポリプ期まで退行する（若返る）ことができるため、不老不死のクラゲで有名です。

本题です。
前回、前々回で損失関数を取り上げました。机械学习ではこの損失Lを最小化するように重みなどの係数を調整することで学習を行います。その際に気を付けなければならないのは過学習です。今回は過学習を抑制する正则化に関するお話です。

正则化

概要

正则化は、机械学习モデルの過学習を防ぐための手法です。特にディープラーニングはモデルの表現力が高いため、何も考えずに学習すると過学習の影響を大きく受けてしまいます。過学習についてはこちらを参照ください。

有名な正则化手法には「L1正则化」と「L2正则化」があります。これら正则化は損失関数にペナルティを課すことで過学習を防ぎ、よりシンプルで汎化性能の高いモデルを作ることを目的としています。

L1正则化

L1正则化は、損失に係数の絶対値和を加える手法です。数式は以下の通りです。

J (x) = L + λ \sum_{i = 1}^{n} | w_{i} |

Lは損失です。Lに加えているのがL1正则化であり、損失に対して課すペナルティになります。λは正则化の強さでハイパーパラメータです。w_iは重みになります。例えばニューラルネットワークの场合、各ニューラルへの重みの絶対値和を损失尝に加算します。

L1正则化は、スパース性と呼ばれる、あまり出力結果に寄与しない特徴量があれば、その重み(w_i)を0にする性质があります。これにより计算コストを减らし、よりシンプルなモデルにすることができます。その反面、あまりやりすぎると必要な特徴量の重みまで0になってしまい、精度が下がります。ハイパーパラメータのλを调整することで、适切に重みを最适化します。

L2正则化

L2正则化は、係数の二乗和を損失に加える手法です。数式は次の通りです。

J (w) = L + λ \sum_{i = 1}^{n} {w_{i}}^{2}

Lは損失関数の値です。Lに加えているのがL2正则化であり、損失に対して課すペナルティになります。λは正则化の強さでハイパーパラメータです。w_iは重みになります。例えばニューラルネットワークの场合、各ニューラルへの重みの2乗和を损失尝に加算します。

L1正则化と比べて、L2正则化にスパース性はありません。その反面、重み全体を均等に縮小させる性質があり、ノイズや誤情報に強く、L1正则化と比べて過学習を防ぎやすくなります。

Elastic Net

L1正则化とL2正则化を組み合わせた手法として、Elastic Netがあります。数式は次の通りです。

J (w) = L + λ \sum_{i = 1}^{n} | w_{i} | + λ \sum_{i = 1}^{n} {w_{i}}^{2}

損失Lに、L1正则化とL2正则化を加算しています。

おわりに

過剰に適合しようと複雑なモデルが構築されると、学習データのノイズや偶然のパターンまで思えてしまう、いわゆる過学習が起きます。また、机械学习における重みなどの係数は、その値が大きければ大きいほど出力結果に強く影響してしまい、モデルが不安定になる要因にもなります。L1正则化とL2正则化は、モデルをシンプルに、重みなどの係数を小さくすることで過学習を防ぐことができます。

ではまた。