ラベル・スムージング

ラベル スムージングは、ニューラル ネットワークのトレーニング プロセスを正規化するためにディープ ラーニングで使用される手法です。この手法は、トレーニング プロセス中にモデルの正しいラベルへの依存を減らすことで、過剰適合を回避するために使用されます。これは、「間違った」ラベルに対するモデルの信頼性を高めることによって機能します。

トレーニング中、ニューラル ネットワークは、特定の入力に対して正しいラベルに対する確率分布を生成します。ラベルの平滑化により、ネットワークの出力に多少の混乱が生じます。この混乱により、モデルは「正しくない」ラベルも考慮するようになり、過剰適合の可能性が減ります。

ラベル スムージングは、クラス間に大きな差異があるデータでネットワークをトレーニングする場合に特に役立ちます。たとえば、100 個の正のサンプルと 1 個の負のサンプルを含むデータセットでトレーニングされたネットワークは、数回のトレーニング パスの後、正のサンプルに非常に過剰適合する可能性があります。ラベルの平滑化を適用すると、モデルが肯定的なラベルを選択する確実性が低下し、モデルの一般化が高まります。

ラベルのスムージングは 2 つの方法で適用できます。 1 つ目は、すべてのラベルに一定量のスムージングを適用することです。これは、すべてのラベルに均一分布の一部を追加することによって実現されます。もう 1 つの方法は、ネットワークが正しい分類をどれだけ確実に行っているかに応じて、各ラベルにさまざまなレベルの平滑化を適用することです。たとえば、確実性の高いラベルには高レベルの平滑化が適用され、不確実性が高いラベルには平滑化が低くなります。

ラベル スムージングは、深層学習モデルのパフォーマンスを向上させるために一般的に使用される手法です。早期停止やドロップアウトなどの他の正則化手法と組み合わせて使用すると、過剰適合をさらに削減し、モデルの一般化を向上させることができます。