グラデーション・ブースト

勾配ブースティングは、予測モデルの作成に使用されるアンサンブル機械学習手法です。勾配ブースティングは、小さなデシジョン ツリーから作業することにより、段階的な方法でモデルを構築します。連続する各ツリーは、以前にトレーニングされたすべてのデシジョン ツリーの全体的な予測力を強化しようとします。

勾配ブースティングの主なアイデアは、全体の目的関数を最小化することを目的として、予測子を順番にトレーニングすることです。勾配ブースティングでは、弱い学習器を強力な学習器に結合することで機能するブースティングと呼ばれる手法を使用します。弱い学習者とは、ランダムな推測よりもわずかに優れているだけの学習者です。このアイデアは、ブースティング手法を使用して、複数の弱い学習器を単一のより強力な学習器に結合することです。

ブースティング プロセスでは、まず、基本学習者または弱い学習者が特定されます。後続の各ステップで、ブースティング手法は個々の弱い学習器に重みを付けるか、または異なる重みを割り当てて、個々に、そして全体として集合的により効果的になるようにします。ブースティング プロセスの終わりまでに、弱い学習器を組み合わせたものよりもはるかに高い予測力を持つ単一の学習器が生成されます。

勾配ブースティングのその他の注目すべき機能としては、さまざまな種類の弱学習器を使用できる柔軟性、入力変数とターゲットの間の非線形関係を処理できる能力、大規模なデータセットを処理する効率が挙げられます。

勾配ブースティングは、その優れた予測力と効率により、さまざまなアプリケーションで使用されています。特に、不正行為の検出、リスク評価、推奨システム、コンピューター ビジョン、人工知能などの分野での採用に成功しています。他の機械学習手法と比較して、勾配ブースティングは不均衡なデータセットで特に有用であることがわかります。