Forêt avide régularisée

Regularized Greedy Forest, également connu sous le nom de RGF, est un algorithme d'apprentissage automatique dans le cadre de l'apprentissage supervisé. Utilisant une version modifiée de l'apprentissage par arbre de décision, Regularized Greedy Forest est un algorithme basé sur les données qui fournit une prédiction précise de la caractéristique cible avec de bonnes performances de généralisation.

L'algorithme a été proposé à l'origine par Yoshua Bengio, John Lafferty et Corinna Cortes en 2005. Il est considéré comme une généralisation de la technique des forêts aléatoires, développée par Leo Breiman. La forêt gourmande régularisée fonctionne en construisant une collection d'arbres de décision, formés à l'aide des mêmes données d'entrée. Elle modifie également deux variables dans le processus d'apprentissage de chaque arbre.

Les deux variables de modification sont le coefficient de régularisation, alpha, et le taux d'apprentissage, lambda. Alpha est utilisé pour modifier les poids des arbres individuels et pour améliorer les performances de généralisation de l'ensemble, tandis que le taux d'apprentissage, lambda, est utilisé pour évaluer le compromis entre la précision et les performances de généralisation.

Les algorithmes de la forêt gourmande régularisée ont été utilisés dans de nombreux domaines, tels que la bio-informatique et le traitement d'images. Par rapport à d'autres méthodes d'ensemble existantes, RGF présente une performance de généralisation exceptionnelle tout en réduisant le risque de surajustement dû aux données de haute dimension.

Dans l'ensemble, la forêt régularisée est un algorithme puissant pour l'apprentissage automatique supervisé, qui produit des prédictions précises et offre de bonnes performances en matière de généralisation.

Références :

Yoshua Bengio, John Lafferty, Corinna Cortes (2005). "Regularized Greedy Forest" (Forêt gourmande régularisée). IEEE Transactions on Neural Networks 16 (10) : 1875-1889.

Leo Breiman (2001). "Random Forests". Machine Learning 45 (1) : 5-32.