Vertekening en variantie

Bias and Variance is een statistisch concept dat wordt gebruikt bij computerprogrammering, machinaal leren en aanverwante gebieden. Het concept komt voort uit de afweging tussen bias en variantie, waarbij een algoritme kan worden afgestemd om de voorspellingsfout, het verschil tussen de voorspelling van het model en de werkelijke waarde, te minimaliseren. Bias geeft aan in welke mate een algoritme een bepaalde klasse of type data bevoordeelt. Aan de andere kant is variantie een maatstaf voor hoeveel de voorspellingen van een algoritme kunnen variëren voor verschillende datasets. Het bias-variantie-tradeoff-concept wordt gebruikt om de nauwkeurigheid van voorspellingsmodellen te optimaliseren.

Een model met een hoge bias zal niet erg gevoelig zijn voor nieuwe gegevens. Het wordt beschouwd als een ondermaats probleem, omdat het algoritme geen rekening houdt met de complexiteit die nodig is voor betere voorspellingen. Een hoge bias leidt tot een algoritme dat belangrijke fouten produceert van de ene dataset naar de andere, zonder noemenswaardige prestaties. Hoge variantie kan de benodigde hoeveelheid gegevens onderschatten en ook de prestaties van een model overschatten. Het wordt beschouwd als een overfitting-probleem, omdat het model zichzelf te nauw bij de gegevens probeert aan te passen en er niet in slaagt te generaliseren zoals verwacht voor een nieuwe dataset.

Over het algemeen is het doel om parameters te optimaliseren om een passend niveau van vertekening en variantie te bereiken, zodat de vertekening laag is en de variantie hoog, voor nauwkeurigere voorspellingen. Om dit te doen passen datawetenschappers vaak regularisatietechnieken toe, zoals lasso of ridge, om overfitting te voorkomen en tegelijkertijd de bias laag te houden.

Door het concept van bias en variantie te begrijpen, is het mogelijk efficiëntere computerprogramma’s te ontwerpen en de uitkomst van machine learning-algoritmen nauwkeurig te voorspellen.