Normaliseerimine andmete eeltöötluses

Normaliseerimine on andmete eeltöötlustehnika, mida kasutatakse andmete ettevalmistamiseks masinõppe algoritmide jaoks. Seda kasutatakse andmete skaleerimiseks vahemikku 0 kuni 1. Tavaliselt kasutatakse seda sisendfunktsioonide normaliseerimiseks, et kõik need oleksid samal skaalal ja algoritm saaks teha paremaid ennustusi.

Normaliseerimise võib jagada kahte tüüpi: skaleerimine ja standardimine. Ümberskaleerimisel skaleeritakse andmeid vahemikus 0 kuni 1. Andmete uued väärtused arvutatakse, jagades iga tunnuse kõigi selle väärtustega. Standardiseerimisel skaleeritakse andmeid, lahutades endast iga tunnuse keskmise ja seejärel jagades tulemuse andmete standardhälbega.

Üks levinumaid normaliseerimise rakendusi on masinõppe algoritmi veamäära vähendamine. Seda tehakse kõrvalekallete kõrvaldamise ja andmete tasakaalustamisega. Näiteks kui andmekogumil on erinevates klassides ebavõrdne arv andmepunkte, võib normaliseerimine erinevust vähendada ja võimaldada mudelil kõiki andmepunkte täpselt klassifitseerida.

Normaliseerimist kasutatakse ka teatud närvivõrgu arhitektuuride, näiteks konvolutsiooniliste närvivõrkude (CNN) jõudluse parandamiseks. Normaliseerimine võib muuta närvivõrgu sisendi ühtlasemaks ja lihtsustada andmete tõlgendamist.

Normaliseerimist kasutatakse ka andmete visualiseerimise valdkonnas. Andmeid normaliseerides saab neid joonistada ja kõrvuti võrrelda. See muudab andmete mustrite ja suundumuste leidmise ning nende täpsema tõlgendamise lihtsamaks.

Normaliseerimine on andmete eeltöötluse võimas tööriist, kuna see aitab parandada paljude masinõppealgoritmide täpsust. Seda kasutatakse laialdaselt erinevates valdkondades, sealhulgas andmete visualiseerimises, närvivõrkudes ja paljudes muudes masinõppe algoritmides.