N-grammid

N-grammid on stringide kogum, mis koosneb tavaliselt sõnadest või tähemärkidest, mis koos moodustavad suurema tekstiüksuse. Neid kasutatakse loomuliku keele töötlemise (NLP) ja arvutiprogrammeerimise valdkondades, aga ka küberturvalisuses. N-grammid on kasulikud dokumentide mustrite ja suundumuste avastamiseks ning neid saab kasutada ka tekstiallikate võrdlemiseks.

N-grammid pakkusid esimest korda teooriana välja 1950. aastatel keeleteadlased, kes tahtsid uurida keele struktuuri, ja sellest ajast alates on neid laialdaselt kasutatud paljudes erinevates valdkondades. NLP-s kasutatakse n-gramme keele uurimiseks ja nendevaheliste peente erinevuste tuvastamiseks. N-gramme kasutav mudel suudab ära tunda, millised sõnad kõige tõenäolisemalt üksteisele järgnevad ja kui sageli need koos esinevad.

Arvutiprogrammeerimise valdkonnas kasutatakse lähtekoodi ja muude kirjutatud tekstide analüüsimiseks n-gramme. Seda kasutatakse mitmesugustel eesmärkidel, näiteks juriidiliste probleemide või plagiaadi tuvastamiseks, samuti koodimustrite ja suundumuste tuvastamiseks. Küberturvalisuses kasutatakse n-gramme pahatahtliku koodi otsimiseks ja kahtlase käitumise tuvastamiseks, samuti küberjulgeolekuohtude tuvastamiseks.

N-grammid koosnevad sõnadest või sõnade jadadest, kuid kasutada võib ka märke. Näiteks võib n-gramm tähemärke tähistada tähti, numbreid, kirjavahemärke ja/või sümboleid. N-grammid võivad ulatuda 1-grammist (üksikud sõnad või märgid) kuni 5 grammi (viis tähemärki või sõna). Mida suurem on n-gramm, seda võimsam ja täpsem on see mustrite tuvastamisel.

N-grammid on võimas tööriist suurte tekstiosade analüüsimiseks. Tuvastades mustreid ja suundumusi, on need kasulikud mitmesuguste ülesannete jaoks, alates NLP-st, lähtekoodi analüüsist kuni küberturvalisuseni.