N-grammi

Gli N-grammi sono un insieme di stringhe, tipicamente composte da parole o caratteri, che insieme formano un'unità di testo più grande. Sono utilizzati nei campi dell’elaborazione del linguaggio naturale (NLP) e della programmazione informatica, nonché nella sicurezza informatica. Gli N-grammi sono utili per scoprire modelli e tendenze nei documenti e possono anche essere utilizzati per confrontare fonti di testo.

Gli N-grammi furono proposti per la prima volta come teoria negli anni '50 da linguisti che volevano studiare la struttura del linguaggio, e da allora sono stati ampiamente utilizzati in molte aree diverse. Nella PNL, gli n-grammi vengono utilizzati per studiare il linguaggio e rilevare sottili variazioni tra loro. Un modello che utilizza n-grammi può riconoscere quali parole hanno maggiori probabilità di seguirsi in sequenza e quanto spesso appaiono insieme.

Nel campo della programmazione informatica, gli n-grammi vengono utilizzati per analizzare il codice sorgente e altri pezzi di testo scritti. Viene utilizzato per una varietà di scopi, ad esempio il rilevamento di problemi legali o plagio, nonché il rilevamento di modelli e tendenze nel codice. Nella sicurezza informatica, gli n-gram vengono utilizzati per scansionare codici dannosi e identificare comportamenti sospetti, nonché per rilevare minacce alla sicurezza informatica.

Gli n-grammi sono composti da parole o sequenze di parole, ma si possono usare anche i caratteri. Ad esempio, un n-gramma di caratteri può rappresentare lettere, numeri, punteggiatura e/o simboli. Gli n-grammi possono variare da 1-gramma (singole parole o caratteri) fino a 5-grammi (cinque caratteri o parole). Quanto più grande è l'n-gramma, tanto più potente e preciso è il rilevamento dei modelli.

Gli n-grammi sono uno strumento potente per analizzare grandi quantità di testo. Rilevando modelli e tendenze, sono utili per una serie di compiti, dall'NLP all'analisi del codice sorgente alla sicurezza informatica.