Latente dirichlettoewijzing

Latent Dirichlet Allocation (LDA) is een type statistisch model dat de onderwerpen schat die geassocieerd worden met een gegeven documentenset, gebaseerd op de aanname dat documenten in de set verzamelingen zijn van onderwerpen uit een vooraf gedefinieerde set. Een document over een programmeertaal kan bijvoorbeeld bestaan uit onderwerpen zoals syntaxis, debuggen, bibliotheken en datatypes.

Latent Dirichlet Allocation is een algoritme voor machinaal leren zonder toezicht dat wordt gebruikt bij de verwerking van natuurlijke taal om verborgen onderwerpen te ontdekken die aanwezig zijn in een groot corpus van documenten. Het werkt door elk document toe te wijzen aan een reeks onderwerpen en gebruikt dan een generatief probabilistisch model om de waarschijnlijkheid te bepalen dat een bepaald woord in een document bij een bepaald onderwerp hoort.

Het algoritme gebruikt twee parameters - het aantal topics en de verdeling van woorden in elk topic. Het model gaat ervan uit dat er een vaste set onderwerpen is (genaamd "prior") die door alle documenten worden gedeeld en zoekt voor elk document naar de verdelingen van die onderwerpen. Latent Dirichlet Allocation is met succes toegepast op het modelleren van grote tekstcorpora, zoals documenten in e-commerce en e-mailmarketingtoepassingen.

LDA kan worden gebruikt om de onderwerpen van documenten te bepalen en om het relatieve belang van elk onderwerp in een document te meten. Het kan ook gebruikt worden om te identificeren welke documenten dezelfde onderwerpen bespreken of om gelijkaardige documenten samen te groeperen. Bovendien kan het gebruikt worden om extra inhoud aan te bevelen aan een gebruiker op basis van de onderwerpen waarin hij al geïnteresseerd is.

Latent Dirichlet Allocation is een belangrijk hulpmiddel op het gebied van natuurlijke taalverwerking en wordt steeds vaker gebruikt in toepassingen zoals tekstclassificatie, onderwerpmodellering en documentclustering. Het kan worden gebruikt om grote verzamelingen documenten efficiënt te analyseren en om de onderwerpen van die documenten te begrijpen en te interpreteren.