Gensim

Gensim est une bibliothèque Python gratuite permettant de construire des documents et d'extraire des caractéristiques du texte, qui sont utilisées pour le traitement du langage naturel et l'exploration de texte. Elle est développée et maintenue par Radim Řehůřek et son équipe à RaRe Technologies. Gensim est conçu pour fournir un cadre fiable, efficace et extensible pour la mise en œuvre de sujets de différentes tailles. Il met l'accent sur l'évolutivité, la performance et la facilité de déploiement.

Gensim est basé sur l'idée de "distance" ou de "similarité" entre documents, qui est construite autour d'un corpus de texte, ou d'une collection de documents. Il utilise des représentations vectorielles pour représenter les documents afin de faciliter la mesure des distances entre les documents. Gensim propose deux approches principales pour comparer les documents : les modèles de sujets (LDA, LSI) et les enchâssements de mots (word2vec, glove).

Les modèles thématiques reposent sur l'hypothèse qu'un document peut être représenté comme un "sac de mots", c'est-à-dire une liste de mots sans aucune structure. Chaque mot correspond à un thème et le modèle thématique attribue un poids à chaque thème du document. Ces poids nous permettent ensuite de comparer les documents et de déterminer quels mots et quels sujets sont les plus importants.

Les ancrages de mots sont des représentations plus sophistiquées qui prennent en compte le contexte et les relations sémantiques entre les mots plutôt qu'un simple sac de mots. Les ancrages de mots fournissent une interprétation beaucoup plus précise du langage, ce qui explique leur popularité dans le traitement du langage naturel et l'exploration de textes. Les ancrages de mots sont utilisés pour générer des vecteurs de caractéristiques à partir des mots, ce qui permet de comparer la similarité entre les mots et les documents.

Gensim fournit également une pléthore d'utilitaires utiles, comme les algorithmes de streaming et l'accès à l'API. De plus, sa facilité d'utilisation le rend populaire auprès des développeurs et des data scientists qui souhaitent construire rapidement et sans effort de puissants modèles de text mining et de traitement du langage naturel.