MapReduce

MapReduce is een programmeermodel dat wordt gebruikt voor gedistribueerde computertaken. Het is gebaseerd op een verdeel-en-heers-aanpak voor het oplossen van complexe rekenproblemen door ze op te splitsen in kleinere, beter beheersbare stukken. Het MapReduce-model wordt voornamelijk gebruikt op grote datasets en is voor rekenkracht meestal afhankelijk van een cluster van commodity-servers.

MapReduce werd voor het eerst geïntroduceerd door Google-onderzoekers in 2004 en is sindsdien een populair hulpmiddel geworden voor gegevensanalyse en -verwerking. In dit model zijn er twee verschillende fasen: de kaartfase en de reductiefase.

In de kaartfase worden de gegevens opgesplitst in stukken die ‘splits’ worden genoemd. Elke splitsing wordt toegewezen aan een mapper die de gegevens verwerkt en een reeks sleutel-waardeparen uitvoert. De sleutel-waardeparen worden vervolgens ingevoerd in de reduceerfase, waar ze worden gesorteerd en samengevoegd tot één enkele output.

Het MapReduce-model is nuttig voor veel taken, waaronder datamining, machine learning en natuurlijke taalverwerking. Het wordt meestal gebruikt om grote hoeveelheden gegevens te analyseren, zoals weblogs en serverlogs, en om grote datasets snel te verwerken.

MapReduce is geïntegreerd in veel populaire programmeertalen, zoals Java, Python en C#, en wordt ondersteund door verschillende populaire platforms, zoals Hadoop en Apache Spark. Als gevolg hiervan is het een veelgebruikt hulpmiddel geworden voor gegevensverwerking en -analyse, en wordt het door een grote verscheidenheid aan organisaties gebruikt om hen te helpen waarde te halen uit grote datasets.