Gegevenstransformatie

Datatransformatie is het proces waarbij gegevens van het ene formaat naar het andere worden geherstructureerd. Het is een soort gegevensbeheerprocedure waarbij gegevens uit het ene formulier worden gehaald en naar een ander formulier worden omgezet. Over het algemeen moeten de originele gegevens op de een of andere manier worden gereorganiseerd, geherstructureerd of opnieuw geformatteerd om in de gewenste uitvoer te passen. Het doel van datatransformatie is om de gegevens van het systeem over de hele linie bruikbaar, begrijpelijk en uniform te maken.

Gegevenstransformatie omvat twee losjes gekoppelde activiteiten: het extraheren van gegevens uit het ene formulier en het laden van de geëxtraheerde gegevens in een ander formulier. Bijvoorbeeld het extraheren van gegevens uit een relationele database, zoals SQL, en het vervolgens laden van de gegevens in een analyseplatform, zoals het Apache Hadoop-cluster. Het datatransformatieproces omvat het toepassen van technieken voor het in kaart brengen, opschonen en verrijken van data.

Data mapping is het proces waarbij een overeenkomst tussen elementen in twee gegevenstypen wordt gespecificeerd. Het doel hier is om ervoor te zorgen dat gegevenselementen in de originele gegevens correct worden toegewezen aan de juiste elementen in het nieuwe gegevensformaat. Deze stap omvat indien nodig ook het aanmaken van nieuwe unieke identificatiegegevens. Opschonen verwijst naar het proces waarbij ervoor wordt gezorgd dat alle gegevenselementen voldoen aan een bepaalde vooraf gedefinieerde reeks waarden of integriteit. Dit kan het standaardiseren van formaten omvatten, het elimineren van corrupte gegevens en het toevoegen van ontbrekende gegevensitems. Ten slotte houdt verrijking in dat er aanvullende gegevensbronnen worden gebruikt om meer context en waarde aan de gegevens toe te voegen.

Datatransformatie is een belangrijk onderdeel van datamanagement en wordt vaak gebruikt om bestaande data bruikbaar, begrijpelijk en uniform te maken. Het is een complex proces dat vaak het in kaart brengen, opschonen en verrijken van data vereist, die allemaal kunnen helpen om waarde toe te voegen aan de nieuw getransformeerde data.