marketing-en-insights-data-analytics.jpg

Data-engineer

Wat doet een data-engineer?

Een data-engineer is onmisbaar om een goede data-analyse te kunnen maken. Nadat gestructureerde en ongestructureerde data is verzameld, zorgt de engineer ervoor dat de grote hoeveelheden zo optimaal mogelijk worden ingericht in een database of datawarehouse. Een big data engineer bouwt en ontwikkelt een optimale data-infrastructuur om grote datasets te verwerken. Het gaat hier met name om zeer grote datasets die te groot of te complex zijn om met reguliere software te kunnen worden verwerkt. Op deze manier worden de datastromen gebruiksklaar gemaakt voor de data-analisten en data-scientists. Zij kunnen na hun analyse de organisatie van operationeel of strategisch niveau advies voorzien.

Taken data engineer

Onder het takenpakket van een big data engineer kunnen de volgende werkzaamheden vallen:

  • het verzamelen en transformeren van data
  • het ontwerpen en bouwen van datasets
  • Beheren en optimaliseren van datastromen en datawarehouse
  • Data verzamelen en implementeren van verschillende interne en externe bronnen
  • het ontwerpen van algoritmes en (machine-learning) modellen
  • het integreren van nieuwe datamanagement-technologieën en software engineering tools in bestaande structuren
  • Infrastructuur ontwerpen voor big data lakes (opslag van ongestructureerde datastromen)
  • Bouw en onderhoud van infrastructurele oplossingen

Welke competenties heeft een data-engineer nodig?

Als data engineer is kennis van programmeertalen, wiskunde en big data noodzakelijk. Een aantal competenties zien wij graag terugkomen:

  • Accutaresse, gestructureerd, gedisciplineerd;
  • analytisch, besluitvaardig, professioneel, resultaatgericht;
  • doelgericht, diplomatiek, integer.

Daarbij is het ook belangrijk dat je data-engineer kennis hebt van een aantal tools. Denk hierbij aan SQL, ETL, Azure maar ook programmeertalen Python of R. Kennis van infrastructuur en Scala en cloud-omgevingen zijn voor een data-engineer ook van grote waarde.

Hoe word je data engineer?

Om Big Data Engineer te worden is een HBO/WO opleiding richting computer science, software engineering of andere technische studie hebben gevolgd.