Wat is big data?
Big data, wat houdt het precies in? Als we spreken over big data, dan hebben we het over een enorme massa aan (ongestructureerde) datastromen en datasets. Deze big data is te groot om in reguliere databasemanagementsystemen te worden onderhouden. Daarom wordt er een Big Data Engineer ingezet om deze enorme hoeveelheid ongestructureerde data tot gestructureerde data te maken.
Wat doet een Big Data Engineer?
Een Big Data Engineer zorgt ervoor dat de data vanuit een databron, ook wel data lake genoemd, op een goede manier wordt weergegeven. Dit doet hij/zij door het bedenken, ontwerpen en ontwikkelen van technische oplossingen voor deze ongestructureerde data vanuit de databron. Vervolgens kan deze data worden omgezet naar informatie, door een dashboard te bouwen of door een analyse van de data te maken.
Hoe zien de dagelijkse werkzaamheden er van een Big Data Engineer uit?
Het werk van een Big Data Engineer is uiteenlopend en gevarieerd, en de dagelijkse werkzaamheden verschillen per bedrijf. Hoofdzakelijk zijn de dagelijkse werkzaamheden:
Bedenken, ontwerpen en bouwen van datasets;
Klantcontact onderhouden met stakeholders en verschillende afdelingen;
Het beveiligen en analyseren van data;
Het integreren van datamanagementtechnologieën en software engineeringtools in bestaande structuren van data;
Bouwen van algoritmes en modellen.
Waarom zou je een Big Data Engineer worden?
Datamanagement is een branche die blijft groeien. We krijgen telkens meer data, dus wordt de vraag naar Big Data Engineers ook telkens groter. Een veilig gevoel dus; je komt als Data Engineer niet zomaar zonder baan te zitten. Daarnaast is het een uitdagende functie. Als Big Data Engineer help je mee om inzicht te creëren in data bestaande uit enen en nullen. Zo help je een organisatie beter begrijpen wat er uit hun data komt. Je werkt dagelijks met grote datasets en draagt met jouw oplossingen daadwerkelijk bij aan het oplossen van bedrijfsvraagstukken en problemen. Een unieke functie waarbij je direct ziet wat je werk oplevert voor het bedrijf waar je werkt.
Hoe word je een Big Data Engineer?
Om een Big Data Engineer te worden, heb je een goede opleiding nodig én werkervaring. Nu hoor ik je denken: "hoe kom je dan aan een baan als je nog geen werkervaring hebt?". Het antwoord is simpel: door een traineeship te doen. Het is niet verplicht, maar kan zeker bijdragen aan het behalen van die baan en wordt dus zeker aangeraden. Tijdens een traineeship kun je relevante praktijkervaring opdoen. Zo zien we dat veel Big Data vacatures op onze vacaturepagina vragen om minimaal twee jaar werkervaring. Deze werkervaring is dus zeker gewenst als je aan de slag wilt als Big Data Engineer.
Welke opleiding heb je nodig om Big Data Engineer te worden?
Om Big Data Engineer te worden heb je, naast werkervaring, een relevante opleiding nodig. Het opleidingsniveau wat vaak wordt gevraagd is hbo of wo. Relevante opleidingen die je kunt volgen om Big Data Engineer te worden zijn onder andere Informatica, Computer Science, Software engineering of Applied Data Science. Daarnaast is het belangrijk dat je bereid bent om constant bij te leren en je skills te blijven ontwikkelen. Waarom is dit handig? Omdat de markt constant verandert. Zo dus ook de technologie en data waar je als Big Data Engineer mee werkt.
Wat verdient een Big Data Engineer?
Niet geheel onbelangrijk: het salaris. Wanneer je een starter bent en bijvoorbeeld een traineeship volgt, dan ligt het salaris voor nul tot twee jaar werkervaring tussen de €2.200 en €3.000. Ben je een medior en heb je tussen de twee en vijf jaar ervaring? Dan kun je uitgaan van een salaris tussen de €3.000 en €4.400. Na vijf jaar werken, kun je als senior een salaris verwachten van €4.400 tot €6.000. Niet verkeerd dus! ;)
Wat zijn de functie-eisen voor een Big Data Engineer?
Vacatures voor de functie Big Data Engineer vragen bijna altijd om ervaring met de programmeertaal R of Python. Verder wordt er telkens vaker gevraagd om een Big Data Engineer die ervaring heeft met Cloud computing. Dit komt omdat ‘de cloud’ telkens meer wordt gebruikt voor het opslaan van data. Wat nog meer? We geven je een overzicht en zetten alle (veelvoorkomende) functie-eisen voor je op een rijtje:
Dataverwerkingsprocessen: SQL (Structured Query Language) en ETL (Extract, Transform, Load);
Cloud computing: AWS (Amazon Web Services), GCP (Google Cloud Platform) en Microsoft Azure;
Programmeertalen: R, Python, Scala, Java;
Datasystemen: Spark, Hadoop, Hive, Pig, Kubernetes, Docker, Splunk, MongoDB, Redis, Cassandra.
Daarnaast is het handig om eens open te staan voor het bijspijkeren van je kennis. Dit is onder andere belangrijk omdat de IT-markt en specifiek de (big) data-branche snel groeit en verandert.
Welke persoonlijke eigenschappen heb je nodig voor de functie Big Data Engineer?
Voor deze functie is het belangrijk dat je een groot analytisch vermogen hebt en dat je van nature geïnteresseerd bent in technologische oplossingen en data. Verder is het belangrijk dat je een groot doorzettingsvermogen hebt voor deze functie. Waarom? Het werk dat je als Big Data Engineer doet is heel gevoelig voor fouten. Zo komt het vaak voor dat een bepaalde oplossing negen keer fout gaat, voordat het een keer goed gaat. Daarnaast is het werk wat je doet nooit af. Datastromen kunnen groter of kleiner worden, hierdoor moet je dus vaak opnieuw naar eenzelfde project kijken. Verder is het belangrijk dat je grondig bent en niets afraffelt. “Garbage in, garbage out” is een term die bij big data development zeker van toepassing is. Je kunt het werk niet afraffelen, het moet op een juiste manier worden geprogrammeerd. Anders werkt het niet naar behoren. Als laatste is het belangrijk dat je als Big Data Engineer communicatief vaardig bent. Iets wat binnen andere IT-functies vaak minder van toepassing is. Dit is belangrijk omdat je met verschillende stakeholders én afdelingen in contact staat en met hen samenwerkt.
Wat is het arbeidsperspectief en wat zijn de doorgroeimogelijkheden voor een Big Data Engineer?
Als Big Data Engineer is de baankans op dit moment heel groot. Er is steeds meer vraag naar Big Data Engineers en die vraag zal niet snel minder worden. Zoals eerdergenoemd: data is overal en bedrijven willen hier telkens meer inzicht in krijgen. Dit zorgt ervoor dat Big Data Engineers niet alleen werkzaam zijn bij grote IT-consultancy, maar ook intern werkzaam zijn bij bedrijven. Zo kun je als Big Data Engineer aan de slag bij elk soort bedrijf waar ze veel data verzamelen. Denk aan grote Tech bedrijven, maar bijvoorbeeld ook aan ziekenhuizen, zorgverzekeraars, banken of universiteiten. Als we kijken naar de doorgroeimogelijkheden van een Big Data Engineer, dan is de eerstvolgende logische stap de functie Teamlead. Dit houdt in dat je een team van andere engineers aanstuurt. Daarnaast kan je ook een stap maken naar Solution Architect waarbij je betrokken bent bij alle IT-gerelateerde zaken binnen de organisatie. Hierbij denk je mee op strategisch vlak over welke oplossingen er voor jouw organisatie nodig zijn als het gaat om IT. Vervolgens kun je doorgroeien tot 'Head of', bijvoorbeeld Head of Tech, of Head of IT. Dit is afhankelijk per bedrijf. Hierbij houd jij je bezig met het overkoepelende van Big Data Engineering. Als laatste stap kun je doorgroeien tot CTO (Chief Technology Officer). Binnen deze functie maak je deel uit van het managementteam en denk je op managementniveau mee over IT. Wil je CTO worden? Dan moet je genoeg kennis hebben van de techniek zelf en dit hebben uitgevoerd, maar de uitvoering zelf doe je niet meer.
Wat zijn de voor- en nadelen van de functie Big Data Engineer?
We beginnen de lijst met iets wat zowel een voor- als nadeel is: je werk is nooit af. Nu is het natuurlijk per persoon verschillend wat iemand een voor- of nadeel vindt. Van alle Big Data Engineers die we hebben gesproken kwam de volgende lijst naar voren:
Voordelen:
Veel werkgelegenheid;
Werkmogelijkheid bij zowel consultancy als intern;
Aantrekkelijk salaris;
Uitdagend en gevarieerd werk;
Van toegevoegde waarde zijn bij een bedrijf en direct resultaat zien van de werkzaamheden;
Unieke inzichten creëren bij de werkgever.
Nadelen:
Het werk is heel precies en één klein foutje komt er niet zomaar door;
Je hebt een specifiek profiel nodig: zowel erg technisch als communicatief vaardig.
Wil jij graag werken als Big Data Engineer? Of ben je simpelweg benieuwd naar ons aanbod? Bekijk hier onze Big Data vacatures, Data Engineer vacatures of Data Scientist vacatures! Of lees hier de blog wat doet een Data-analist"!
Bekijk al onze Big Data vacatures!