Een data-engineer bouwt en onderhoudt het leidingwerk dat gegevens van de systemen die ze produceren naar de plekken brengt waar ze gebruikt worden: koppelingen, pijplijnen, opslag, planning en bewaking. Waar een analist de vraag beantwoordt, zorgt een engineer dat de data er elke ochtend op tijd en correct staat zonder dat iemand er iets voor hoeft te doen.
Een data-engineer bouwt en onderhoudt het leidingwerk dat gegevens van de systemen die ze produceren naar de plekken brengt waar ze gebruikt worden: koppelingen, pijplijnen, opslag, planning en bewaking. Waar een analist de vraag beantwoordt, zorgt een engineer dat de gegevens er zijn — op tijd, volledig en correct — elke ochtend, zonder dat iemand er iets voor doet.
Het werk is onzichtbaar als het goed gaat, en daarom chronisch onderbezet. Het wordt zichtbaar op de eerste maandag dat een rapport leeg is omdat een API in het weekend veranderde en er niets meekeek.
Drie dingen, ongeveer in deze volgorde. Ophalen — gegevens uit ERP, CRM, webshop en spreadsheets krijgen, volgens schema, zonder het bronsysteem plat te leggen. Bewerken — ruwe exports omzetten in tabellen die iets betekenen, met de bedrijfsregels opgeschreven in plaats van in iemands hoofd. En betrouwbaarheid — bewaking, alarmering en herkansingen, zodat een stille storing een melding wordt in plaats van drie weken later een verkeerde beslissing.
Een analist verbruikt gegevens; een engineer produceert ze. De helderste toets is waar elk op wordt aangesproken: de analist op een verkeerde conclusie, de engineer op een ontbrekende of late tabel. In de praktijk botsen de twee rollen productief op de grens — de analist wil een kolom die nog niet bestaat, de engineer wil weten wat die moet betekenen voordat hij hem toevoegt, en uit dat gesprek komt de meeste datakwaliteit voort.
Zelden als vaste kracht onder de vijftig medewerkers, en vaak wel als een paar weken werk. De trigger is niet datavolume maar het aantal bewegende koppelingen: één systeem dat één rapport voedt heeft geen engineer nodig, vijf systemen die samen één klantbeeld voeden wel iemand die eigenaar is van de samenvoegingen. Veel mkb-bedrijven laten dit als project doen en draaien het daarna zelf, wat een verstandige en goedkope afspraak is.
Meer dan de meeste AI-projecten toegeven. Een retrieval-systeem of een agent is niet beter dan de actualiteit en juistheid van wat hij leest, en dat waar houden is data-engineering onder een andere naam. Projecten die dit overslaan leveren een demo op die in maart klopt en in september stilletjes niet meer — het faalpatroon uit AI op eigen data.
De stack verschilt, de categorieën niet.
Dezelfde afkomst, bredere moderne reikwijdte.
Ja, en de meeste mkb-bedrijven zouden dat moeten doen. Begin met de kleinste koppeling die een echte vraag beantwoordt.
Wilt u dit toepassen in uw bedrijf? Bekijk hoe wij het naar productie brengen:
Wij bouwen deze AI in productie — met vaste prijzen en een vaste expert. Begin met een gratis consult.
Gratis consult boeken →