Het NCSC is een sterk datagedreven organisatie: wij verzamelen, analyseren, onderzoeken, verrijken en verspreiden data en informatie. Informatie en dataverwerking vormen daarmee de kern van onze activiteiten. De waarde en kwaliteit van onze producten en diensten hangt direct samen met de toegankelijkheid en kwaliteit van data. De manier waarop wij data verwerken en omzetten bepaalt de kwaliteit van het handelingsperspectief dat wij onze doelgroeporganisaties en partners kunnen bieden.
Het Dataplatform team binnen het NCSC speelt hierin een cruciale rol. Het team is verantwoordelijk voor het ontwikkelen van het dataplaform en is een belangrijk fundament voor het datagedreven werken binnen het NCSC.
Wat ga je doen?
Als data platform engineer werk je op het snijvlak van data en DevOps en speel je een cruciale rol in het beheer en de doorontwikkeling van ons dataplatform. We verzamelen en verwerken grote hoeveelheden databronnen volledig geautomatiseerd, met behulp van tools zoals Dagster, dbt, Apache Pulsar en ClickHouse. Jouw expertise in Python en SQL helpt ons om deze processen soepel en efficiënt te laten verlopen.
Ons platform draait volledig op cloud-native technologieën, die we zelf beheren met onder andere Kubernetes en Docker. Of het dataplatform nu in de cloud of on-premise draait, zou voor jou niet uit moeten maken – jij voelt je comfortabel in beide omgevingen en weet hoe je systemen stabiel, schaalbaar en beschikbaar houdt.
Je komt in een team waarmee je hoofdzakelijk de gedeelde verantwoordelijkheid draagt voor het stabiel houden, optimaliseren en uitbreiden van ons dataplatform. Als vast teamlid werk je ook nauw samen met diverse teams binnen de organisatie die data uit ons platform gebruiken, of juist data in ons platform willen krijgen. Jij ondersteunt hen bij het ontsluiten, verwerken en benutten van data, zodat zij waardevolle inzichten kunnen verkrijgen. De kwaliteit en toegankelijkheid van onze data zijn direct van invloed op de impact die wij kunnen maken. Daarom is jouw werk essentieel voor het bieden van betrouwbare en bruikbare data oplossingen.
Een greep uit jouw werkzaamheden:
- Een datamodel in ons dbt-project leidt tot een enorme resource consumption, waardoor een Dagster job faalt. Je duikt in onze monitoring- en loggingstack en probeert te lokaliseren wat er aan de hand is. Samen met de Data Scientist of Engineer die de query heeft geschreven probeer je tot een oplossing te komen.
- Je denkt mee over samenwerkingen en oplossingen met andere productteams. Denk hierbij aan het aansluiten van een ander product op het dataplatform om cyberdreigingsinformatie uit te wisselen en het mogelijk te maken dat data verrijkt en geanalyseerd wordt.
- Een open-source tool die we gebruiken komt met een nieuwe versie. Je leest de changelogs op hun website en kijkt of er eventuele breaking changes zijn. Je test deze nieuwe release grondig op onze test- en acceptatieomgeving alvorens het door te pushen naar productie.