Overview
In deze rol werk je aan een robuust dataplatform dat data uit diverse bronnen ontsluit en omzet naar waardevolle producten voor analyses, rapportages en AI-toepassingen. Je schrijft productieklare Python-applicaties en datapipelines en bewaakt kwaliteit vanaf het ontwerp. Je denkt mee over de technische richting en zorgt voor schaalbaarheid en onderhoudbaarheid van het platform. Je werkt in een compact team met directe invloed op keuzes en levert een bijdrage aan kennisdeling.
Arbeidsvoorwaarden / Benefits
- Passend salaris
- Eindejaarsuitkering
- Prestatiebonus
- Internetvergoeding
- NS Business Card
- 1 persoonlijke feestdag bovenop vakantiedagen
Verantwoordelijkheden
- Schrijven van productieklare datapipelines in Python en PySpark volgens de medallion-architectuur (bronze, silver, gold) op Delta Lake
- Ontsluiten van data uit bronsystemen zoals relationele databases, NoSQL, Blob/S3, REST API's en SFTP
- Schrijven van tests op meerdere niveaus (unit, integratie, BDD) en integreren in CI/CD (Azure DevOps)
- Ontwerpen en implementeren van datakwaliteitsvalidaties en borging van data kwaliteit
- Nauw samenwerken met data- en businessanalisten aan datamodellen en dataproducten met businesswaarde
- Zelfstandig ontwerpen en implementeren van technische oplossingen binnen de software/cloud architectuur
- Actief bijdragen aan kennisniveau binnen het engineering team door ideeën/tools te presenteren en feedback te geven
- Samenwerking in een klein team binnen BeFrank’s Agile Scrum omgeving
Belangrijkste vereisten
- Ervaring met Python en gewend aan versiebeheer, code reviews, testen en CI/CD
- Productiewaardige Python-code met nette structuur, herbruikbare componenten en foutafhandeling
- Aantoonbare ervaring met robuust schaalbaar dataplatform met PySpark en Delta Lake (partitionering, schema-evolutie, time travel, merge/upsert)
- Bekend met medallion-architectuur of vergelijkbare gelaagde dataplatformprincipes
- Ervaring met aansluiten van diverse bronsystemen via verschillende koppelingen
- Datakwaliteit onderbouwen met validaties en borging in processen
- Automatiseren van tests en inrichten van CI/CD pipelines
- Teamspeler die logisch modellen en businessdefinities omzet naar fysiek datamodel
- Ervaring met Azure-datastack (Synapse, Data Factory, Azure Functions) is een pre
- Initiatief nemen
- Samenwerken en kennisdeling
- Kritisch denken en kwaliteitsbewustzijn
- Python
- PySpark
- Delta Lake
Software Engineer Data Platform in Amsterdam werkgever: Jobrapido
StarPark is een uitstekende werkgever die je de kans biedt om te werken op diverse evenementen en festivals, waar je in een informele en prettige werksfeer kunt bijdragen aan de veiligheid van bezoekers. Met flexibele werkmogelijkheden en goede begeleiding vanuit het team, stimuleert StarPark persoonlijke groei en ontwikkeling, waardoor je niet alleen waardevolle ervaring opdoet, maar ook de mogelijkheid hebt om door te groeien binnen de organisatie. Wij verwelkomen iedereen, ongeacht achtergrond, en geloven dat jouw talent het belangrijkste is.
