Full Stack AI Engineer in Utrecht

Engaige Technologies B.V. is een Nederlands bedrijf dat een AI-klantenserviceplatform voor e-commerce bouwt. Miljoenen klantgevallen stromen elk jaar door onze infrastructuur, in meer dan 30 landen. Onze agenten beantwoorden klantvragen en ondernemen acties namens de handelaar, zoals het opzoeken van bestellingen, het creëren van retouren, terugbetalingen, het wijzigen van abonnementen, enz. via meer dan 50 integraties zoals Shopify, Zendesk, Gorgias, Intercom, Klaviyo, PostNL en Sendcloud.

Het engineeringteam bestaat uit 4 ingenieurs. Je werkt nauw samen met de Head of Product en de CEO, en ingenieurs zijn verantwoordelijk voor hun werk van het eerste idee tot aan productie.

Als Senior AI Engineer ben je verantwoordelijk voor de kwaliteit en betrouwbaarheid van het platform en de agenten die deze klantgevallen afhandelen. Dit omvat hoe we ze evalueren, hoe we informatie ophalen en classificeren, hoe agenten de beleidsregels van de handelaar volgen, en hoe wijzigingen veilig in productie komen. Een verkeerde belofte of actie richting een klant kan leiden tot een terugbetaling en een risico voor de handelaar, dus meting, precisie en veilige uitrol zijn onderdeel van de functie.

De kern van deze rol is klassieke productie ML-diepte: je hebt eerder modellen getraind, geëvalueerd en verzonden voordat LLM's algemeen beschikbaar werden, en je weet hoe modellen falen zodra ze echte data tegenkomen.

Verantwoordelijkheden

• Eigen de evaluatiemethodologie voor onze agenten, inclusief onze benchmark die echte productiegesprekken nabootst met gesimuleerde tools, en LLM-rechters die controleren op niet-ondersteunde beloften, klanttaal en correcte uitkomsten.
• Ontwerp offline evaluaties die online gedrag voorspellen en de kloof tussen benchmarkresultaten en productieresultaten dichten.
• Bouw live guardrails, monitoring en gefaseerde uitrol voor model-, prompt- en beleidswijzigingen over meerdere modelproviders.
• Verbeter ophalen en classificatie, inclusief RAG met vectorzoekopdrachten en herclassificatie, en op embeddings gebaseerde contactredenclassificatie.
• Ontwikkel de beleidsgrafieken die agenten stap voor stap laten volgen in plaats van te vertrouwen op een enkele grote prompt.
• Breid onze AI-manager uit, die gesprekken onderzoekt, kennis- en beleidslacunes identificeert en wekelijkse verbeteringsrondes uitvoert.
• Werk samen met de Head of Product en de CEO om technische normen voor engineering en evaluatie binnen het team vast te stellen.

Je bent misschien een goede fit als je:

• Machine learning-modellen hebt getraind en naar productie hebt verzonden vóór 2022.
• Een werkende kennis hebt van offline en online evaluatie, A/B-testen, datalekken, training/serving skew, en werken met ruisachtige of vertraagde labels.
• Praktische ervaring hebt met ranking-, aanbevelings- of classificatiesystemen.
• Monitoring voor modelkwaliteit en drift hebt gebouwd, en modelwijzigingen veilig hebt uitgerold.
• Bekwaam bent in Python en comfortabel bent met het beheren van backend-productiecode.
• Een hoge mate van autonomie en een lage ego hebt, de voorkeur geeft aan uitvoeren boven plannen, en comfortabel bent met het werken aan problemen die nog niet volledig gedefinieerd zijn.

Sterke kandidaten hebben mogelijk ook:

• Ervaring met LLM's in productie, zoals tool calling, gestructureerde output, RAG of LLM-als-rechter evaluatie.
• Ervaring met zoek-, ophaal- of agentsystemen.
• Ervaring met Weaviate, Langfuse, OpenTelemetry of Google Cloud Platform.
• Ervaring met e-commerce of het bouwen van SaaS-tools.

Onze stack

• Claude, OpenAI en open-weight modellen (Kimi, GLM, DeepSeek, Qwen), Weaviate, Python (FastAPI), Native Postgres, Cloud Tasks, Cloud Run en Terraform.

Locatie

Deze rol is idealiter fulltime op ons kantoor in Utrecht. Hybride vanuit Utrecht of volledig remote is mogelijk. Valencia is ook een optie. We huren alleen binnen Europa.

Compensatie

We bieden een zeer genereus salaris en aandelenopties. Voor de juiste kandidaat heeft deze rol een mogelijke groeipad naar CTO.