Senior Inference Engineer in Amstelveen

Tokens per minute (TPM)

Requests per minute (RPM)

Time to first token (TTFT)

KV cache

Continuous batching

Prefix caching

Tensor parallelism

NVLink versus Ethernet

llm-d:

Distributed LLM inference en cache-aware routing.

SGLang:

High-performance LLM serving.

Senior AI Inference Engineer - Sovereign AI Platform Locatie:

Nederland Contractduur:

12 maanden Functie:

Senior AI Inference Engineer Vakgebied:

Artificial Intelligence | Machine Learning | GPU Infrastructure | Cloud Technology Taal:

Engels vereist, Nederlands is een pré Nationaliteit:

EU-paspoort verplicht, dubbele nationaliteit niet toegestaan

Over de functie Voor een uitdagend en innovatief AI-platformproject zijn wij op zoek naar een ervaren Senior AI Inference Engineer voor een langdurige opdracht van 12 maanden.

In deze rol werk je aan de ontwikkeling, optimalisatie en schaalbaarheid van een geavanceerd Sovereign AI Platform. Dit platform stelt organisaties in staat om krachtige AI-modellen veilig en onafhankelijk te beheren en te gebruiken, zonder afhankelijk te zijn van externe hyperscalers.

Je speelt een belangrijke rol bij het bepalen hoe Large Language Models (LLM's) worden ingezet, welke GPU-infrastructuur het meest geschikt is en hoe inference-prestaties kunnen worden geoptimaliseerd voor bedrijfskritische toepassingen.

Je werkt nauw samen met Product Managers, Product Owners en andere AI Engineers binnen een multidisciplinair Scrum-team met veel zelfstandigheid en technische verantwoordelijkheid.

De focus ligt op

LLM inference, GPU-optimalisatie, benchmarking, capaciteitsplanning en enterprise-scale AI-infrastructuur .

Jouw verantwoordelijkheden

Ontwerpen, implementeren en optimaliseren van LLM-inferenceworkloads op geavanceerde GPU-infrastructuur.

Uitvoeren van schaalbaarheids- en prestatietests op NVIDIA GPU-omgevingen, waaronder configuraties met 8x H200 GPU's.

Vergelijken van verschillende inference-architecturen, zoals tensor parallelism en modelreplica's met cache-aware routing.

Optimaliseren van model-serving met technologieën zoals vLLM, TensorRT-LLM of vergelijkbare inference-engines.

Analyseren en verbeteren van GPU-gebruik, geheugenbeheer, KV caching en batching.

Onderzoeken van geavanceerde routingoplossingen, waaronder llm-d.

Identificeren en oplossen van knelpunten op het gebied van latency, throughput, concurrency en GPU-efficiëntie.

Performance Benchmarking & Capaciteitsplanning

Ontwikkelen en onderhouden van reproduceerbare benchmarkframeworks voor AI-modelinference.

Meten en analyseren van belangrijke prestatie-indicatoren, waaronder:

Tokens per minute (TPM)

Requests per minute (RPM)

Time to first token (TTFT)

Gelijktijdige gebruikers en verzoeken (concurrency)

GPU-throughput en resourcegebruik

Inference-latency en modelkwaliteit

Vertalen van benchmarkresultaten naar betrouwbare capaciteitsmodellen.

Vaststellen van hardwarevereisten en optimale configuraties per AI-model.

Ondersteunen van capaciteitsplanning en schaalbaarheid voor enterprise-klanten.

Documenteren van testresultaten en technische aanbevelingen.

Model Evaluatie & Deployment

Evalueren van nieuwe open-weight Large Language Models voor gebruik binnen een beveiligde enterprise-omgeving.

Beoordelen van modellen op prestaties, kwaliteit, licentievoorwaarden en hardwarecompatibiliteit.

Analyseren van verschillende quantization-technieken, waaronder NVFP4, FP8 en INT8.

Bepalen van optimale serving-configuraties op basis van geheugengebruik, GPU-capaciteit en prestatievereisten.

Ontwikkelen van gestandaardiseerde evaluatiemethoden voor modelkwaliteit en performance.

Bijdragen aan de ontwikkeling en het onderhoud van een enterprise AI-modelcatalogus.

AI Security, Governance & Sovereignty

Ontwerpen en implementeren van contentfiltering voor zowel input als output van AI-modellen.

Evalueren en integreren van lokaal gehoste guardrail- en contentmoderatiemodellen.

Waarborgen dat inference-oplossingen voldoen aan de eisen van een sovereign AI-omgeving.

Ondersteunen van veilige en gecontroleerde AI-deployment binnen private infrastructuren.

Bijdragen aan oplossingen gericht op databescherming, compliance en operationele onafhankelijkheid.

Engineering & Samenwerking

Samenwerken met AI Engineers, Platform Engineers, Product Owners en Product Managers.

Ontwikkelen van Python-gebaseerde tooling en automatisering voor benchmarking en inference-operaties.

Deployen en beheren van inferenceworkloads binnen Kubernetes-omgevingen.

Vastleggen van belangrijke technische beslissingen in Architecture Decision Records (ADR's).

Actief deelnemen aan Scrum-ceremonies en technische ontwerpbesprekingen.

Bijdragen aan continue verbetering van platformprestaties, betrouwbaarheid en schaalbaarheid.

Functie-eisen Wij zoeken een ervaren engineer met aantoonbare praktijkervaring in enterprise machine learning-platformen en productieomgevingen voor LLM inference.

Technische vereisten - Must Have

Aantoonbare ervaring met de ontwikkeling en het beheer van ML-platformen binnen enterprise-omgevingen.

Hands-on productie-ervaring met het draaien en optimaliseren van Large Language Models op GPU-infrastructuur.

Ervaring met

vLLM of een vergelijkbare LLM inference-engine .

Diepgaande technische kennis van:

KV cache

Continuous batching

Prefix caching

Tensor parallelism

Model quantization

GPU-geheugenbeheer

NVLink versus Ethernet

Ervaring met reproduceerbare performance- en schaalbaarheidstests.

Sterke programmeervaardigheden in Python.

Praktische ervaring met Kubernetes.

Begrip van GPU-capaciteitsplanning, model-serving en distributed computing.

Ervaring met het documenteren van technische beslissingen, bijvoorbeeld via ADR's.

Vermogen om zelfstandig technische problemen te analyseren en op te lossen.

Overige vereisten

Uitstekende beheersing van de Engelse taal.

In het bezit van een geldig EU-paspoort.

Dubbele nationaliteit is niet toegestaan vanwege de geldende soevereiniteitseisen.

Sterk analytisch vermogen en probleemoplossend denkvermogen.

Zelfstandig kunnen werken binnen een Agile/Scrum-omgeving.

Goede communicatieve vaardigheden en een gestructureerde werkwijze.

Pré's - Nice to Have

KServe:

Kubernetes-native model serving.

llm-d:

Distributed LLM inference en cache-aware routing.

AMD ROCm:

GPU-computing en acceleratie.

MLflow:

Model lifecycle management en experiment tracking.

TensorRT-LLM:

Geoptimaliseerde inference op NVIDIA GPU's.

SGLang:

High-performance LLM serving.

NVIDIA H100/H200:

Ervaring met geavanceerde GPU-infrastructuur.

Model evaluation frameworks:

Benchmarking en modelkwaliteitsbeoordeling.

Guardrail models:

Contentfiltering en AI-beveiliging.

FP8, NVFP4 en INT8:

Quantization en modeloptimalisatie.

Ervaring met sovereign cloud, private AI-platformen of on-premises AI-infrastructuur.

Goede beheersing van de Nederlandse taal.

Wat maakt deze opdracht interessant?

Langdurige opdracht van 12 maanden

binnen een innovatieve AI-engineeringomgeving.

Werken met geavanceerde NVIDIA H200 GPU-infrastructuur en moderne LLM-technologieën.

Directe invloed op de architectuur en ontwikkeling van een enterprise Sovereign AI Platform.

Veel technische verantwoordelijkheid en ruimte voor eigen initiatief.

Mogelijkheid om te werken met de nieuwste open-weight AI-modellen en inference-frameworks.

Samenwerken met ervaren AI Engineers en Platform Engineers.

Focus op technisch uitdagende vraagstukken rondom GPU-optimalisatie, inference-performance en schaalbaarheid.

Bijdragen aan veilige, onafhankelijke en toekomstbestendige AI-infrastructuur.

Wie zoeken wij? De ideale kandidaat is een ervaren Senior AI Inference Engineer, ML Infrastructure Engineer, AI Platform Engineer of Machine Learning Systems Engineer met een sterke technische achtergrond in GPU-gebaseerde LLM inference.

Je weet niet alleen hoe je een AI-model in productie brengt, maar begrijpt ook hoe je de prestaties, schaalbaarheid en efficiëntie ervan aanzienlijk kunt verbeteren.

Je hebt ervaring met het analyseren van inference-bottlenecks, optimaliseren van GPU-resources, vergelijken van model-servingconfiguraties en ontwikkelen van betrouwbare benchmarkmethoden.

Dit is een hands‑on engineeringfunctie waarbij diepgaande technische expertise centraal staat. De functie is minder geschikt voor kandidaten die uitsluitend ervaring hebben met prompt engineering, generatieve AI‑applicatieontwikkeling of traditionele data science.

#J-18808-Ljbffr