Senior Applied ML Engineer | Kimchi (Model Router) in Amsterdam

Waarom Kimchi? Geweldige modellen zijn rauwe ingrediënten. Kimchi is wat er gebeurt als je ze fermenteert met goede engineering. We zijn begonnen binnen CAST AI, waar we bedrijven hielpen om LLM's op hun eigen Kubernetes-clusters te draaien; vandaag de dag draaien we onze eigen coding-harness op elk model dat je kiest, en de router die beslist welk model elke aanvraag beantwoordt, is ook van ons.

De Auto Router Onze belofte is één handhavingslaag voor jouw AI: budgetten, uitgavenattributie en modelrouting, toegepast voordat een aanvraag ooit een model raakt. De Auto Router maakt de keuze: voor elke aanvraag, welk model het bedient. Acht open-source modellen waarvan de invoerprijzen meer dan 20× variëren, gecachte invoer tot 50× goedkoper dan vers, grensverleggende aanbieders op de sleutels van klanten, en een coderingsagent die honderden aanvragen verstuurt voordat zijn taak is voltooid. Grensniveau taak succes tegen een fractie van de token kosten: die zin is het product, en het blijft waar alleen als het model binnen de router steeds beter wordt. Dat model is van jou.

Gemaakt door Cast AI — een in Miami gevestigde, wereldwijd verspreide team in 34 landen dat in januari 2026 unicorn-status bereikte met een investering van meer dan $50B die de waardering boven $1 miljard duwde.

Over de rol Elke aanvraag krijgt een beslissing: welk model bedient het. Dit is een toegepaste ML-positie, geen infrastructuur. Platform engineers bezitten de proxy, het streamingpad en de vloot. Jij bezit het model binnen hen: de trainingsdata, het doel, de evaluatie en de iteratielus die elke cyclus een betere router verzendt.

De probleemrouting is een voorspellingsprobleem dat zich voordoet als een product. Voor elke aanvraag voorspel je de kwaliteit die elk kandidaatmodel zou leveren, wat het zou kosten en hoe snel het zou decoderen, en je moet genoeg gelijk hebben, in het totaal, zodat de besparingen reëel zijn en de kwaliteit nooit onder de grens daalt. De data is rommelig: rollout-uitkomsten van benchmark-harnesses, per-aanvraag records van de live vloot, override-signalen en tokenstromen waarvan de snelheid afhangt van de serverconcurrentie op dat moment. Snelheid zelf is een correctheidsvariabele: bij deadline-gebonden agentwerk doet een model dat drie keer langzamer decodeert niet hetzelfde werk langzamer, het doet minder werk. Daarom optimaliseren naïeve kosten-per-token-doelen stilletjes voor de verkeerde dingen. En de lat voor bewijs is hoog: een routerwijziging wordt alleen verzonden na productie-pariteitsevaluatie met foutmarges, en wordt vervolgens gehouden aan zijn cijfers in live verkeer.

Stack Python; PyTorch; SQL op schaal (ClickHouse); OpenAI- en Anthropic-compatibele LLM-API's; benchmark- en rollout-harnesses (RouterBench-klasse); GitLab CI.

Vereisten

• Je hebt 5+ jaar ervaring in toegepaste ML of ML-onderzoek, en je hebt modellen getraind, geëvalueerd en verzonden die realtime beslissingen nemen (ranking, aanbeveling, bandieten, prijsstelling of LLM-routing) en je kunt dat verhaal vertellen met bewijs.
• Sterke Python- en SQL-vaardigheden op schaal: je kunt miljoenen aanvraagniveau records ophalen, opschonen en ondervragen zonder op iemand te wachten.
• Je kent het verschil tussen een model dat beter is geworden en een evaluatie die gemakkelijker is geworden.
• Je hebt echte meningen over wat LLM-benchmarks meten, inclusief agentische harnesses.
• Je weet genoeg over de realiteit van serveren (TTFT, decodeersnelheid, batching, prefix caching, concurrentie) om het doel eerlijk te modelleren.
• Je instrumenteert voordat je optimaliseert, foutmarges en al.
• Een brede mandaat maakt je enthousiaster dan ongerust.

Aangename extra's

• Je hebt specifiek aan LLM-routing gewerkt: RouterBench-klasse evaluaties, kosten/kwaliteit/latenheid Pareto-fronten.
• Kalibratie, onthouding of conformele methoden in productiebesluitssystemen.
• Je hebt online A/B-lussen uitgevoerd met driftmonitoring op een model dat echt geld aanraakt.

Verantwoordelijkheden

• Beheer het routingmodel van begin tot eind: functies, doel, training, kalibratie en releasecadans. Itereer het als een product, niet als een onderzoeksartifact.
• Bouw de evaluatie die elke wijziging poort: productie-pariteitsbenchmarks, router-vs-router vergelijkingen, holdouts per taakfamilie, foutmarges op slaagpercentages. Niets wordt verzonden op basis van gevoel.
• Draai vlootdata om in trainingssignaal: per-aanvraag uitkomsten uit productie, benchmark-rollouts en override-feedback, met foutcategorisatie (infra vs taak) zodat vergiftigde labels nooit de beleidsvorming bereiken.
• Modelleer het doel dat de gebruiker daadwerkelijk ervaart: taak succes × token kosten × wandklok snelheid onder het echte concurrentieregime, met gecachte invoerkosten in het plaatje.
• Draai de online lus: schaduw, A/B, volledige rollout, driftmonitoring, retraining. Wanneer productie het niet eens is met je offline evaluatie, ontdek je waarom voordat de volgende verzending.
• Druk de grens waar het loont: gekalibreerde beslissingen, onthouding onder onzekerheid, snelheid-bewuste routing. We experimenteren met wat een router zou moeten zijn, niet alleen met welk model het vandaag kiest.
• Werk samen met platform engineers aan instrumentatie: de functies en labels die per aanvraag worden vastgelegd (decodeersnelheid als eerste klas onder hen) en de experimenten die het datapad moet ondersteunen.

Wat bieden wij jou?

• Competitief salaris (afhankelijk van het ervaringsniveau).
• Geniet van een flexibele, remote-first wereldwijde omgeving.
• Samenwerken met een wereldwijd team van cloud-experts en innovators, gepassioneerd over het verleggen van de grenzen van Kubernetes-technologie.
• Aandelenopties.
• Krijg snel feedback met een snel werkproces. De meeste functieprojecten worden binnen 1 tot 4 weken afgerond.
• Besteed 10% van je werktijd aan persoonlijke projecten of zelfverbetering.
• Lernbudget voor professionele en persoonlijke ontwikkeling - inclusief toegang tot internationale conferenties en cursussen die je vaardigheden verbeteren.
• Jaarlijkse hackathon om nieuwe ideeën te stimuleren en teamverbindingen te versterken.
• Team-building budget en bedrijfsactiviteiten om verbinding te maken met je collega's.
• Apparatuurbudget om ervoor te zorgen dat je alles hebt wat je nodig hebt.
• Extra vrije dagen om een gezonde werk-privébalans te behouden.

Wervingsproces

• Screeninggesprek met Recruiter
• Interview met Hiring Manager
• Technisch interview (systeemontwerp)
• Live coderen
• Cultuurcheck interview met een executive

Als onderdeel van ons standaard wervingsproces willen we je informeren dat er mogelijk een achtergrondcontrole wordt uitgevoerd in de laatste fase van de werving via onze derde partij aanbieder, Checkr.

Let op: Cast AI biedt geen enkele vorm van visumsponsoring/werkvergunning.