Principal ML Researcher in Amsterdam

Bij Toloka AI creëren we data die de leidende GenAI-modellen en innovaties aandrijft. We werken samen met vooraanstaande laboratoria, grote technologiebedrijven, gerenommeerde AI-startups, ondernemingen en non-profit onderzoeksorganisaties wereldwijd. We gebruiken een combinatie van experts, crowd en technologieplatform om AI-modellen te leren redeneren en hun effectiviteit en veiligheid te evalueren. We hebben experts in meer dan 50 verschillende domeinen - van artsen en advocaten tot natuurkundigen en ingenieurs - en beschikken over een van de meest diverse wereldwijde crowds, die meer dan 100 landen vertegenwoordigt en 40+ talen spreekt.

We zijn een goed gefinancierde startup met een indrukwekkend klantenportfolio, waaronder Anthropic, Amazon, Microsoft, Poolside, Recraft en Shopify. Onlangs hebben we strategische investeringen veiliggesteld, geleid door Bezos Expeditions en Nebius Group, met deelname van Mikhail Parakhin, CTO van Shopify en adviseur van toonaangevende GenAI-bedrijven, die nu onze voorzitter van de raad van bestuur is. Ons remote-first team is wereldwijd verspreid: VS, VK, Nederland, Servië en meer.

Over het Team: Wij zijn het ML-team binnen Toloka - we bouwen de machine learning-producten die het platform zelf aandrijven, zodat elk project dat op Toloka draait sneller, goedkoper en betrouwbaarder is. Enkele voorbeelden van wat wij doen:

• Enterprise post-training - we helpen echte bedrijven door hen kleine LLM's te bieden die frontier-modellen in kwaliteit overtreffen tegen een fractie van de kosten.
• Off-the-shelf post-training - we voeren onderzoek uit naar datasets die we aan klanten leveren, waarbij we aantonen dat training op deze datasets hun prestaties zal verbeteren.
• Fine-tuning en RL - het aanpassen van frontier- en open-source modellen aan de taken van Toloka om de juiste kwaliteit tegen de juiste kosten te bereiken.
• Evaluatie, benchmarking, kostenmodellering en modelselectie tussen aanbieders.
• LLM QA - de kerntechnologie achter Toloka's geautomatiseerde kwaliteitscontrolemechanisme.

Over de Positie: Als Principal ML Researcher definieer je de overkoepelende technische visie, onderzoeksstrategie en architectuur voor Toloka’s kern ML- en post-trainingstack. In deze impactvolle rol verbind je frontier AI-onderzoek met grootschalige platformengineering. Je leidt de technische strategie over greenfield post-training paradigma's (zoals GRPO, proces/resultaat beloningsmodellering en RLAIF), ontwerpt veerkrachtige geautomatiseerde evaluatie-ecosystemen en stelt de standaard voor hoe foundation-modellen worden aangepast en aangeboden op ons platform.

Wat je zult doen:

• Technische Strategie Aansteken: Definieer de multi-kwartaalstrategie en architectuur voor Toloka’s post-trainingstack, zodat onze fine-tuning, RL en evaluatiecapaciteiten voorop blijven lopen in de industrie.
• Architectuur Greenfield Post-Training & RL Pipelines: Leid de overgang van basis SFT naar geavanceerde RL-frameworks (GRPO, PPO/DPO, beloningsmodellering, Procesbeloningsmodellen en RLAIF) om platform-brede LLM-afstemming en agentgedrag aan te drijven.
• Pionier Volgende Generatie Evaluatie-Harnassen: Ontwerp en kalibreer onfeilbare geautomatiseerde evaluatie-ecosystemen, inclusief mens-aligned LLM-as-een-rechter frameworks, dynamische benchmark suites en regressiecontrole-instellingen.
• Vooruitgang Distillatie & Inference Optimalisatie: Leid onderzoeksinitiatieven over modeldistillatie, kwantisatie, contextcompressie (bijv. gisting) en speculatieve decodering om latentie-kostenbalansen op platformschaal te optimaliseren.
• Vormgeven van Agentic Platform Capaciteiten: Architect autonome gidsagenten en tool-gebruik workflows, en stel fundamentele kaders vast voor multi-stap redenering, zelfcorrectie en evaluatie-gedreven feedbackloops.
• Technisch Leiderschap & Mentorschap: Verhoog de engineering- en onderzoeksstandaard binnen het team door architectonische ontwerpreviewen, hands-on mentorschap van Senior ML Researchers en het vaststellen van best practices voor reproduceerbaar ML R&D.
• Kruisfunctionele & Gemeenschapsinvloed: Werk samen met Product- en Engineering-directeuren om complexe klantuitdagingen om te zetten in schaalbare platformarchitectuur; schrijf impactvolle onderzoeksartikelen, blogposts en externe technische presentaties.

Wat we zoeken:

• 6+ jaar ervaring in ML-engineering of toegepast onderzoek, met 3+ jaar bewezen ervaring in het leiden van LLM post-training, fine-tuning of afstemmingsinitiatieven op schaal.
• Diepe theoretische en praktische beheersing van LLM-afstemming: SFT, LoRA/PEFT, RLHF/RLAIF (GRPO, DPO, PPO), beloningsmodellering en redeneringsgerichte post-training.
• Beheersing van LLM Evaluatie & Kalibratie: Bewezen geschiedenis van het bouwen van evaluatiepipelines vanaf nul, het aanpakken van LLM-as-een-rechter biases en het nauwkeurig kalibreren van geautomatiseerde evaluaties tegen menselijke goudstandaarden.
• Expertise in Gedistribueerde Training & Systemen Engineering: Sterke vaardigheid in Python, PyTorch, gedistribueerde trainingsframeworks (Deepspeed, Megatron, FSDP) en high-performance inference engines (vLLM, TensorRT-LLM).
• Architectonische Visie & Productleiderschap: Aangetoonde capaciteit om vage technische uitdagingen om te zetten in robuuste platformfuncties, waarbij state-of-the-art onderzoek wordt gebalanceerd met productiebetrouwbaarheid en kostenbeperkingen.
• Technische Autoriteit: Bewezen ervaring als technisch leider, mentoren van senior onderzoekers/ingenieurs en invloed uitoefenen op kruisfunctionele roadmaps.
• Taal: Vloeiend gesproken en geschreven Engels (C1), met duidelijke communicatieve vaardigheden om complexe technische concepten zowel aan interne teams als externe klanten/gemeenschappen over te brengen.

Wat we kunnen bieden: Je maakt deel uit van een internationale, dynamische omgeving die innovatie stimuleert en nieuwe normen stelt in de AI- en technologiesector. Competitief compensatiepakket inclusief basissalaris, bonus en ESOP. Betaalde PTO en voordelen variëren afhankelijk van locatie. We bieden een volledig remote of hybride model (als je gevestigd bent in NL of Servië). IT-opstelling en thuiswerkvergoedingen.

Gelijke Kansen Werkgever: Toloka zet zich in voor gelijke kansen en het bevorderen van een inclusieve omgeving. We verwelkomen aanvragen van alle gekwalificeerde individuen en discrimineren niet op basis van ras, religie, kleur, nationale afkomst, geslacht, seksuele geaardheid, genderidentiteit, leeftijd, burgerlijke staat, veteranenstatus, handicap of enige andere eigenschap die door de toepasselijke wetgeving wordt beschermd. Selectiebeslissingen worden genomen op basis van kwalificaties, verdienste en zakelijke behoefte.