Senior Deep Learning Engineer, Accuracy Evaluation

We are seeking senior engineers om nieuwe methodologieën te pionieren voor het nauwkeurig beoordelen van de prestaties en mogelijkheden van baanbrekende deep learning-modellen, waaronder LLM's, RAG, agenten en visiemodellen. U zult samenwerken met de organisatie om de nieuwste vlaggenschipmodellen van onze gemeenschap en partners tot leven te brengen. Deze rol biedt een uitstekende kans om de toekomst van AI vorm te geven bij een snelgroeiend bedrijf dat aan de voorhoede van de AI-revolutie staat. Sluit u aan bij ons team van wereldklasse software-engineers en partners om de meest geavanceerde modellen met razendsnelle inferentie te leveren. U werkt op de krachtigste, enterprise-grade GPU-clusters die honderden PetaFLOPS aankunnen en krijgt vroegtijdig toegang tot niet-uitgebrachte hardware, waardoor u een directe impact heeft op de roadmap van NVIDIA en het bredere AI-landschap!

Wat u gaat doen:

• Ontwerpen en bouwen van evaluatieomgevingen van besluitvormingsniveau voor de grensmodellen van NVIDIA die redenering, multimodaal, lange context en agentische systemen bestrijken, en auditeerbare nauwkeurigheidssignalen produceren die elke belangrijke modelrelease beheersen.
• Onderzoek en ontwikkeling van nieuwe evaluatiemethodologieën voor opkomende modelfamilies en capaciteitsdomeinen (lage precisie-numeriek, multi-turn agentische taken, codegeneratie) waar gevestigde benchmarks nog niet bestaan of niet generaliseren.
• Bouwen en beheren van de evaluatie-infrastructuur en pipelines, inclusief benchmarkomgevingen, regressie CI-systemen en statistische analysetools, gebruikt door model-, product- en toegepaste onderzoeksteams binnen NVIDIA.
• Partnerschap met modelonderzoek, training en klantteams om evaluatiesignalen om te zetten in concrete beslissingen: release go/no-go, richting van trainingsiteraties en concurrentiepositionering ten opzichte van externe grensmodellen.

Wat we nodig hebben:

• BS, MS of PhD in Computer Science, Machine Learning, Statistiek of een gerelateerd vakgebied.
• 6+ jaar hands-on ervaring met LLM's, het ontwerpen en uitvoeren van evaluaties voor grote taalmodellen of multimodale AI-systemen, inclusief ervaring met agentische, multi-turn of redeneringsintensievere instellingen.
• Sterke statistische basis: experimenteel ontwerp, significantietests, regressieanalyse en het vermogen om signaal van ruis te onderscheiden in benchmarkresultaten op grote schaal.
• Bewezen ervaring in het bouwen van evaluatie-infrastructuur (pipelines, benchmark-harnassen, reproduceerbare CI-systemen) en niet alleen bestaande benchmarks consumeren.
• Duidelijke, precieze communicator die kwantitatieve evaluatieresultaten kan vertalen naar beslissingen voor onderzoekers, productteams en senior leiderschap.

Manieren om op te vallen:

• Diepe bekendheid met open-source evaluatiekaders.
• Ervaring met het ontwerpen van evaluaties voor agentische systemen: gereedschapsgebruik, multi-turn redenering, omgeving-gebaseerde benchmarks (SWE-bench, GAIA, WebArena-stijl), of interactieve evaluatie-instellingen.
• Trackrecord van publiceren of bijdragen aan evaluatieonderzoek, nieuw benchmarkontwerp, methodologiedocumenten of reproduceerbaarheidanalyses die hebben gevormd hoe het veld de modelcapaciteit meet.
• Ervaring met het meten van modelnauwkeurigheid onder lage precisie-inferentie (FP8, INT4, quantization-aware instellingen) en begrip van hoe calibratie en sparsiteit interageren met benchmarkresultaten.
• Comfortabel met het uitvoeren van grootschalige workloads op HPC/Slurm-clusters, inclusief reproduceerbaar experimentbeheer (MLflow, W&B) en optimalisatie van computerkosten over honderden benchmarkruns.

NVIDIA zet zich in voor het bevorderen van een diverse werkomgeving en is er trots op een werkgever te zijn die gelijke kansen biedt. Aangezien we diversiteit in onze huidige en toekomstige medewerkers hoog waarderen, discrimineren we niet (inclusief in onze wervings- en promotiepraktijken) op basis van ras, religie, kleur, nationale afkomst, geslacht, genderexpressie, seksuele geaardheid, leeftijd, burgerlijke staat, veteranenstatus, handicapstatus of enige andere eigenschap die door de wet wordt beschermd.

Uw basissalaris wordt bepaald op basis van uw locatie, ervaring en het salaris van werknemers in vergelijkbare posities. Voor Polen: Het basissalaris ligt tussen 375.000 PLN en 650.000 PLN.