Staff Software Engineer - AI Compute, Together Cloud in Amsterdam

About the Role

Together AI is building the AI Native Cloud, een end-to-end platform voor de volledige generatieve AI levenscyclus, dat de snelste LLM inferentie-engine combineert met state-of-the-art GPU cloud infrastructuur. Het Together Cloud team bouwt het Together GPU Clusters vlaggenschip IaaS product dat hoge prestaties, AI-klaar GPU-clusters biedt via een zelfbedieningscloudconsole, samen met de gevirtualiseerde infrastructuurlaag die de inferentie, RL en fine-tuning producten van Together aandrijft.

Als Staff Software Engineer met focus op AI Compute in de Together Cloud organisatie, zul je de technische richting bepalen en belangrijke componenten bouwen van het volgende generatie AI cloud platform - een zeer beschikbare, wereldwijde cloud infrastructuur met geavanceerde virtualisatie van de nieuwste ML hardware: GB300s/VRs, BlueField DPUs, InfiniBand en dual/quad-plane RoCEv2 fabrics. Dit gevirtualiseerde computing platform ondersteunt onze eigen SaaS-producten - inferentie, RL en fine-tuning - en bedient externe cloudklanten via zelfbedieningsaanbiedingen zoals on-demand/reserved Kubernetes/Slurm clusters, verspreid over tientallen datacenters en honderden duizenden GPUs.

Dit is een architect- en bouwrol. Volledig geautomatiseerde bootstrapping van GPU datacenters, hoge prestaties virtualisatie van GPU compute en DC-netwerken zonder inbreuk op isolatie of draagbaarheid, en fouttolerante gedecentraliseerde controleplannen - jij zult de architectuur hiervoor vaststellen over onze wereldwijde en in-DC diensten, en een sleutelverantwoordelijke zijn voor de moeilijkste onderdelen, zowel in de code als in het ontwerp. Jouw ontwerpen zullen zich uitstrekken van de IaaS-laag van een greenfield Vera Rubin datacenter tot het wereldwijde beheervlak dat capaciteit over al deze datacenters plant.

Verantwoordelijkheden

• Eigen de GPU en netwerk virtualisatie stack: de hypervisor, kernel, en SDN werk dat GPU compute en DC-netwerken hoogpresterend, draagbaar en sterk geïsoleerd houdt over heterogene hardware.
• Eigen de in-DC IaaS-laag: architect en roadmap de diensten, Kubernetes operators, en bibliotheken die compute, opslag, en netwerken in onze datacenters provisioneren en beheren - VMs, parallelle filesystems, VPCs, en InfiniBand-partities; leid de uitbouw voor een nieuw Vera Rubin datacenter met duizenden GPUs, van hardware bring-up tot klantgerichte API.
• Ontwerp de GPU scheduling en wereldwijde beheervlak: het gedistribueerde controlevlak achter on-demand en gereserveerde clusters over tientallen datacenters, inclusief de systemen die per-cluster limieten schalen en de onboarding van nieuwe capaciteit automatiseren.
• Architect monitoring en geautomatiseerde remedie voor fouttolerantie: de strategie voor geautomatiseerde detectie, isolatie, en herstel van falende nodes die gedistribueerde pretraining en grootschalige inferentie draaiende houdt door hardwarestoringen.
• Bepaal technische richting over teams: leid ontwerpreview, los cross-cutting architecturale meningsverschillen op, ontblokkeer cross-team afhankelijkheden en integratierisico's, en definieer de standaarden waartegen andere ingenieurs bouwen - gemeten in clusterbetrouwbaarheid, tijd-tot-eerste-GPU op nieuwe capaciteit, en kwaliteit op schaal.
• Groei het team: mentor senior en junior ingenieurs, verdiep de expertise van het team in virtualisatie, DC-netwerken, en GPU-infrastructuur, en help de hiring bar voor Together Cloud te verhogen.
• Stel de engineering standaard: creëer de testframeworks, tools, en ontwikkelaarsdocumentatie die onze systemen robuust en bruikbaar maken voor andere teams, en vorm het kern, open-source Together AI platform.

Eisen

• 7+ jaar professionele softwareontwikkelingservaring, met expert-niveau vaardigheid in ten minste één backend taal (Golang gewenst), schrijven van hoge prestaties, goed geteste, productieklare code.
• Track record van het bezitten van de architectuur van grote gedistribueerde systemen van blanco pagina tot productie op schaal, inclusief de beoordelingsbeslissingen die niet goedkoop konden worden teruggedraaid.
• Diepe ervaring met het bouwen en opereren van wereldwijd gedistribueerde, hoge-prestatie microservice architecturen over één of meer cloudproviders (AWS, Azure, GCP).
• Expert systeemkennis over compute, netwerken, en opslag - inclusief gelijktijdigheid, geheugenbeheer, performante I/O, en schaal op wereldniveau.
• Aangetoond technisch leiderschap voorbij je eigen commits: mentoren van senior ingenieurs, leiden van ontwerpreview, en het aansteken van afstemming tussen teams die niet aan jou rapporteren.
• Uitstekende communicatie- en diplomatievaardigheden - in staat om ontwerpdossiers te schrijven die…