Senior Software Engineer - AI Compute, Together Cloud in Amsterdam

About the Role

Together AI is building the AI Native Cloud, een end-to-end platform voor de volledige generatieve AI levenscyclus, dat de snelste LLM inferentie-engine combineert met state-of-the-art GPU cloud infrastructuur. Het Together Cloud team bouwt het Together GPU Clusters vlaggenschip IaaS product dat hoge prestaties, AI-klaar GPU-clusters biedt via een self-service cloudconsole, samen met de gevirtualiseerde infrastructuurlaag die de inferentie-, RL- en fine-tuningproducten van Together aandrijft.

Als Senior Software Engineer met focus op AI Compute in de Together Cloud organisatie, bouw je en bezit je belangrijke componenten van het volgende generatie AI cloudplatform – een zeer beschikbare, wereldwijde cloudinfrastructuur met geavanceerde virtualisatie van de nieuwste ML-hardware: GB300s/VRs, BlueField DPUs, InfiniBand en dual/quad-plane RoCEv2 fabrics. Dit gevirtualiseerde computingplatform ondersteunt onze eigen SaaS-producten – inferentie, RL en fine-tuning – en bedient externe cloudklanten via self-service aanbiedingen zoals on-demand/reserved Kubernetes/Slurm clusters, verspreid over tientallen datacenters en honderden duizenden GPUs.

De moeilijke problemen bij het snel schalen van heterogene GPU-vloten zijn softwareproblemen: volledig geautomatiseerde bootstrapping van GPU-datacenters, hoge prestaties virtualisatie van GPU-compute en DC-netwerken zonder in te boeten op isolatie of draagbaarheid, en fouttolerante gedecentraliseerde controleplannen. We lossen ze op door wereldwijde en in-DC diensten, Kubernetes operators en hoge prestaties SDN bibliotheken te bouwen, hypervisors en Linux-kernels te forkeren, en infra te bouwen die is afgestemd op inferentie en fine-tuning. Je zult enorme greenfield-projecten bezitten gedurende hun volledige levenscyclus – het afbakenen van het probleem en het schrijven van PRD's met onze PM's, het ontwerpen van het systeem en het bouwen ervan tot aan de GA-lancering.

Verantwoordelijkheden

• Bouw de GPU- en netwerkvirtualisatie-stack: de hypervisor, kernel en SDN-werk die GPU-compute en DC-netwerken hoogwaardig, draagbaar en sterk geïsoleerd maakt over heterogene hardware.
• Bouw en onderhoud onze in-DC IaaS-laag: de diensten, Kubernetes operators en bibliotheken die compute, opslag en netwerken in onze datacenters provisioneren en beheren, inclusief VMs, parallelle bestandssystemen, VPC's en InfiniBand-partities.
• Implementeer en verstevig het bring-up pad voor een nieuw Vera Rubin datacenter met duizenden GPUs.
• Schaal het gedistribueerde GPU-scheduling en globale managementplane: de controle-plane diensten achter on-demand en gereserveerde clusters, inclusief de automatisering die nieuwe capaciteit aan boord brengt en per-cluster limieten verhoogt.
• Verstevig de monitoring en geautomatiseerde herstel-laag voor fouttolerantie: geautomatiseerde detectie, isolatie en herstel van defecte nodes die gedistribueerde pretraining en grootschalige inferentie fouttolerant houdt.
• Bezit je componenten end-to-end: schrijf de ontwerpdokuments, verdeel het werk in mijlpalen die incrementeel worden verzonden, en verbeter de betrouwbaarheid van wat al in productie is.
• Verhoog de standaard om je heen: code review, ontwerp feedback en mentoring van junior engineers.
• Bouw de tooling waar andere teams op vertrouwen: testframeworks, ontwikkelaarstools en documentatie die onze systemen robuust en bruikbaar maken voor teams, plus bijdragen aan het kern, open-source Together AI-platform.

Om succesvol te zijn, moet je diep technisch zijn, klaar om projecten echt end-to-end te bezitten, en een uitstekende communicator zijn — sterke softwareontwikkelingsfundamentals, sterke systeemkennis en probleemoplossende instincten, en de samenwerking en diplomatieke vaardigheden om effectief samen te werken met zowel technische als niet-technische teamleden.

Eisen

• 5+ jaar professionele ervaring in softwareontwikkeling, met sterke vaardigheid in ten minste één backend programmeertaal (Golang gewenst).
• Aangetoond eigenaarschap van grootschalige projecten die van begin tot eind zijn uitgevoerd, met het schrijven van hoge prestaties, goed geteste, productieklare code.
• Aangetoond ervaring met het bouwen en bedienen van hoge prestaties en/of wereldwijd gedistribueerde microservice-architecturen over een of meer cloudproviders (AWS, Azure, GCP).
• Sterke systeemkennis op het gebied van compute, netwerken en opslag, inclusief gelijktijdigheid, geheugenbeheer, performante I/O en schaal.
• Uitstekende communicatieve vaardigheden — in staat om duidelijke ontwerpdokuments te schrijven en effectief samen te werken met zowel technische als niet-technische teamleden.
• Ervaring met het bouwen en bedienen van betrouwbare, klantgerichte productiesystemen op schaal, en het bezitten van de infrastructuurautomatisering (Terraform, Ansible), observability (Prometheus, Grafana), en CI/CD (GitHub Actions, ArgoCD) die ze gezond houden.

Voorkeurskwalificaties

• Vaardigheid met Kubernetes-internals, zoals het implementeren van niet-triviale Kubernetes-operators, apparaat/opslag/netwerkplugins, aangepaste planners of patches voor Kubernetes zelf.
• Vaardigheid met VMs/hypervisors, zoals QEMU/KVM, cloud-hypervisor, VFIO, virtio, PCIE passthrough, Kubevirt, SR-IOV.
• Vaardigheid met DC-netwerkingstechnologie + oplossingen, zoals VLAN, VXLAN, VPN, VPC, OVS/OVN.
• Ervaring met Cluster API of vergelijkbaar.
• Ervaring met werken aan hoge prestaties compute, netwerken en/of opslag.
• Ervaring met het virtualiseren van GPUs en/of InfiniBand.
• Ervaring met het bouwen van IaaS of PaaS-systemen op schaal.
• Ervaring met DPUs/SmartNICs.
• GPU-programmering, NCCL, CUDA kennis.

Over Together AI

Together AI, de AI Native Cloud, is speciaal gebouwd voor AI-engineers. AI-toepassingsontwikkelaars krijgen hoge prestaties inferentie die betrouwbaar schaalt, fine-tuning en reinforcement learning voor het creëren van gespecialiseerde modellen op grensniveau, en pre-training op grote schaal voor volledig aangepaste intelligentie, allemaal rond een marktplaats van toonaangevende open modellen die teams kunnen uitvoeren, aanpassen en bezitten. Vertrouwd door Cursor, Decagon, ElevenLabs, Salesforce en Zoom, bedient Together 400+ triljoen tokens per maand.

Gelijke Kansen

Together AI is een werkgever die gelijke kansen biedt en is trots om gelijke werkgelegenheid te bieden aan iedereen, ongeacht ras, kleur, afkomst, religie, geslacht, nationale oorsprong, seksuele geaardheid, leeftijd, burgerschap, burgerlijke staat, handicap, genderidentiteit, veteranenstatus en meer.