Staff Software Engineer (Agentic Search) - Crawler in Amsterdam

Over Nebius

Nebius leidt een nieuw tijdperk in cloudinfrastructuur voor de wereldwijde AI-economie. We bouwen een full-stack AI-cloudplatform dat ontwikkelaars en bedrijven ondersteunt van data- en modeltraining tot productie-implementatie, zonder de kosten en complexiteit van het bouwen van grote interne AI/ML-infrastructuren. Gebouwd door ingenieurs, voor ingenieurs. Van grootschalige GPU-orchestratie tot inferentie-optimalisatie, wij bezitten de moeilijke problemen op het gebied van compute, opslag, netwerken en toegepaste AI.

Gelist op Nasdaq (NBIS) en gevestigd in Amsterdam, hebben we een wereldwijde aanwezigheid met R&D-hubs in heel Europa, het VK, Noord-Amerika en Israël. Ons team van meer dan 1.500 omvat honderden ingenieurs met diepgaande expertise op het gebied van hardware, software en AI R&D.

Het Product

In een snel veranderende wereld hangt het vertrouwen in AI af van AI-agenten die zijn gebaseerd op actuele, geverifieerde gegevens uit de echte wereld. Zoekopdrachten vormen de basis die dit mogelijk maakt. We bouwen een agent-native zoekplatform dat specifiek is ontworpen voor AI-systemen in plaats van menselijke gebruikers. Ons product biedt programmatic, low-latency en observeerbare zoek-API's die AI-agenten gebruiken om informatie uit de echte wereld op grote schaal op te halen, te filteren en erover na te denken.

De Rol

We zijn op zoek naar een Staff Software Engineer om te werken aan de contentacquisitie en crawlinfrastructuur van een nieuwe zoekmachine die is afgestemd op agentic AI-consumptie. In deze rol richt je je op het bouwen van systemen die inhoud ontdekken, ophalen en continu vernieuwen vanuit het open web en andere grootschalige gegevensbronnen.

• Je ontwerpt gedistribueerde crawling-, plannings- en ingestie-infrastructuur die in staat is om op internetniveau te opereren, terwijl je dekking, actualiteit, hulpbronnen efficiëntie en betrouwbaarheid in balans houdt.
• Je werkt aan systemen die miljarden URL's verwerken, hoge doorvoersnelheden beheren en ervoor zorgen dat hoogwaardige inhoud consistent beschikbaar is voor downstream indexering en opvragsystemen.
• Je verantwoordelijkheden omvatten:
• Ontwerpen, implementeren en bedienen van web-scale crawlsystemen voor het verwerven van inhoud van het internet.
• Bouwen van ingestieworkflows voor interne en externe gegevensbronnen, inclusief crawlers, gestructureerde feeds en partnerintegraties.
• Ontwikkelen van crawlplanning, prioritering, recrawl-beleid en actualiteitsstrategieën.
• Bouwen van systemen voor URL-ontdekking, deduplicatie, inhoudsextractie en crawl-orchestratie.
• Zorgen voor betrouwbare werking van de crawlinfrastructuur onder hoge doorvoersnelheden.
• Definiëren van observeerbaarheid en kwaliteitsmetrics voor crawl-dekking, actualiteit, doorvoer en inhoudskwaliteit.
• Monitoren van hulpbronnengebruik, bandbreedteverbruik en infrastructuurkosten.
• Samenwerken met indexerings- en ML-teams om ervoor te zorgen dat verworven inhoud voldoet aan opvraag- en rangschikkingseisen.
• Veilige experimenten mogelijk maken met crawlenstrategieën en inhoudsacquisitiebeleid.

Je bent misschien een goede fit als je:

• 8+ jaar ervaring hebt met het bouwen van backend of gedistribueerde systemen.
• Sterke Go of C++ expertise hebt.
• Ervaring hebt met grootschalige gedistribueerde systemen (10k+ RPS, miljarden URL's, hoge doorvoerpijplijnen).
• Begrip hebt van webprotocollen (HTTP, DNS, TLS), crawlen, scrapen en inhoudsextractie.
• Ervaring hebt met het bedienen van productiesystemen en het debuggen van storingen in gedistribueerde omgevingen.
• Een sterk begrip hebt van schaalbaarheid, fouttolerantie en resourcebeheer.
• Sterke kandidaten hebben mogelijk ook ervaring met:
• Webcrawlen.
• Bouwen van streaming datapijplijnen en event-driven systemen.
• Kafka, Pulsar, NATS, RabbitMQ of vergelijkbare messagingplatforms.
• Ontwerpen van gedistribueerde planners, wachtrijen en asynchrone verwerkingssystemen.
• Spark, Flink, Beam of MapReduce.
• Ad tech, sociale netwerken, zoekmachines of andere grootschalige contentplatforms.

Wij voeren codering interviews uit als onderdeel van het proces.

Voordelen & Voordelen

• Competitieve compensatie.
• Carrièregroei en leermogelijkheden.
• Flexibiliteit en eigenaarschap.
• Samenwerkende en innovatieve cultuur.
• Kans om aan impactvolle AI-projecten te werken.
• Internationale omgeving en getalenteerde teams.

Wat is het zoals om bij Nebius te werken?

Snel bewegend - Gedurfde denkers - Constante groei - Betekenisvolle impact - Vertrouwen en echte eigendom - Kans om de toekomst van AI vorm te geven.

Gelijke Kansen Verklaring

Nebius is een werkgever die gelijke kansen biedt. We zetten ons in voor het bevorderen van een inclusieve en diverse werkplek en voor het bieden van gelijke werkgelegenheid in alle aspecten van werkgelegenheid. We discrimineren niet op basis van ras, kleur, religie, geslacht (inclusief zwangerschap), nationale afkomst, afkomst, leeftijd, handicap, genetische informatie, burgerlijke staat, veteranenstatus, seksuele geaardheid, genderidentiteit of -expressie, of enige andere eigenschap die wordt beschermd door de toepasselijke wetgeving.

Aanvragers moeten gemachtigd zijn om te werken in het land waarin ze solliciteren en moeten bewijs van werkgelegenheidsgeschiktheid overleggen als voorwaarde voor indiensttreding. Als je aanpassingen nodig hebt tijdens het sollicitatieproces, laat het ons dan weten.