In één oogopslag
- Taken: Ontwerp en bouw evaluatie-infrastructuur voor betrouwbare AI-agenten.
- Bedrijf: Innovatief bedrijf dat zich richt op AI-technologieën.
- Voordelen: Volledig remote werken, flexibele uren en professionele ontwikkeling.
- Overige informatie: Uitstekende groeimogelijkheden in een dynamische omgeving.
- Waarom deze baan: Neem de leiding over een evaluatie-architectuur en werk met moderne AI-tools.
- Kwalificaties: Ervaring met Python of TypeScript en kennis van API-testen.
Het verwachte salaris ligt tussen 49500 - 60500 € per jaar.
Deze positie is vermeld namens een partnerbedrijf, dat alle aanvragen en volgende stappen beheert. Onze partner is op zoek naar een AI Evaluation Engineer gevestigd in Nederland. Als oprichter van de AI Evaluation Engineer, zult u de evaluatie-, test- en observabiliteitsinfrastructuur ontwerpen en bouwen die ervoor zorgt dat productieklare AI-agenten betrouwbaar, veilig en efficiënt presteren.
U zult geautomatiseerde testsystemen ontwikkelen voor complexe redenering, meerdaagse gesprekken en agentinteracties met API's, databases en code-uitvoering. Door te werken op het gebied van AI-engineering, softwaretesten en infrastructuur, zult u schaalbare evaluatiepijplijnen creëren die verder gaan dan traditionele QA en handmatige prompttests. U zult robuuste regressietests, statistische evaluatiemethoden en adversariale scenario's opzetten om zwaktes vóór implementatie te identificeren. Dit is een kans om eigenaarschap te nemen over een evaluatiearchitectuur vanaf de grond af, terwijl u werkt met moderne AI-technologieën in een volledig remote, wereldwijd verspreide omgeving. Uw werk zal direct bijdragen aan de betrouwbaarheid, veiligheid en continue verbetering van geavanceerde AI-systemen.
Verantwoordelijkheden
- Ontwerpen, bouwen en onderhouden van geautomatiseerde CI/CD-testpijplijnen om het gedrag van AI-agenten te valideren vóór implementatie en gedurende de ontwikkelingscyclus.
- Ontwikkelen en onderhouden van gouden datasets met regressieprompts, randgevallen en synthetische scenario's om de nauwkeurigheid, veiligheid, prestaties en latentie van agenten te meten.
- Implementeren van snelle, kosteneffectieve, deterministische evaluatiecontroles voordat LLM-as-een-rechter benaderingen worden geïntroduceerd, inclusief JSON-schema-validatie, reguliere expressies, API-statuscontroles en embedding-similariteit.
- Creëren van uitgebreide test suites voor meerdaagse agentgesprekken, waarbij contextbehoud, statusconsistentie, redeneergedrag en waarborgen tegen oneindige tool-aanroeploops worden geëvalueerd.
- Ontwerpen en implementeren van adversariale testscenario's om de veerkracht tegen promptinjectie, verkeerd gevormde invoer, onverwachte toolreacties en andere potentiële beveiligingskwetsbaarheden te beoordelen.
- Bouwen van statistische evaluatiekaders om niet-deterministisch AI-gedrag te meten met behulp van slaagpercentages over meerdere runs, betrouwbaarheidsintervallen en andere kwantitatieve betrouwbaarheidsmetrics.
- Integreren van evaluatieworkflows in GitHub Actions of vergelijkbare CI-systemen met behulp van SDK-niveau uitvoering en geautomatiseerde testpraktijken.
- Implementeren van observabiliteit en tracingoplossingen met behulp van tools zoals OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave of gelijkwaardige platforms om agentuitvoering te monitoren en fouten te diagnosticeren.
- Optimaliseren van evaluatie-efficiëntie en kosten door middel van caching, mocking en andere technieken die onnodige LLM API-aanroepen verminderen.
- Valideren van gestructureerde outputs, inclusief JSON-schema's, OpenAPI-specificaties en functie-aanroeppayloads, om ervoor te zorgen dat agenten betrouwbaar met externe systemen interageren.
- Evalueren en verbeteren van de prestaties van agenten onder belasting, rekening houdend met variabele responstijden en niet-deterministisch eindpuntgedrag.
- Zelfstandig ontwerpen en eigenaarschap nemen over de evaluatiearchitectuur, best practices, testnormen en schaalbare processen voor voortdurende kwaliteitsborging.
Vereisten
- Sterke vaardigheid in Python of TypeScript, met name voor API-testing, headless uitvoering, asynchrone programmering en geautomatiseerde testsystemen.
- Praktische ervaring met het bouwen van LLM-evaluatiepijplijnen, AI-testframeworks of statistische testsystemen die in staat zijn prestaties over herhaalde runs te meten.
- Ervaring met het integreren van geautomatiseerde tests in CI/CD-omgevingen, met name GitHub Actions of vergelijkbare platforms, met SDK-niveau uitvoering.
- Sterke expertise in het valideren van gestructureerde gegevens en outputs, inclusief JSON-schema, OpenAPI-specificaties en functie-aanroeppayloads.
- Bekendheid met observabiliteit en tracingtools zoals OpenTelemetry, LangSmith, Arize Phoenix, W&B Weave of aangepaste logoplossingen.
- Vermogen om zelfstandig een evaluatiearchitectuur vanaf nul te ontwerpen, implementeren en onderhouden, met een sterk gevoel voor eigenaarschap en technisch oordeel.
- Uitstekende schriftelijke en gesproken Engelse vaardigheden, met het vermogen om technische bevindingen duidelijk te communiceren in een gedistribueerd team.
- Beschikbaarheid om gedurende ten minste drie uur per dag samen te werken met de zakelijke uren van de VS Central Time.
- Ervaring met code-uitvoeringssandboxes of AI-agentframeworks zoals LangChain, LlamaIndex, AutoGen of CrewAI.
- Sterk begrip van embeddingmodellen, vector databases en hun toepassingen in AI-evaluatie en op basis van similariteit testen.
- Ervaring met load testing van niet-deterministische eindpunten en het beoordelen van systeemgedrag onder variërende werkbelastingen.
- Een proactieve, analytische benadering van probleemoplossing, met het vermogen om zelfstandig te werken, zich aan te passen aan evoluerende technologieën en continu testmethodologieën te verbeteren.
Voordelen
- Volledig remote werk: Werk vanuit elke locatie met een betrouwbare internetverbinding, met de flexibiliteit om uw voorkeurstijdzone en werkuren te kiezen.
- Flexibele planning: Organiseer uw werkdag rond uw productiviteit terwijl u de vereiste overlap met de VS Central Time behoudt.
- Professionele ontwikkeling: Toegang tot betaalde training en andere mogelijkheden om uw technische expertise uit te breiden en uw loopbaanontwikkeling te ondersteunen.
- Moderne technologie: Werk met hedendaagse AI-tools, frameworks en engineeringpraktijken in een omgeving die innovatie en continue verbetering waardeert.
- Consistente projectmogelijkheden: Profiteer van een constante stroom van boeiend en uitdagend productontwikkelingswerk.
- Prestatie-erkenning: Sterke prestaties en toewijding kunnen worden beloond met jaarlijkse salarisverhogingen.
- Onderhandelbare compensatie: Uw startuurtarief wordt bepaald op basis van uw vaardigheden, ervaring en kwalificaties.
- Onafhankelijke contractregeling: Compensatie is gebaseerd op gewerkte uren, met maandelijkse betalingen via bankoverschrijving.
- Flexibele werkomgeving: Geniet van de autonomie om te werken in een omgeving die uw focus, onafhankelijkheid en professionele ontwikkeling ondersteunt.
AI Evaluation Engineer in Amsterdam werkgever: Jobgether
Als AWS Cloud Engineer bij onze partner in Nederland krijg je de kans om te werken in een dynamische en technologiegerichte omgeving, waar je jouw vaardigheden kunt inzetten om complexe infrastructuurproblemen op te lossen en praktische cloudoplossingen te leveren. Je profiteert van een competitief salaris, uitgebreide medische dekking, en de mogelijkheid om je expertise in moderne cloudtechnologieën verder te ontwikkelen. De cultuur is gericht op samenwerking en groei, met mogelijkheden voor professionele ontwikkeling en certificeringen, waardoor je een waardevolle bijdrage kunt leveren aan diverse klantprojecten.
Hupjob Expertadvies🤫
Zo denken wij dat je AI Evaluation Engineer in Amsterdam kunt binnenhalen
✨Verken de Tech Meetups
Ga naar lokale tech meetups en hackathons in je omgeving. Deze evenementen zijn perfect om in contact te komen met professionals uit de industrie en om potentiële vacatures van bedrijven als Jobgether te ontdekken. Bovendien laat je zo je passie voor softwareontwikkeling zien!
✨Bijdragen aan Open Source
Doe mee aan open-source projectontwikkeling. Dit laat niet alleen je vaardigheden zien, maar helpt ook om je naam zichtbaar te maken in de softwaregemeenschap. Deel je bijdragen op platforms zoals GitHub, zodat recruiters van bedrijfJobgether je kunnen vinden.
✨Maak gebruik van online portfolio's
Zorg ervoor dat je een online portfolio hebt waar je je projecten en eerdere werkervaring presenteert. Dit onderscheidt je van andere kandidaten, vooral bij full-time functies bij Jobgether. Voeg interessante projecten toe die laten zien dat je de benodigde vaardigheden bezit!
✨Direct solliciteren via onze website
Twijfel niet om je sollicitatie rechtstreeks via de website van Jobgether te indienen. Dit geeft je de kans om meteen in contact te komen met de juiste mensen en je interesse in de rol te tonen. We zijn op zoek naar gedreven kandidaten zoals jij!
Wij denken dat je deze vaardigheden nodig hebt om als AI Evaluation Engineer in Amsterdam te schitteren
Een paar tips voor je sollicitatie 🫡
Highlight je technische vaardigheden!:Zorg ervoor dat je een duidelijk overzicht geeft van je technische vaardigheden in je CV. Vermeld bijvoorbeeld de programmeertalen en tools die je beheerst, zoals Python, JavaScript of Git. Dit laat zien dat je niet alleen ervaring hebt, maar ook dat je voorbereid bent om aan de slag te gaan in onze ontwikkelomgeving bij Jobgether.
Projecten zijn je beste vrienden:Vergeet niet om relevante projecten toe te voegen aan je CV of portfolio. Dit kunnen persoonlijke projecten, hackathons of bijdragen aan open-source zijn. We willen graag zien hoe je je vaardigheden in de praktijk hebt toegepast. Laat ons zien wat je hebt gebouwd en hoe je problemen hebt opgelost!
Schrijf een enthousiaste motivatiebrief:In je motivatiebrief voor deze fulltime positie is het belangrijk om niet alleen je ervaring uit te lichten, maar ook je passie voor softwareontwikkeling. Vertel ons waarom je graag deel wilt uitmaken van het team bij Jobgether en hoe je wilt groeien in je rol. We zijn op zoek naar iemand met enthousiasme en leergierigheid!
Werk aan een duidelijke structuur:Zorg ervoor dat je CV en documenten een duidelijke structuur hebben. Gebruik duidelijke secties voor opleiding, werkervaring en projecten. Numerieke resultaten of verbeteringen die je hebt gerealiseerd, kunnen ook helpen om je impact te illustreren. Dit maakt het voor ons makkelijker om jouw verhaal te volgen en je vaardigheden in kaart te brengen.
Zo bereid je je voor op een sollicitatiegesprek bij Jobgether
✨Ken je programmeertalen!
Als je solliciteert voor een fulltime functie in de softwareontwikkeling, zorg dan dat je de programmeertalen die relevant zijn voor AI Evaluation Engineer goed beheerst. We kunnen verwachten dat je enkele technische vragen en coding challenges moet doorstaan, dus neem zeker de tijd om je vaardigheden in bijvoorbeeld Python, Java of C++ op te frissen.
✨Presenteer je portfolio
Een sterk portfolio is cruciaal in de softwareontwikkeling. Laat ons je projecten zien waar je trots op bent en demonstreer je specifieke vaardigheden. Zorg ervoor dat je het proces achter je projecten uitlegt en hoe je problemen hebt opgelost. Dit geeft Jobgether inzicht in je probleemoplossend vermogen en je aanpak.
✨Verken system design vragen
Tijdens het interview kunnen we je vragen stellen over system design. We willen begrijpen hoe je een applicatie of systeem ontwerpt. Oefen met het uitleggen van je aanpak, en denk na over schaalbaarheid, efficiëntie en veiligheid. Dit laat zien dat je niet alleen coder bent, maar ook een hele systeemarchitect kunt zijn.
✨Wees voorbereid op teamwork vragen
Softwareontwikkeling draait vaak om samenwerking. Verwacht vragen over hoe je samenwerkt met andere teamleden en hoe je omgaat met conflicten. We willen zien dat je niet alleen technisch sterk bent, maar ook goed kunt communiceren en bijdragen aan een prettige teamdynamiek.
