In één oogopslag
- Taken: Verbeter de kwaliteit van AI door evaluatie, veiligheid en implementatie te waarborgen.
- Bedrijf: Vooruitstrevend techbedrijf dat zich richt op agentic AI systemen.
- Voordelen: Hybride werk, competitief salaris, jaarlijkse bonus en mentale gezondheidszorg.
- Overige informatie: Kans om te groeien in een dynamische omgeving met innovatieve projecten.
- Waarom deze baan: Maak impact op AI-toepassingen in complexe, echte situaties.
- Kwalificaties: Minimaal 3 jaar ervaring in machine learning QA of AI evaluatie engineering.
Het verwachte salaris ligt tussen 50243 - 61408 € per jaar.
Overview
In this role you will advance AI quality across evaluation, safety, and deployment.
You will work with cross-functional teams to define measurable quality criteria, deploy rigorous testing, and embed evaluation into CI/CD.
Your work focuses on robust, safe, and compliant agentic AI systems at scale.
This is an opportunity to influence the assurance of AI applications used by clients in complex, real-world contexts.
- Arbeidsvoorwaarden / Benefits
- 4x9 Workweek
- Hybrid Working
- Competitive Base Salary
- Annual Bonus
- Health Insurance Scheme
- Mental Health Support
- Verantwoordelijkheden
- Automate evaluation of multi-turn conversations and long-horizon tasks using metrics for reasoning accuracy, grounding, plan execution, latency, token usage, and recovery
- Apply schema validation, tracing, and calibrated LLM-as-a-Judge frameworks to detect inaccurate tool calls, loops, and misuse
- Implement filters and golden datasets to test harmful content, policy violations, hallucinations, bias, and brand drift
- Use human-in-the-loop review for high-risk edge cases
- Run red-team, prompt-injection, jailbreak, privacy, and PII-leak tests across agent workflows
- Analyze failures in model logic and API integrations to identify root causes and controls
- Embed test harnesses in CI/CD and monitor production telemetry for regressions, behavioral drift, and recovery
- Maintain evaluation data lineage, versioning, curation, and golden responses
- Translate business risks into measurable quality criteria, practical controls, and release recommendations
- Align stakeholders on user journeys, edge cases, thresholds, mitigations, testability, observability, governance, and evaluation strategy
- Communicate findings and residual risks for go/no-go decisions; coach teams and share reusable assets and standards
- Belangrijkste vereisten
- 3+ years in machine learning QA, AI evaluation engineering, or MLOps engineering
- Dutch – B2+; English – C2
- Agentic AI Expertise: evaluating autonomous agents, multi-step workflows, or RAG applications
- Strong Python proficiency
- Experience with AI evaluation tools such as MLflow, Galileo, Py RIT
- Deep knowledge of prompt engineering, vector databases, tool schema design, and execution telemetry
- Hands-on experience in adversarial testing, threat modeling, or model safety guardrails
- Leadership: strong communication, technical leadership, growth mindset, continuous innovation
- communication
- collaboration
- growth mindset
- Python proficiency
- MLflow
- Galileo
Agentic AI Quality Engineer in Amsterdam werkgever: Jobrapido
StarPark is een uitstekende werkgever die je de kans biedt om te werken op diverse evenementen en festivals, waar je in een informele en prettige werksfeer kunt bijdragen aan de veiligheid van bezoekers. Met flexibele werkmogelijkheden en goede begeleiding vanuit het team, stimuleert StarPark persoonlijke groei en ontwikkeling, waardoor je niet alleen waardevolle ervaring opdoet, maar ook de mogelijkheid hebt om door te groeien binnen de organisatie. Wij verwelkomen iedereen, ongeacht achtergrond, en geloven dat jouw talent het belangrijkste is.
Hupjob Expertadvies🤫
Zo denken wij dat je Agentic AI Quality Engineer in Amsterdam kunt binnenhalen
✨Verken de Automatisering Gemeenschap
Sluit je aan bij lokale of online communities die zich richten op automatisering en regeltechniek. Neem deel aan discussies en vraag om advies; dit kan je een voorsprong geven bij het vinden van kansen en connecties die leiden tot een functie bij bedrijven zoals Jobrapido.
✨Deel je Projecten
Laat zien wat je kunt door je projecten en ervaringen te delen op platforms zoals GitHub of Behance. Dit laat toekomstige werkgevers zien wat je in huis hebt en kan ervoor zorgen dat Jobrapido jouw profiel opmerkt.
✨Neem deel aan Netwerkbijeenkomsten
Ga naar netwerkbijeenkomsten of seminars over automatisering en technologie. Deze evenementen zijn ideaal om professionals in het veld te ontmoeten en meer te leren over openstaande vacatures bij bedrijven zoals Jobrapido.
✨Bouw een Sterk Online Profiel
Zorg ervoor dat je LinkedIn-profiel indrukwekkend is en relevante projecten, certificaten en ervaringen benadrukt. Dit helpt je op de radar te komen bij recruiters van Jobrapido en helpt je om jezelf te onderscheiden in de competitieve markt.
Wij denken dat je deze vaardigheden nodig hebt om als Agentic AI Quality Engineer in Amsterdam te schitteren
Een paar tips voor je sollicitatie 🫡
Benadruk je technische vaardigheden:In de automatisering en regeltechniek waardeert men technische vaardigheden enorm. Zorg ervoor dat je CV je ervaring met relevante software, programmeertalen en technologieën benadrukt. Laat ons zien waar je goed in bent!
Voeg projecten of cases toe:Heb je aan interessante automatiseringsprojecten gewerkt? Voeg voorbeelden van succesvol afgeronde projecten of case studies toe in je CV of motivatiebrief. Dit laat zien dat je niet alleen theoretische kennis hebt, maar ook praktische ervaring kunt toepassen.
Spreek je leergierigheid uit:In een fulltime rol in deze sector is het belangrijk om je bereidheid om te leren en jezelf te ontwikkelen aan te tonen. In je motivatiebrief kun je vertellen hoe je je vaardigheden tot nu toe hebt uitgebreid en waarom je deze kans bij Jobrapido zo waardevol vindt voor je ontwikkeling.
Organiseer je documenten overzichtelijk:Voor een fulltime functie is het essentieel om je CV en motivatiebrief overzichtelijk en goed gestructureerd te laten zijn. Zorg dat ze makkelijk te lezen zijn, gebruik duidelijk titels en bullets, en houd het professioneel. Maak het ons gemakkelijk om te zien waarom jij de juiste kandidaat bent voor Agentic AI Quality Engineer bij Jobrapido.
Zo bereid je je voor op een sollicitatiegesprek bij Jobrapido
✨Ken de nieuwste automatiseringstools
Zorg ervoor dat je goed op de hoogte bent van de laatste ontwikkelingen in automatiseringstools die binnen jouw vakgebied worden gebruikt. Kun je bijvoorbeeld de voordelen uitleggen van tools zoals UiPath of Automation Anywhere? Dit laat zien dat je niet alleen technisch onderlegd bent, maar ook proactief je kennis bijhoudt.
✨Voorbereiding op technische vragen
Verwacht dat je technische vragen moet beantwoorden die specifiek zijn voor automatisering en regeltechniek. Dit kan bijvoorbeeld inhouden dat je situaties moet oplossen of je aanpak moet uitleggen voor het automatiseren van specifieke processen. Zorg ervoor dat je deze concepten goed begrijpt, zodat je helder kunt uitleggen hoe je ze zou toepassen.
✨Je ervaring met projecten delen
Aangezien het een fulltime functie betreft, willen ze weten over je ervaringen in eerdere projecten. Bereid een paar concrete voorbeelden voor waarin je betrokken was bij automatiseringsprojecten, de uitdagingen die je tegenkwam en hoe je die hebt overwonnen. Dit laat zien dat je niet alleen de theorie kent, maar ook echt praktijkervaring hebt.
✨Passie voor efficiëntie
Toon je enthousiasme voor efficiëntie en optimalisatie tijdens het interview. Deel waarom je gepassioneerd bent over automatisering en wat je motiveert in dit vakgebied. Dit kan je onderscheiden van andere kandidaten die misschien meer focussen op de technische aspecten alleen.
