In één oogopslag
- Taken: Werk aan innovatieve taalmodellen en ontwikkel methoden voor datagestuurde corpusmixen.
- Bedrijf: Samenwerking met TNO en SURF in een dynamisch onderzoeksproject.
- Voordelen: Krijg waardevolle ervaring en maak impact in de wereld van taaltechnologie.
- Overige informatie: Uitstekende kans om je vaardigheden te ontwikkelen in een stimulerende omgeving.
- Waarom deze baan: Bijdragen aan baanbrekend onderzoek voor lage-resource talen en leer van experts.
- Kwalificaties: Interesse in taalmodellen en ervaring met data-analyse is een plus.
Het verwachte salaris ligt tussen 900 - 1100 € per maand.
About this position
A language model’s performance is strongly influenced by the composition of its training data.
In practice, however, corpus mixtures are often designed through intuition, for example by selecting fixed proportions of code, mathematical text, or domain-specific sources.
Propella provides interpretable document-level annotations for characteristics such as topic, domain, register, quality, and language.
These annotations make it possible to study systematically which proportions of different data types support strong performance on specific tasks, instead of choosing those proportions manually.
During this graduation internship, you will work with TNO and SURF’s GPT-NL team on an active research problem involving language models, especially relevant for low-resource languages.
The scientific insights are the main outcome; a reusable framework for building corpus mixtures will support the research.
What will be your role?
Together with the supervisors, you will define the target tasks, domains, languages, and compute budget.
You will then create controlled corpus mixtures from Propella annotations and train and evaluate relatively small language models under comparable conditions.
Using the results, you will develop a method (e. g. a genetic algorithm or another black-box optimization algorithm) that predicts performance from corpus composition and selects promising mixtures.
You will validate these predictions in new experiments and, where time and compute allow, investigate whether the conclusions
Graduation Internship | Data-driven corpus mixtures for Data-Efficient LLM pretraining in The Hague werkgever: TNO
TNO is een uitstekende werkgever die innovatie en samenwerking hoog in het vaandel heeft staan. Werken als Naval C++ Software & Systems Engineer biedt niet alleen de kans om bij te dragen aan belangrijke maritieme technologieën, maar ook om te groeien binnen een cultuur die gericht is op kennisdeling en professionele ontwikkeling. Met flexibele werkmogelijkheden en een focus op kwaliteit en duurzaamheid, is TNO de ideale plek voor professionals die betekenisvol werk willen verrichten in een stimulerende omgeving.
Hupjob Expertadvies🤫
Zo denken wij dat je Graduation Internship | Data-driven corpus mixtures for Data-Efficient LLM pretraining in The Hague kunt binnenhalen
✨Ken je Data Science Communities
Zoek naar lokale meetups of online communities waar data scientists samenkomen. Dit is een geweldige manier om andere professionals te leren kennen, je netwerk uit te breiden en misschien zelfs je toekomstige stage bij TNO te scoren.
✨Word zichtbaar met je vaardigheden
Demonstreer je kennis door deel te nemen aan hackathons of data science wedstrijden zoals Kaggle. Zo krijg je niet alleen praktijkervaring, maar ook een flinke boost voor je portfolio, wat je kans vergroot om die stageplek te veroveren.
✨Maak gebruik van je universiteit
Universiteiten hebben vaak connecties met bedrijven en kunnen je helpen bij het aanvragen van stages. Vraag bij je studiecoördinator of loopbaanservice naar mogelijkheden of zelfs evenementen waar TNO misschien aanwezig is.
✨Solliciteer via onze website!
Vergeet niet dat de beste manier om je kansen te vergroten, is door direct te solliciteren via onze website. Jouw unieke vaardigheden in data science zijn precies wat TNO nodig heeft, dus kom in actie!
Wij denken dat je deze vaardigheden nodig hebt om als Graduation Internship | Data-driven corpus mixtures for Data-Efficient LLM pretraining in The Hague te schitteren
Een paar tips voor je sollicitatie 🫡
Speel in op je analytische vaardigheden:In je CV en motivatiebrief is het belangrijk om je analytische vaardigheden te benadrukken. Vertel ons over projecten of studies waar je data-analyse hebt toegepast, bijvoorbeeld met Python of R. Laat zien welke technieken je hebt gebruikt en hoe deze je geholpen hebben om problemen op te lossen.
Doe iets met je portfolio!:Als data science stagiair is het handig als je een portfolio hebt met voorbeelden van je werk. Dit kan een GitHub-repo zijn waar je code en projecten deelt. Vergeet niet om een paar interessante projecten te laten zien die je hebt gedaan, inclusief je aanpak en de resultaten die je hebt behaald.
Toon je leermotivatie:Aangezien het om een stage gaat, willen we zien dat je leergierig bent. Gebruik je motivatiebrief om te vertellen waarom je enthousiast bent over data science en wat je hoopt te leren bij TNO. Deel eventuele cursussen of certificaten die je hebt behaald en die relevant zijn voor de rol.
Wees specifiek over je technische vaardigheden:Vermeld in je CV specifiek welke programmeertalen en tools je beheerst. Bij data science kan dat variëren van Python en SQL tot machine learning-bibliotheken zoals TensorFlow of Scikit-Learn. Laat ook zien welke specifieke projecten je met deze vaardigheden hebt gedaan om je ervaring te onderbouwen.
Zo bereid je je voor op een sollicitatiegesprek bij TNO
✨Toon je technische vaardigheden
Als je solliciteert voor een stage in de data-science, laat dan vooral je technische vaardigheden zien. Wees klaar om te praten over tools zoals Python en R, en misschien zelfs je ervaring met data-analyse of machine learning. Denk erover na om een paar voorbeelden van projecten te delen waarin je deze vaardigheden hebt toegepast.
✨Voorzie je portfolio van voorbeelden
Zorg ervoor dat je portfolio goed gevuld is met projecten die je hebt gedaan, of dat nu schoolopdrachten zijn of persoonlijke projecten. We moeten laten zien hoe je aan realistische data-analyse hebt gewerkt en welke bevindingen je hebt gedaan. Een goed gepresenteerd portfolio kan in je voordeel werken tijdens de gesprekken.
✨Wees voorbereid op technische vragen
Verwacht technische vragen over statistische methoden, datamodellering en algoritmen. De interviewers kunnen vragen naar hoe je bepaalde analyses zou uitvoeren of hoe je het beste een dataset zou kunnen opschonen. Door hier scherp op voorbereid te zijn, komt je kennis nog sterker over.
✨Focus op leer- en aanpassingsvermogen
Als stagiair is je motivatie om te leren belangrijker dan ervaring. We moeten laten zien dat we snel kunnen leren en ons kunnen aanpassen aan nieuwe situaties. Denk aan hoe je eerdere uitdagingen hebt aangepakt en wat je van die ervaringen hebt geleerd.
