Spécialiste de l'évaluation de l'IA (CS‑2)

Explorez le champ des possibles

Tout est possible au CNRC, nommé en 2025 l'un des meilleurs employeurs pour les jeunes au Canada, l'un des meilleurs employeurs dans la région de la capitale nationale et l'un des meilleurs employeurs au Canada selon Forbes !

Le CNRC est le plus gros organisme de recherche et d'innovation du Canada. Nous menons des recherches de renommée mondiale qui repoussent les limites de la science et de l’ingénierie pour rendre l’impossible possible. Chaque jour, nous explorons de nouvelles idées à travers des recherches novatrices et nous aidons les entreprises à découvrir des possibilités qui façonnent l’avenir du Canada et le monde.

Au CNRC, vous découvrirez aussi de nouvelles possibilités. Notre milieu de travail positif favorise une culture de créativité en accueillant les nouveaux points de vue et l’innovation à tous les niveaux. Nous attachons une grande importance au travail d’équipe. Vous collaborerez dans une variété de domaines avec les esprits les plus brillants en vue de trouver des solutions novatrices. Plus important encore, vous découvrirez votre potentiel à mesure que vous évoluez dans votre carrière, vous changerez véritablement le cours des choses et vous enrichirez votre parcours professionnel. Qu’il s’agisse de découvertes révolutionnaires ou d’une carrière incomparable, explorez votre champ des possibles au CNRC.

Le rôle

Êtes‑vous passionné par une utilisation sûre et responsable de l’intelligence artificielle ? Souhaitez‑vous faire partie d’une équipe pionnière qui façonne la manière dont les systèmes d’IA sont évalués, mesurés et déployés de façon sécuritaire ? Voulez‑vous que votre travail ait un véritable impact pour le Canada et les Canadiens ? Si oui, nous voulons vous rencontrer !

Nous recherchons un(e) spécialiste de l’évaluation de l’IA (CS‑02). Venez rejoindre notre équipe dynamique au Conseil national de recherches du Canada (CNRC) alors que nous entreprenons des projets novateurs liés à la sûreté et à la sécurité de l’IA. Faites partie d’une équipe pionnière qui établira un nouveau laboratoire de sécurité de l’IA chargé de réaliser des évaluations de systèmes et de traduire des résultats techniques en solutions pratiques et en recommandations destinées aux praticiens de l’IA et aux décideurs publics.

Sous la direction du ou de la responsable du laboratoire de sécurité de l’IA, vous jouerez un rôle essentiel dans la création, la maintenance et l’utilisation d’une nouvelle infrastructure d’évaluation de la sécurité de l’IA. Vous mettrez également en place, exécuterez et surveillerez des évaluations agentiques avancées à grande échelle sur des modèles d’IA de pointe, tout en contribuant à des travaux de recherche de pointe sur la sécurité de l’IA menés par le CNRC en collaboration avec des partenaires nationaux et internationaux.

Principales responsabilités :

• Concevoir, maintenir et utiliser une infrastructure d’évaluation de modèles à la fine pointe combinant des grappes locales et des ressources infonuagiques.
• Soutenir les chercheurs en sécurité de l’IA qui utilisent l’infrastructure d’évaluation.
• Mettre en place, exécuter et surveiller des évaluations à grande échelle impliquant plusieurs modèles d’IA, agents et bancs d’essai.
• Gérer et documenter les protocoles d’évaluation des modèles et le suivi des expériences.
• Contribuer au développement et à la maintenance de bancs d’essai d’évaluation personnalisés.
• Contribuer à l’analyse et à la production de rapports sur les résultats des évaluations de modèles.
• Se tenir au courant des plus récentes avancées en matière d’outils, d’approches et de bibliothèques pour l’évaluation des modèles.

Critères de présélection

Dans votre demande, vous devez démontrer que vous répondez à tous les critères de présélection suivants :

Études

Diplôme universitaire en informatique, en génie informatique ou dans un domaine connexe.

Atouts en matière d’études

• Une spécialisation en analytique de données, en apprentissage automatique ou en intelligence artificielle (IA) peut être considérée comme un atout.
• Une maîtrise dans un domaine lié au poste peut être considérée comme un atout.

Équivalence
Un diplôme d’études collégiales accompagné d’une expérience significative directement liée aux fonctions de ce poste peut être considéré comme une équivalence en matière de scolarité.

Pour plus de renseignements sur les certificats et diplômes obtenus à l'étranger, veuillez consulter Équivalence des diplômes

Expérience

Vous devez satisfaire aux critères d’expérience essentiels et à au moins deux des critères d’expérience technique spécialisée pour poursuivre dans ce processus.

Expérience Essentielle

• Expérience dans le développement d’outils et d’automatisations en Python pour des flux de travail en ML/IA dans un environnement de recherche ou de production.
• Expérience dans l’utilisation programmatique et l’orchestration de grands modèles de langage (autant à code source fermé qu’à code source ouvert).
• Expérience avec les technologies de conteneurisation (telles que Docker, Podman ou Apptainer).
• Expérience avec des grappes de calcul haute performance (HPC) et l’orchestration des tâches (p. ex. SLURM).
• Expérience dans la documentation des résultats expérimentaux en IA au moyen de rapports techniques, de documentation interne ou de publications scientifiques.

Expérience technique spécialisée

• Expérience dans la mise en place, l’exécution ou la contribution à des évaluations ou à l’étalonnage de systèmes d’IA.
• Expérience avec des flux de travail de red teaming, des tests adversariaux ou des tests de résistance de systèmes d’IA (y compris des systèmes agentiques).
• Expérience avec des outils de suivi des expériences en IA/ML (p. ex. MLflow, Weights & Biases).
• Expérience dans le développement ou la curation d’ensembles de données de référence pour l’IA et de la documentation associée (p. ex. via HuggingFace).

Condition d'emploi

Cote de fiabilité

Pour obtenir une cote de fiabilité, nous devons vérifier les antécédents sur une période de cinq ans.  

Exigences linguistiques

Anglais 

Renseignements sur les exigences linguistiques et les tests d'auto-évaluation

Critères d'évaluation

Les candidat(e)s seront évalué(e)s selon les critères suivants :

Compétences techniques

Vous devez satisfaire à toutes les compétences essentielles et à au moins une des compétences techniques spécialisées pour poursuivre dans ce processus.

Compétences techniques essentielles

• Capacité de concevoir et de mettre en œuvre des flux de travail d’IA reproductibles à l’aide de Python.
• Capacité de prendre des décisions techniques éclairées lors de l’utilisation de différents modèles, en tenant compte de facteurs tels que les contraintes d’API, les budgets de calcul, la reproductibilité et la validité des résultats.
• Capacité de diagnostiquer et de résoudre des problèmes d’infrastructure dans des environnements d’évaluation basés sur HPC ou sur le nuage, y compris les conflits de ressources, les échecs de tâches et les goulots d’étranglement de performance.
• Connaissance des cadres d’évaluation de la sécurité de l’IA (p. ex. Inspect AI, Moonshot) et de leur application à l’évaluation de modèles de pointe.
• Connaissance d’outils complexes de stockage et d’interrogation de données pour gérer de grands volumes de données d’évaluation.
• Connaissance des pratiques exemplaires en génie logiciel, y compris le contrôle de version, les pipelines CI/CD, les tests automatisés et les outils modernes de développement logiciel (p. ex. Git, GitLab/GitHub) ainsi que les pratiques associées.

Compétences techniques spécialisées

• Connaissance des outils de suivi des expériences en ML (p. ex. MLflow, Weights & Biases) et de leur intégration dans des flux de recherche reproductibles.
  Connaissance des cadres et protocoles d’IA agentique.
• Familiarité avec les concepts de sécurité de l’IA, les taxonomies de risques ou les cadres de gouvernance (p. ex. lignes directrices du SCT, cadre de gestion des risques liés à l’IA du NIST, pratiques d’évaluation de modèles).

Compétences comportementales

Profil(s) des compétences

En ce qui concerne ce poste, le CNRC évaluera les candidat(e)s selon les profils des compétences suivants : Services de gestion; Techniciens/technologistes de recherche

Tous les profils de compétences

Rémunération

De 86,503$ à 108,068$ par année.

Les employés du CNRC bénéficient d’un large éventail d’avantages sociaux concurrentiels, notamment un régime de retraite solide, un régime de soins de santé et un régime de soins dentaires complets, une assurance-vie et une assurance-invalidité, une fermeture des bureaux à la fin du mois de décembre ainsi que des soutiens supplémentaires pour améliorer votre bien être durant et après votre carrière.

Remarques

• En 2025, le CNRC a été choisi comme l'un des meilleurs employeurs pour les jeunes au Canada, l'un des meilleurs employeurs de la région de la capitale nationale et l'un des meilleurs employeurs au Canada selon Forbes.
• L'aide à la réinstallation sera déterminée conformément aux directives du CNRC.
• Une liste de candidats pré-qualifiés pourrait être établie pour une période d'un an pour des postes semblables.
• La préférence sera accordée aux citoyen(ne)s canadien(ne)s et résident(e)s permanent(e)s du Canada. Veuillez inclure des renseignements à cet égard dans votre demande.
• Le ou la titulaire doit en tout temps respecter les mesures de sécurité au travail.
• Nous remercions toutes les personnes qui postuleront, mais nous ne communiquerons qu’avec celles retenues pour une évaluation subséquente.