Remote Machine Learning Qa Jobs in Toronto, ON (NOW HIRING)

26WD95654

L'affichage de poste en francais suivra / The French job posting follows.

Position Overview

As a Senior Machine Learning QA Developer in the Research Enablement team, you will work side-by-side with researchers, Machine Learning developers and developers, and software developers and developers to define and uphold quality standards for ML systems. You are a quality-focused developer who is passionate about reliable, repeatable evaluation of ML models and data. Your skills span test strategy, automation, and a little MLOps, with a strong software engineering base. You are excited to collaborate across research and product to ship ML capabilities with clear quality gates. You are comfortable working at the intersection of research and product and are competent in using Autodesk CAD software.

Reporting Structure: You will report to an Engineering Manager in Research Enablement.

Location: Toronto, Canada (Hybrid). We are a global team, located in London, San Francisco, Toronto, and remotely. Autodesk is a hybrid-first company, allowing workers to work remotely, in an office, or a mix of both.

Responsibilities

• Define ML quality strategy and acceptance criteria across data, model, and system levels

• Design and maintain model evaluation suites, metrics, and test datasets

• Evaluating CAD RL model outputs for geometric validity or policy stability

• Defining structured rubrics that translate qualitative findings into measurable evaluation gates

• Testing ML Models from product side

• API Testing

• Automate ML QA workflows using Python and CI/CD (e.g., GitHub Actions, Jenkins)

• Create and maintain test harnesses for ML services and APIs

• Mentor teams on ML QA best practices and consistent evaluation standards

• Build quality gates for training and deployment pipelines (e.g., regression checks, drift detection)

• Contribute to multi-team projects and codebases, ensuring code quality and consistency

• Participate in code reviews and provide constructive feedback to peers

• Document and present findings and ideas across the company

Minimum Qualifications

• Bachelor's degree in Computer Science, Engineering, or equivalent experience

• 7+ years of professional experience in software engineering or QA for ML/AI systems

• Strong programming skills in Python, with experience in test automation

• Familiarity with popular CAD environments tooling

• Proficient in Automation and UAT test suite/framework

• Experience designing QA frameworks or platforms used by multiple teams

• Excellent problem-solving skills and attention to detail

• Strong communication and collaboration skills

• Understanding of software architecture and design patterns

• Ability to work in an agile development environment

Preferred Qualifications

• Experience with data validation tooling (e.g., Great Expectations) or labeling workflows

• Familiarity with ML frameworks (e.g., PyTorch, TensorFlow)

• Experience with CI/CD tools and processes

• Experience with data pipelines and orchestration tools (e.g., Airflow, Metaflow)

• Familiarity with MLOps practices (model monitoring, drift, deployment checks)

• Experience with ML evaluation methods, metrics, and benchmarking

• Passion for learning new technologies and improving existing systems

• Experience with cloud providers (e.g., AWS, Azure, Google Cloud Platform)

• Experience testing ML services in production environments

• Knowledge of experiment tracking tools (e.g., Comet, MLflow, Weights & Biases)

The Ideal Candidate

• You demonstrate initiative to provide solutions and to learn and develop new technologies

• Comfortable building QA systems from scratch and writing maintainable automation

• You enjoy learning and collaborating across global locations

• You are comfortable working in newly forming ambiguous areas

• You are comfortable building scalable and maintainable systems that will be relied on by others

• You can communicate well with others

-------------------------------------------------------------------------------------------------------------------------

26WD95654, Developpeur principal en tests d'apprentissage automatique

Apercu du Poste

En tant que developpeur senior en assurance qualite pour l'apprentissage automatique au sein de l'equipe Research Enablement , vous travaillerez en etroite collaboration avec des chercheurs, des developpeurs specialises en apprentissage automatique, ainsi que des developpeurs logiciels afin de definir et de faire respecter les normes de qualite des systemes d'apprentissage automatique. Vous etes un developpeur soucieux de la qualite, passionne par l'evaluation fiable et reproductible des modeles d'apprentissage automatique et des donnees.

Vos competences couvrent la strategie de test, l'automatisation et un peu de MLOps, avec une solide base en genie logiciel. Vous etes enthousiaste a l'idee de collaborer entre la recherche et le produit afin de deployer des capacites d'apprentissage automatique avec des criteres de qualite clairs. Vous etes a l'aise pour travailler a la croisee de la recherche et du produit et maitrisez l'utilisation des logiciels de CAO Autodesk.

Hierarchie : Vous rendrez compte a un responsable d'ingenierie au sein de l'equipe Research Enablement.

Lieu : Toronto, Canada (hybride). Nous sommes une equipe internationale, basee a Londres, San Francisco, Toronto et en teletravail. Autodesk est une entreprise privilegiant le modele hybride, permettant a ses collaborateurs de travailler a distance, au bureau ou selon une combinaison des deux.

Responsabilites

• Definir la strategie de qualite ML et les criteres d'acceptation aux niveaux des donnees, des modeles et des systemes

• Concevoir et maintenir des suites d'evaluation de modeles, des metriques et des ensembles de donnees de test

• Evaluer les resultats des modeles de RL CAO pour verifier la validite geometrique ou la stabilite des politiques

• Definir des grilles d'evaluation structurees qui traduisent les resultats qualitatifs en criteres d'evaluation mesurables

• Tester les modeles d'apprentissage automatique du point de vue du produit

• Tester les API

• Automatiser les workflows d'assurance qualite de l'apprentissage automatique a l'aide de Python et de CI/CD (par exemple, GitHub Actions, Jenkins)

• Creer et maintenir des harnais de test pour les services d'apprentissage automatique et les API

• Accompagner les equipes sur les meilleures pratiques en matiere d'assurance qualite de l'apprentissage automatique et sur des normes d'evaluation coherentes

• Mettre en place des controles de qualite pour les pipelines de formation et de deploiement (par exemple, controles de regression, detection de derive)

• Contribuer a des projets et a des bases de code impliquant plusieurs equipes, en garantissant la qualite et la coherence du code

• Participer aux revues de code et fournir des commentaires constructifs a vos pairs

• Documenter et presenter les conclusions et les idees a l'ensemble de l'entreprise

Qualifications Minimales

• Licence en informatique, en ingenierie ou experience equivalente

• Plus de 7 ans d'experience professionnelle en genie logiciel ou en assurance qualite pour les systemes d'apprentissage automatique (ML) et d'intelligence artificielle (IA)

• Solides competences en programmation Python, avec une experience en automatisation des tests

• Connaissance des outils courants des environnements de CAO

• Maitrise des suites/cadres de tests d'automatisation et d'acceptation utilisateur (UAT)

• Experience dans la conception de cadres ou de plateformes d'assurance qualite utilises par plusieurs equipes

• Excellentes competences en resolution de problemes et souci du detail

• Solides competences en communication et en collaboration

• Comprehension de l'architecture logicielle et des modeles de conception

• Capacite a travailler dans un environnement de developpement agile

Qualifications Souhaitees

• Experience avec des outils de validation des donnees (par exemple, Great Expectations) ou des workflows d'etiquetage

• Connaissance des frameworks d'apprentissage automatique (par exemple, PyTorch, TensorFlow)

• Experience avec les outils et processus CI/CD

• Experience avec les pipelines de donnees et les outils d'orchestration (par exemple, Airflow, Metaflow)

• Connaissance des pratiques MLOps (surveillance des modeles, derive, controles de deploiement)

• Experience des methodes d'evaluation, des metriques et des benchmarks en ML

• Passion pour l'apprentissage de nouvelles technologies et l'amelioration des systemes existants

• Experience avec les fournisseurs de cloud (par exemple, AWS, Azure, Google Cloud Platform)

• Experience dans le test de services ML en environnement de production

• Connaissance des outils de suivi d'experiences (par exemple, Comet, MLflow, Weights & Biases)

Le Candidat Ideal

• Vous faites preuve d'initiative pour proposer des solutions, apprendre et developper de nouvelles technologies

• Vous etes a l'aise pour creer des systemes d'assurance qualite a partir de zero et ecrire des automatisations faciles a maintenir

• Vous appreciez l'apprentissage et la collaboration avec des equipes situees dans le monde entier

• Vous etes a l'aise pour travailler dans des domaines emergents et encore flous

• Vous etes a l'aise pour creer des systemes evolutifs et faciles a maintenir sur lesquels d'autres pourront compter

• Vous savez bien communiquer avec les autres

Learn More

About Autodesk

Welcome to Autodesk! Amazing things are created every day with our software - from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.

We take great pride in our culture here at Autodesk - it's at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.

When you're an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!

Salary transparency

Salary is one part of Autodesk's competitive compensation package. For Canada based roles, we expect a starting base salary between $123,000 and $180,400. Offers are based on the candidate's experience and geographic location, and may exceed this range. In addition to base salaries, our compensation package may include annual cash bonuses, commissions for sales roles, stock grants, and a comprehensive benefits package.

Diversity & Belonging
We take pride in cultivating a culture of belonging where everyone can thrive. Learn more here: https://www.autodesk.com/company/diversity-and-belonging

Are you an existing contractor or consultant with Autodesk?

Please search for open jobs and apply internally (not on this external site).