Python Language Jobs in Montreal, QC (NOW HIRING)

Position Overview

As a Software Developer on the Fusion platform services team withinProduct Development and Manufacturing Solutions (PDMS), you'll be part of a teamof technologists dedicated to creating cutting-edge AI and generative AI solutions that enhance developer productivity and experience. You'll work closely with AI engineers, software architects, and product engineering teams to build andrigorously evaluate intelligent agentic systems - including benchmarking AI agents against commercial solvers - and develop MCP (Model Context Protocol)-based tooling that integrates seamlessly with IDEs such as VS Code andCursor.

Responsibilities

• Develop and orchestrate multi-agent AI systems for automated test generation, test execution, and end-to-end development workflow optimization using frameworks like LangGraph, AutoGen, or the Anthropic Agent SDK (Claude Code)

• Design and implement agentic workflows that coordinate multiple AI agents to autonomously drive test automationacross UI, API, integration, and system levels, from test case synthesisto result evaluation, ensuring seamless integration with existing developer tools and MCP-compatible services

• Build evaluation frameworks and custom benchmarks for agentic systems, including comparisons of AI agents against commercial solvers, using tools like AgentBench and Langfuse

• Evaluate MCP server andtool performance across agentic pipelines, measuring latency,accuracy, context fidelity, and end-to-end task completion rates

Minimum Qualifications

• BS/MS in Computer Science, Machine Learning, or a related applied AI field

• Expertise in Python and ML frameworks (PyTorch, Transformers, scikit-learn)

• Experience with LargeLanguage Models applied to software understanding or test generation

• Knowledge of AI evaluation methodologies andmetrics for agentic task completion and test quality

• Strong foundation in statistical analysis and experimental design

• Experience with developer workflow and productivitymeasurement frameworks

Preferred Qualifications

• Background in software engineeringor QA with close collaboration with development teams

• Familiarity with test automation frameworks (e.g., Playwright, Selenium, Pytest, Appium) and CI/CD pipelines

• Experience designing benchmarks that compare AI agents against commercial or domain-specific solvers

• Hands-on experience with MCP(Model Context Protocol), building, evaluating, and optimizing MCP servers and tool integrations withinagentic pipelines

• Experience with agentic AI frameworks including LangGraph, AutoGen, ortheAnthropic Agent SDK / Claude Code

• Knowledge in vision-language models or multi-modal AI for UI and system-level understanding and evaluation

• Experience with Azure AI Foundry/ML or AWS cloud MLplatforms

______________________________________________________________________________

Apercu du poste

En tant que developpeur logiciel au sein de l'equipe des services de la plateforme Fusion, dans le groupe Developpement de produits et solutions de fabrication (PDMS), vous ferez partie d'une equipe de technologues dediee a la creation de solutions d'IA et d'IA generative de pointe visant a ameliorer la productivite et l'experience des developpeurs. Vous collaborerez etroitement avec des ingenieurs en IA, des architectes logiciels et des equipes d'ingenierie produit afin de concevoir et d'evaluer rigoureusement des systemes intelligents agentiques - notamment en comparant les agents d'IA a des solveurs commerciaux - et de developper des outils bases sur le MCP (Model Context Protocol) qui s'integrent harmonieusement a des environnements de developpement integres (IDE) comme VS Code et Cursor.

Responsabilites

• Developper et orchestrer des systemes d'IA multi-agents pour la generation automatisee de tests, l'execution de tests et l'optimisation des flux de developpement de bout en bout, a l'aide de cadres comme LangGraph, AutoGen ou le SDK Agent d'Anthropic (Claude Code)

• Concevoir et mettre en uvre des flux de travail agentiques coordonnant plusieurs agents d'IA afin d'automatiser les tests aux niveaux interface utilisateur (UI), API, integration et systeme, de la creation des cas de test jusqu'a l'evaluation des resultats, tout en assurant une integration fluide avec les outils de developpement existants et les services compatibles MCP

• Construire des cadres d'evaluation et des bancs d'essai personnalises pour les systemes agentiques, incluant des comparaisons entre agents d'IA et solveurs commerciaux, a l'aide d'outils comme AgentBench et Langfuse

• Evaluer la performance des serveurs MCP et des outils au sein de pipelines agentiques, en mesurant la latence, la precision, la fidelite du contexte et les taux de completion des taches de bout en bout

Qualifications minimales

• Baccalaureat ou maitrise en informatique, en apprentissage automatique ou dans un domaine connexe de l'IA appliquee

• Expertise en Python et en cadres d'apprentissage automatique (PyTorch, Transformers, scikit-learn)

• Experience avec les grands modeles de langage appliques a la comprehension logicielle ou a la generation de tests

• Connaissance des methodologies d'evaluation en IA et des metriques liees a l'execution de taches agentiques et a la qualite des tests

• Solide base en analyse statistique et en conception experimentale

• Experience avec les flux de travail des developpeurs et les cadres de mesure de la productivite

Qualifications privilegiees

• Experience en genie logiciel ou en assurance qualite (QA), avec collaboration etroite avec des equipes de developpement

• Familiarite avec des cadres d'automatisation des tests (p. ex. Playwright, Selenium, Pytest, Appium) et les pipelines CI/CD

• Experience dans la conception de bancs d'essai comparant des agents d'IA a des solveurs commerciaux ou specialises

• Experience pratique avec le MCP (Model Context Protocol), incluant la conception, l'evaluation et l'optimisation de serveurs MCP et d'integrations d'outils dans des pipelines agentiques

• Experience avec des cadres d'IA agentique tels que LangGraph, AutoGen ou le SDK Agent d'Anthropic / Claude Code

• Connaissances des modeles vision-langage ou de l'IA multimodale pour la comprehension et l'evaluation des interfaces utilisateur et des systemes

• Experience avec les plateformes infonuagiques d'apprentissage automatique comme Azure AI Foundry/ML ou AWS

Learn More

About Autodesk

Welcome to Autodesk! Amazing things are created every day with our software - from the greenest buildings and cleanest cars to the smartest factories and biggest hit movies. We help innovators turn their ideas into reality, transforming not only how things are made, but what can be made.

We take great pride in our culture here at Autodesk - it's at the core of everything we do. Our culture guides the way we work and treat each other, informs how we connect with customers and partners, and defines how we show up in the world.

When you're an Autodesker, you can do meaningful work that helps build a better world designed and made for all. Ready to shape the world and your future? Join us!

Salary transparency

Diversity & Belonging
We take pride in cultivating a culture of belonging where everyone can thrive. Learn more here: https://www.autodesk.com/company/diversity-and-belonging

Are you an existing contractor or consultant with Autodesk?

Please search for open jobs and apply internally (not on this external site).