Senior Qa Manager Jobs in Rigaud, QC (NOW HIRING)

ENGLISH WILL FOLLOW 

La technologie est au cur de toutes les offres d'Appnovation, du conseil a l'innovation numerique, en passant par la creation de produits et services digitaux. Le departement technologie se concentre sur la livraison de solutions logicielles qui permettent des experiences riches pour les utilisateurs, des applications mobiles et web a l'analytique avancee et l'apprentissage automatique, en passant par les plateformes de gestion de contenu et d'engagement.

Nos capacites technologiques reposent sur une expertise approfondie du cycle de vie du developpement logiciel, une creativite constante, une passion pour le metier et une collaboration etroite avec les autres disciplines - des ingredients essentiels a la reussite des experiences numeriques et des partenariats clients.

En tant qu'ingenieur QA / Evaluation IA, vous rejoindrez une equipe dynamique et experimentee dans un role tourne vers l'avenir, dont la mission est de demontrer concretement que la plateforme ameliore la qualite des reponses. Vous executerez des evaluations a grande echelle - de petits lots UAT humains jusqu'a des millions d'evaluations automatisees - mesurerez statistiquement l'ancrage factuel et les gains de precision, et construirez le cadre de metriques permettant de montrer l'amelioration de la qualite des reponses dans le temps.

RESPONSABILITES PRINCIPALES

• Executer des evaluations a grande echelle sur de larges ensembles de questions, des petits lots UAT humains jusqu'a des centaines de milliers ou millions d'evaluations automatisees.
• Mesurer statistiquement l'ancrage factuel et les gains de precision (avant/apres), au-dela des simples tests A/B humains.
• Construire un cadre de metriques illustrant l'amelioration de la qualite (ex. : la reponse est soutenue a X% par le contenu source / Y% meilleure ).
• Concevoir des tests de charge et de qualite a mesure que le corpus evolue.
• Definir et maintenir les plans de test, cas de test et criteres de qualite.
• Automatiser les suites de regression et d'evaluation et les integrer dans les pipelines CI/CD.
• Communiquer clairement les metriques de qualite aux parties prenantes techniques et non techniques.
• Collaborer avec l'ingenierie pour reproduire, trier et verifier les correctifs.
• Ameliorer continuellement les processus et la couverture QA.

QUALIFICATIONS

• Baccalaureat dans un domaine technique ou experience equivalente.
• 4 ans et plus en QA / ingenierie de test, avec une exposition aux systemes de donnees et d'apprentissage automatique.
• Maitrise de Python et des techniques de science des donnees pour mesurer l'ancrage factuel et la qualite des reponses.
• Experience avec les cadres d'evaluation de LLM et l'analyse statistique.
• Capacite a construire des harnais d'evaluation automatises a grande echelle ainsi que des tests A/B humains plus legers.
• Aisance a travailler avec les sorties de plusieurs fournisseurs de LLM.
• Maitrise des cadres d'automatisation de tests et des scripts.
• Souci du detail, avec de solides competences analytiques et de communication.

QUI VOUS ETES

• Vous pensez a comment automatiser et operer a grande echelle, pas seulement a resoudre le probleme immediat.
• Vous comprenez la pensee lean.
• Vous etablissez des standards eleves en matiere de qualite de code, de performance et de securite, et recherchez l'amelioration continue.
• Vous avez de solides competences analytiques, en resolution de problemes et en prise de decision.
• Vous adoptez une approche centree sur le client avec un vrai sens du service.
• Vous developpez des relations positives avec les parties prenantes internes et externes, tout en gerant plusieurs initiatives aux priorites parfois concurrentes.
• Vous faites preuve d'initiative, de passion et de fortes competences en communication et en collaboration dans un environnement transversal.
• Vous etes reactif et vous epanouissez dans un environnement rapide, diversifie et en constante evolution.
• Vous recherchez activement de nouveaux defis et apprenez rapidement de nouveaux concepts, modeles d'affaires et technologies.
• Vous avez une experience prealable en consultation.
• Une experience et des connections dans l'industrie des sciences de la vie sont un atout.

Technology is foundational to all of Appnovation's offerings, from consulting to digital innovation, to digital product and service creation. The technology department is focused on delivering software solutions that enable rich consumer experiences, from mobile and web applications to advanced analytics and machine learning, to content and engagement management service enablement platforms.

Inherent throughout our tech capabilities is deep expertise in the Software Development Life Cycle, a drive for creativity, a passion for the craft, and collaboration with other disciplines - all foundational ingredients in successful digital experiences and client partnerships.

As a QA / AI Evaluation Engineer, you will join a highly motivated and experienced team in a forward-leaning role that proves the platform actually improves answer quality. You will run evaluations at scale - from small human-UAT batches up to millions of automated evals - statistically measure factual grounding and accuracy lift, and build the metrics framework that shows how much better our answers get over time. We are looking for people who can bring a strong, solution-focused mindset and contribute to quality standards, best practices and get things done.

• Run evals at scale across large question sets, from small human-UAT batches up to hundreds of thousands or millions of automated evaluations.
• Statistically measure factual grounding and accuracy lift (before/after), not just human A/B testing.
• Build a metrics framework showing quality improvement (e.g., "answer is X% supported by source content / Y% better").
• Design load and quality tests as the corpus scales.
• Define and maintain test plans, test cases, and quality gates.
• Automate regression and evaluation suites; integrate them into CI/CD.
• Report quality metrics clearly to technical and non-technical stakeholders.
• Collaborate with engineering to reproduce, triage, and verify fixes.
• Continuously improve QA processes and coverage.

• Bachelor's Degree in a technical field or equivalent experience.
• 4+ years in QA / test engineering, with exposure to data/ML systems.
• Strong Python and data-science techniques for measuring factual grounding and answer quality.
• Experience with LLM evaluation frameworks and statistical analysis.
• Ability to build automated, large-scale eval harnesses plus lighter human-in-the-loop A/B tests.
• Comfort working across multiple LLM providers' outputs.
• Test automation frameworks and scripting.
• Detail-oriented, with strong analytical and communication skills.

• You think about how to scale, automate and operate, not just how to build a solution to an immediate problem
• You understand lean thinking
• You set high standards for code quality, performance/scalability and security and seek continuous improvement
• You have solid analytical, problem solving and decision-making skills
• You have customer first mindset and a devotion to customer service
• You engage and build positive internal and external client relationships, while managing multiple initiatives, often with competing priorities
• You have strong self-initiative, passion, interpersonal, oral and written communication and collaboration skills with the ability to work, influence and make an impact in a cross-functional environment with all levels of the organization
• You are responsive and thrive in a fast-paced diverse high-performance environment with rapidly changing business needs
• You actively seek out things outside your comfort zone with the ability to rapidly learn and take advantage of new concepts, business models, and technologies
• You have prior experience in consulting
• Prior experience and connections in the Life Sciences industry is preferred