About this role
Summary: The Machine Learning Engineer will industrialize ML and Generative AI models on Azure Databricks, designing MLOps platforms and deploying solutions using Microsoft Azure. Responsibilities include developing RAG and agent-based AI systems, optimizing inference pipelines, and ensuring robust software engineering pract...
Vos missions :
- Industrialiser les modèles de Machine Learning et d’IA Générative : collaborer étroitement avec les Data Scientists pour transformer leurs modèles en produits prêts pour la production.
- Concevoir et opérer des plateformes MLOps sur Azure Databricks : MLflow (tracking, Model Registry dans Unity Catalog), Feature Engineering, Mosaic AI Model Serving, Lakeflow Jobs, Databricks Asset Bundles.
- Développer des solutions d’IA Générative sur Databricks : RAG avec Mosaic AI Vector Search, agents avec Agent Framework / Agent Bricks, évaluation et traçabilité avec MLflow.
- Déployer des solutions ML et GenAI sur l’écosystème Microsoft Azure : Azure Machine Learning (pipelines, registry, endpoints), Azure AI Foundry, Azure OpenAI, Azure AI Search, Azure AI Services, Azure Functions.
- Concevoir et optimiser des pipelines CI/CD pour l’entraînement, l’évaluation et le déploiement continu des modèles (GitHub Actions, Azure DevOps, Docker).
- Mettre en place le monitoring des modèles en production : dérive des données et des modèles, qualité des prédictions, latence et coûts.
- Optimiser les processus d’inférence batch et temps réel pour garantir scalabilité et maîtrise des coûts.
- Promouvoir les bonnes pratiques de Software Engineering : revues de code, tests unitaires et d’intégration, gestion des dépendances.
- Participer au cadrage de projets IA : recueil des besoins, définition de l’architecture et de la solution technique, accompagnement des Product Owners et des équipes métiers.
- Participer à la conception d’offres innovantes autour du MLOps, de l’IA Générative (RAG, agents, LLMOps)... et à leur promotion.
### Profile
Compétences techniques attendues :
- Expérience significative d’au moins 3 ans dans la data
- Maîtrise des technologies Microsoft Azure, Azure Databricks
- Utilisation des coding agents : Claude Code, GitHub Copilot etc….
- Expérience dans le déploiement et le monitoring de modèles en production
- Solide expérience en Software Engineering appliqué à la Data / IA : Python, Git, Docker, CI/CD.
- Maîtrise d’Azure Databricks pour le Machine Learning et l’IA :
- Cycle de vie des modèles avec MLflow : suivi des expériences, Model Registry dans Unity Catalog (versions, alias, lignage), évaluation des modèles.
- Feature Engineering : tables de features dans Unity Catalog, features en ligne pour l’inférence temps réel.
- Mosaic AI Model Serving : déploiement de modèles custom, Foundation Model APIs et modèles externes (Azure OpenAI), AI Gateway (quotas, guardrails, suivi des usages).
- Inférence batch : AI Functions (ai\_query), Pandas UDF, Spark.
- IA Générative et agents : Mosaic AI Vector Search, RAG, Agent Framework / Agent Bricks, MLflow Tracing et évaluation des LLM.
- Monitoring : Lakehouse Monitoring et inference tables (dérive des données, qualité des prédictions).
- Entraînement à l’échelle : PySpark, Delta Lake, clusters GPU, entraînement distribué (TorchDistributor, Ray), optimisation des hyperparamètres (Optuna), AutoML.
- Industrialisation : Databricks Asset Bundles, MLOps Stacks, Lakeflow Jobs, Git folders, CI/CD.
- Gouvernance et coûts : Unity Catalog (droits, lignage des modèles et des données), compute serverless, maîtrise des coûts.
- Atout : Databricks Apps pour exposer des applications IA aux métiers.
- Maîtrise de l’écosystème MLOps Microsoft Azure : Azure Machine Learning (Pipelines, Model Registry, Endpoints), Azure AI Foundry, Azure AI Search, Azure Functions, Azure DevOps.
- Bonne compréhension des concepts de Machine Learning et des enjeux spécifiques de l’IA Générative (LLMOps, RAG, évaluation des LLM).
### Recruitment process
- 1er échange téléphonique de fit pour vous présenter, présenter votre parcours et vos motivations
- 2ème échange RH pour bien comprendre vos ambitions et vos motivations mais aussi pour vous projeter sur votre rôle au sein de Datatorii (durée : 45mn à 1h, Teams ou présentiel)
- 3ème et dernier échange avec un Directeur Technique selon votre profil pour valider votre niveau technique
Nous sommes agiles ! Ces entretiens peuvent se faire en visio et/ou en présentiel, dans cet ordre ou un autre.