Spécialisation d'un modèle de langage pour la génération de gammes opératoires industrielles multi-étapes : injection d'un référentiel d'équipements par fine-tuning sur données structurées

Abstract

La synthèse automatique de procédés industriels par modèles génératifs a jusqu'ici porté sur la topologie des flowsheets (enchaînement d'opérations unitaires), sans sélection d'équipements dans un référentiel nommé ni spécification des conditions opératoires. Nous posons la question suivante : un modèle de langage ouvert de petite taille (8 milliards de paramètres) peut-il internaliser un référentiel encyclopédique de 444 familles d'équipements de procédés et générer, à partir d'une simple spécification entrée/sortie, une gamme opératoire conceptuelle — enchaînement ordonné de familles d'équipements identifiées par leur référence, avec ordres de grandeur des conditions opératoires ? Nous comparons empiriquement trois stratégies d'injection de connaissances : la distillation de contexte dans les poids (prompt baking), le fine-tuning supervisé en texte libre et le fine-tuning supervisé sur données JSON structurées, par adaptation de rang faible (LoRA) — ainsi qu'un baseline sans fine-tuning avec le référentiel complet en contexte. Les résultats montrent (i) que le prompt baking échoue au-delà de quelques milliers de tokens (effondrement génératif sur un prompt de 59 203 tokens), (ii) qu'à modèle de base constant, le fine-tuning en texte libre ne restitue aucune référence du référentiel (0/10) tandis que le fine-tuning JSON produit des sorties valides avec références exactes (5/5) — contraste attribuable au format sous réserve d'une ablation à contenu strictement constant, les deux datasets différant aussi par leur composition —, (iii) qu'un dataset de 166 exemples suffit, en 40 minutes d'entraînement sur une station de travail personnelle, pour obtenir un modèle générant des gammes multi-étapes conformes aux pratiques industrielles documentées sur les cas vus en entraînement, (iv) que les baselines sans fine-tuning atteignent l'exactitude référentielle par recopie du catalogue (31/32 avec le catalogue seul, 33/36 en ajoutant des exemples few-shot) mais peinent sur la validité industrielle des enchaînements (0/5 puis ~1/5), et (v) qu'hors du domaine du corpus (15 procédés puis 3 cas extrêmes) le modèle fine-tuné présente la dissociation inverse — enchaînements plausibles mais ancrage référentiel effondré (2/91 puis 0/19). Cette double dissociation — exactitude sans grammaire, grammaire sans exactitude — montre que exactitude référentielle et validité des enchaînements sont deux compétences séparables, acquises par des mécanismes distincts. Nous discutons les limites de l'étude — conformité industrielle appréciée qualitativement, réentraînement sans fuite à mener, variables non contrôlées — et positionnons l'approche par rapport aux générateurs de flowsheets à base de transformers et aux agents LLM en génie des procédés.