Comment Monoprix a migré son datawarehouse dans le cloud avec Snowflake

Spread the love
  • Yum

Comment Monoprix a migré son datawarehouse dans le cloud avec Snowflake

Les grandes entreprises migrent progressivement leurs infrastructures de données dans le cloud public. Après le data lake, la prochaine étape est pour nombre d’entre elles l’entrepôt de données, ou datawarehouse.

C’est ce chantier qu’a mené pendant plus d’un an Monoprix. Et pour basculer dans le cloud, l’enseigne de la distribution a fait le choix d’un éditeur qui monte, avec une récente introduction en bourse à New York : Snowflake.

publicité

66 To de données scannées par magasin

L’entreprise compte ainsi un client de renom de plus à son tableau de chasse. Monoprix, c’est en effet en France 590 magasins, 800 000 clients par jour et 5 millions de détenteurs de sa carte distributeur. Et c’est sans compter les transactions enregistrées par le biais de ses services en ligne.

Avec une telle base de clients, Monoprix dispose donc d’un volume très conséquent de données (66 To de données scannées par magasin). En créant une plateforme data unique, l’entreprise entend développer de nouveaux usages de ces données, notamment pour le marketing. Or, avec un datawarehouse legacy, le développement de ces usages se heurtait à des limitations techniques.

« Cette architecture historique, qui a parfaitement tenu son rôle et bien fonctionné ces dernières années, commençait à montrer ses faiblesses », commente Damien Pichot, directeur des opérations de Monoprix, en charge de la DSI.

Et ces limites étaient particulièrement palpables chaque lundi, à l’occasion des analyses de chiffre d’affaires réalisées par les métiers, notamment afin d’alimenter les comités commerciaux. Les temps de réponse aux requêtes (1 million par semaine) n’étaient plus acceptables. Cette saturation favorisait en outre le développement du shadow IT dans le domaine de l’analytics, en particulier parmi les équipes marketing.

Créer « une rupture » en migrant sur le cloud

« La DSI n’était pas au service des métiers et ne répondait surtout pas à leurs attentes », reconnaît le cadre de Monoprix. L’enseigne devait donc réinvestir dans l’infrastructure on-premise de son entrepôt de données. Le Codir IT a alors considéré que le moment était venu « de créer une rupture, et surtout se remettre en cause ».

La nouvelle architecture devait dès lors répondre à quatre impératifs : redonner la main aux métiers en leur apportant de l’autonomie ; fournir un service performant ; baisser les coûts de fonctionnement ; créer enfin une plateforme de données unique mutualisant l’ensemble des données du datalake et du datawarehouse pour les enjeux business, décisionnels, machine learning et data science.

Très rapidement, la conclusion en faveur d’une migration dans le cloud s’impose au sein de la DSI. Une évidence pas si évidente cependant, dans une entreprise dont la politique interne ne privilégie en effet pas le cloud, “à l’époque”.

Un PoC avec Snowflake débute néanmoins en octobre 2018. Ce pilote se traduit par des performances supérieures à celles de l’infrastructure existante. La solution répond de plus aux attentes en matière de partage de données, mais aussi de robustesse et de disponibilité.

Une migration complexe des données sur 15 mois

Damien Pichot a cependant dû lever les réticences internes à l’égard du cloud. « Snowflake vous donne un niveau de sécurisation des données équivalent à ce qui est utilisé dans l’industrie pharmaceutique et bancaire aux Etats-Unis », souligne ainsi le directeur des opérations de Monoprix.

Cette question du cloud n’était toutefois pas la seule difficulté. Dans l’entreprise, le datawarehouse occupe une place centrale, et inhabituelle, dans les traitements. « Lui-même fait des calculs et redonne de l’information au sein de notre SI. »

La migration devait donc être rapide pour ne pas affecter les autres projets internes. Le calendrier du projet, baptisé MAD (modernisation d’architecture de data), prévoyait initialement une migration sur 12 mois, avec un démarrage en mars 2019. Ce délai s’allongera finalement de trois mois en raison de la complexité liée aux connecteurs et au poids du legacy.

Mais le patron de la DSI préfère insister sur l’implication de l’ensemble des métiers et utilisateurs des données. « Je ne voulais pas que ce soit un projet informatique. C’est un projet d’entreprise. C’est d’ailleurs un des facteurs clé de succès. Ce type de projet doit être porté par les métiers, et fait pour eux », insiste-t-il.

Données structurées et semi-structurées convergent vers le cloud

Désormais, les deux sources de données, structurées et semi-structurées, convergent vers des ETL dans une plateforme unique exécutée sur Snowflake dans le cloud Microsoft Azure. Depuis près de 4 mois, le nouvel entrepôt de données est en production chez Monoprix. Et pour son artisan, les résultats sont au rendez-vous.

Pour les métiers, c’est la disparition des temps d’attente et des analyses plus profondes. Les requêtes s’exécutent ainsi désormais en quelques minutes, contre plusieurs heures auparavant. L’élasticité fournie par le cloud permet en outre d’adapter les ressources en fonction de la demande, évitant les goulots d’étranglement.

« Nous avons satisfait tous les utilisateurs sur les solutions de data science et de machine learning », se félicite encore Damien Pichot. En matière de partage de données aussi, le dirigeant affiche sa satisfaction. Les données de contacts clients étaient auparavant mises à jour deux fois par an. Ce travail nécessitait, entre autres, 15 jours de préparation des données par le marketing.

Désormais, le plan de contacts s’effectue par le biais d’un prestataire, qui se connecte directement à Snowflake, de façon hebdomadaire. Du côté de la DSI, cette plateforme unique se traduit par une réduction de 30 % des coûts d’exploitation, avec en outre de la sécurité et de la redondance sur les données.

Mais la nouvelle architecture permet surtout de nouveaux usages, comme la monétisation de la donnée auprès de certains fournisseurs et prestataires. C’est particulièrement vrai aussi en ce qui concerne le machine learning, au travers notamment de l’utilisation de Dataiku.

« Nous utilisons beaucoup plus de machine learning, en particulier pour la partie supply chain. Nous étions très limités avant par des profondeurs d’historique et des volumes de données. Aujourd’hui, on peut même aller jusqu’à prévoir des ruptures et les suivre », conclut le directeur des opérations de Monoprix.

Leave a Reply

Your email address will not be published. Required fields are marked *