Stockage objet sur bande : Le logiciel d’archivage Fujifilm allie le S3 avec une vitesse d’écriture record et une sécurité maximale

Spread the love
  • Yum

Fujifilm lance un logiciel d’archivage développé spécialement pour écrire des objets sur bandes : le Software-defined Tape. Il opère comme une passerelle S3 entre une solution stockage objet et un système de bandes. Grâce à sa vitesse d’écriture record et à sa grande flexibilité, il s’adapte à un large éventail de capacités. 

Il peut absorber jusqu’à plusieurs centaines de PBs et atteint un taux de transfert opérationnel de 205 MB/s pour des fichiers de 10MB, ce qui est 10 fois plus rapide que les systèmes de bandes classiques et 20 fois plus rapide que le disque dur.  

Ce logiciel permet ainsi à un utilisateur d’installer, au sein de son propre Datacenter, un cloud privé de type stockage Glacier tout en renforçant le niveau de sécurité des données et en optimisant les coûts de stockage.

publicité

Le Graal du stockage de données : une vitesse d’écriture maintenue à un niveau record

Continuellement à l’écoute des nouveaux usages de la bande pour la rendre toujours plus facile à utiliser et plus efficace, Fujifilm s’attaque au sujet du stockage objet et profite de cette occasion pour résoudre l’enjeu fondamental de la vitesse d’écriture auquel toutes les technologies de stockage sont confrontées. 

La sauvegarde d’un grand nombre de petits fichiers provoque des arrêts du système ce qui induit une dégradation mécanique de la vitesse d’écriture qui s’amplifie à mesure que la taille des fichiers diminue.

Cette problématique se révèle d’autant plus cruciale ici, que le stockage objet peut être un facteur aggravant de la détérioration de la vitesse. Son organisation linéaire des données implique de sauvegarder chaque objet un par un contrairement au système de fichiers qui, par sa structure, permet de regrouper les fichiers dans des dossiers d’archivage ou, par exemple, sous forme de « containers » de type tar.

Si les lecteurs de bandes bénéficient d’outils permettant d’atténuer ce phénomène tels que le buffer, efficace pour des fichiers de plus de 500MB, et le système Skip Sync d’IBM pour des fichiers entre 200MB et 500MB, l’écriture d’un grand nombre de très petits fichiers va inéluctablement ralentir les opérations de sauvegarde. 

Le risque est, alors, de constater une chute de la vitesse opérationnelle d’écriture sur bande LTO à 10-15MB/s, voire jusqu’à 5MB/s sur un disque.

Pour y remédier, le principe du Software-defined Tape est d’éviter l’accumulation d’arrêts en écriture entre les petits fichiers. Il va donc regrouper les objets en packs avant de les écrire sur bande et générer ainsi « un fichier unique» de 1GB à 10GB qui sera écrit sur bande d’une traite. 

C’est l’OTFormat, la nouvelle technologie d’écriture sur bande développée par Fujifilm, qui permet d’écrire ces packs d’objets sur bande et de réduire considérablement le nombre d’arrêts en écriture.  Le Software-defined Tape arrive ainsi à maintenir le taux de transfert spectaculaire de 205MB/s pour des fichiers de 10MB.


Fujifilm a choisi l’interface S3, populaire et facile à utiliser

Pour faciliter la communication entre les systèmes de bandes et le plus grand nombre de solutions stockage objet, le Software-defined Tape utilise les protocoles natifs S3 et S3 Glacier.  Le protocole S3 est aujourd’hui le standard pour la transmission des objets. 

Il est déjà largement adopté par les solutions stockage objet.  S3 est un protocole de transfert des données gratuit, ouvert et simple à programmer grâce à la publication de ses APIs. 

La popularité des services cloud d’Amazon et la disponibilité des APIs S3 motivent les fabricants de logiciels et les utilisateurs à les intégrer dans leurs solutions et infrastructures. Le protocole S3 Glacier permet à l’utilisateur de restaurer, en toute transparence, ses objets depuis les bandes vers le disque de sa solution stockage objet.

Une sécurité renforcée pour les données et leurs métadonnées

Là encore, dans sa volonté d’adapter le Software-defined Tape à toutes les spécificités du stockage objet, Fujifilm s’est concentré sur la protection des métadonnées dont la perte peut gravement entraver l’accès aux données.

En effet, ce sont les métadonnées qui, comme des étiquettes d’identification, servent de critères de recherche pour retrouver les objets. Sans elles, il devient compliqué voire impossible de savoir quel objet correspond à quelles données. Y accéder devient donc un vrai problème.

Le Software-defined Tape, au-delà des 2 copies de la base des métadonnées conservées sur son serveur, impose systématiquement et automatiquement l’écriture de 4 copies des métadonnées sur une même bande avec les données. 

Elles profitent, donc, au même titre que les données, de tous les avantages de la bande en matière de sécurité : une protection contre les virus et les hackers, un niveau d’intégrité 10 000 fois supérieur à celui du disque dur, une durée de vie en archivage, au-delà de 30 ans, 7 fois plus longue que celle du disque dur fragilisé par ses nombreuses parties mécaniques. Et ce ne sont ici que quelques-uns des avantages de la bande sur les autres technologies de stockage. 

De 1PB à plusieurs centaines de PB, le Software-defined Tape s’adapte à toutes les capacités.

L’évolutivité du système du Software-defined Tape et la flexibilité de l’abonnement à ce logiciel participent à cette recherche de simplicité de la part de Fujifilm. Il supporte jusqu’à 128 milliards d’objets, 64 serveurs et 256 lecteurs de bandes.  Il est compatible avec les lecteurs LTO7 et LTO8, il le sera avec les lecteurs 3592 d’IBM TS1155 et TS1160 début 2021 et avec le LTO9 dans le courant de cette même année.

Agnostique en matière de marque de matériel, le Software-defined Tape fonctionne avec la plupart des librairies de bandes disponibles sur le marché, d’une librairie IBM TS4300 de 280 slots à plusieurs librairies IBM TS4500 contenant jusqu’à 23 700 slots LTO chacune, et avec tous les serveurs bénéficiant des performances minimales nécessaires à son utilisation.

De même, sa formule d’abonnement est basée sur deux critères : la capacité à archiver et la durée du contrat. Sa flexibilité permet de couvrir toute croissance de données imprévue. Sa licence comprend la quantité de bandes nécessaires à l’écriture de 1 à 3 copies selon le choix de l’utilisateur. 

Celles-ci seront réalisées simultanément et automatiquement par le Software-defined Tape. Ainsi, pour un abonnement de 10PB sur 5 ans, 2 copies sont comprises dans la formule standard,  et 17 000 bandes LTO8, soit l’équivalent de 20PB, seront fournies avec le logiciel.

Pour un vrai confort d’utilisation  Fujifilm a ajouté des fonctionnalités qui permettent aux utilisateurs de gérer leur archivage directement depuis l’interface de l’application stockage objet et d’être assurés de la continuité de leurs opérations grâce à un système de path-failover.

On pourrait résumer toute la philosophie de ce logiciel d’archivage par cette volonté forte de Fujifilm de faciliter la vie des utilisateurs.  Visant une totale sérénité, le Software-defined Tape répond, à la fois, aux enjeux spécifiques portés par le stockage objet et aux exigences élevées des entreprises en matière de conservation des données à long terme particulièrement en matière de sécurité des données et d’optimisation des coûts. On sait que le coût d’utilisation de la bande est, en moyenne, 5 fois inférieur à celui du disque dur, notamment en raison de sa faible empreinte écologique. Et pour aller toujours plus loin, Fujifilm profite de sa première incursion dans le domaine du logiciel d’archivage pour révolutionner la question de la vitesse d’écriture. 

Leave a Reply

%d bloggers like this: