Le défi de la collecte et de la gestion des données par l’Observatoire Vera C. Rubin
L’Observatoire Vera C. Rubin, qui a dévoilé cette semaine de superbes premières images, va collecter une quantité de données bien supérieure à ce que tout télescope précédent a pu fournir. Cela a incité les astronomes à se tourner vers le cloud computing – ainsi qu’à faire appel à sept courtiers et à un majordome des données.
Des données astronomiques sans précédent
Une fois pleinement opérationnel, l’Observatoire Rubin collectera 20 téraoctets de données chaque nuit. L’analyse de ces données donnera lieu à 10 millions d’alertes pour les astronomes, toutes gérées par des courtiers qui filtreront ce grand nombre d’alertes en quelque chose de plus gérable.
Un réseau mondial de traitement des données
Sur les dix prochaines années, l’Observatoire Vera C. Rubin collectera environ 500 pétaoctets de données, équivalant à environ un demi-million de disques Blu-ray 4K-UHD. Une copie des données brutes sera envoyée à trois centres de données différents pour le traitement, garantissant un suivi efficace des alertes intéressantes pour les astronomes.
La gestion des données grâce à Data Butler
Le majordome des données – Data Butler, gère l’ensemble du jeu de données, fournissant des descriptions accessibles aux astronomes pour trouver facilement ce qu’ils recherchent. Les astronomes peuvent effectuer des requêtes spécifiques pour récupérer les données dont ils ont besoin.
La collaboration avec les courtiers pour filtrer les alertes
Sept courtiers traiteront les 10 millions d’alertes chaque nuit, en utilisant des algorithmes d’apprentissage automatique et des méthodes de modélisation traditionnelles pour filtrer les alertes. Les astronomes pourront ainsi choisir les alertes qui les intéressent le plus.
Le défi de gérer une quantité impressionnante de données
Malgré le nombre impressionnant d’alertes à traiter, l’Observatoire Vera C. Rubin permettra aux astronomes de suivre les objets célestes de manière plus efficace que jamais. L’objectif est de fournir des données utiles et accessibles pour les recherches actuelles et futures dans le domaine de l’astronomie.
