ETH Zurich перенесла 100 петабайт данных NASA в швейцарский вычислительный центр

Швейцарская высшая техническая школа Цюриха скопировала около 100 петабайт открытых данных NASA в национальный суперкомпьютерный центр CSCS. Архив из 6,5 млрд файлов будут использовать для обучения ИИ-моделей прогнозирования погоды, климата и природных угроз.

Швейцарская высшая техническая школа Цюриха (ETH Zurich) сообщила о переносе примерно 100 петабайт общедоступных данных NASA в Швейцарский национальный суперкомпьютерный центр (CSCS) в Лугано. Архив насчитывает около 6,5 млрд файлов с информацией о парниковых газах, облачности, осадках, ледяных щитах и других компонентах климатической системы Земли.

Во время переноса специалисты ETH Zurich и CSCS составили каталог с метаданными о миссиях, времени и месте измерений, размерах и форматах файлов. Копия не останется статичной: система будет автоматически получать новые данные по мере их публикации NASA.

ETH Zurich планирует связать архив с вычислительными ресурсами суперкомпьютера Alps и подготовить данные для анализа и обучения ИИ-моделей. Такие модели должны дополнять традиционные системы прогнозирования погоды и помогать оценивать климатические изменения и природные угрозы.

Дополнительным мотивом для создания копии стала неопределённость вокруг некоторых американских сервисов данных из-за сокращения расходов в США. В дальнейшем в CSCS также предполагается перенести массивы Национального управления океанических и атмосферных исследований США (NOAA); доступ к собранным данным планируется предоставить исследователям из разных стран.