EARTHSERVER: Datos en masa de la Tierra al alcance de la mano

El proyecto EARTHSERVER está ensanchando los límites del conocimiento sobre la Tierra al permitir a la comunidad científica acceder y analizar datos multidimensionales de una amplia gama de fuentes.

Las ciencias de la Tierra como la geología, la oceanografía y la astronomía generan cantidades masivas de datos. Sin las herramientas adecuadas se corre el riesgo de ahogarse en este mar de datos o que éstos queden archivados sin uso.

El proyecto EARTHSERVER pone al alcance de la mano de la comunidad científica «Datos en masa sobre la Tierra» que pueden ser manipulados sin apenas esfuerzo.

«El proyecto es el resultado de un tira y afloja», explicó Peter Baumann, profesor de ciencia informática de la universidad Jacobs de Bremen (Alemania) y coordinador del proyecto. «Por el lado de la demanda se necesitaban nuevos conceptos con los que gestionar la oleada de datos que se nos venía encima. Por el lado de la oferta contábamos con tecnología de cubos OLAP (datos en cubo) la cual está muy indicada para este ámbito». Un cubo OLAP es un estructura de datos de tres o más dimensiones de valores, utilizado comúnmente para describir una serie temporal de datos de imágenes.

Cubos OLAP para acceder a datos y representarlos visualmente

EARTHSERVER ha creado estructuras de datos en cubos avanzados y portales web personalizados para que la comunidad científica pueda extraer y representar datos pertenecientes a las ciencias de la Tierra en forma de cubos tridimensionales, mapas bidimensionales o diagramas unidimensionales. El Instituto geológico británico, por ejemplo, se ha valido de la tecnología de EARTHSERVER para realizar «perforaciones» tridimensionales en distintas capas de la Tierra.

«Para el usuario, los datos en cubo ocultan la complejidad innecesaria de los datos», informa el profesor Baumann. «Como usuario no quiero ver millones de archivos: quiero unos pocos datos en cubo».

La cantidad masiva de datos generada en las ciencias de la Tierra procede de sensores, imágenes, simulaciones y estadísticas, a menudo con dimensión temporal. Los datos forman normalmente mallas (ya sea regulares o irregulares) de valores con coordenadas espaciotemporales. EARTHSERVER convierte estas matrices en datos en cubo.

Además de ofrecer una gran facilidad de uso, las estructuras de datos en cubo permiten integrar datos de distintas disciplinas y combinar los obtenidos por mediciones con otros generados en simulaciones.

Basado en tecnologías previas

Para gestionar eficazmente datos en masa de la Tierra, EARTHSERVER ha ampliado tecnologías y estándares existentes. El lenguaje de consultas en bases de datos SQL, por ejemplo, orbita más hacia la manipulación de datos alfanuméricos.

Para utilizar datos en cubo, el proyecto se basó en rasdaman, un nuevo sistema de gestión de bases de datos especializado en datos reticulares denominadosráster o matrices. Rasdaman permite extraer información de matrices de datos en masa de la Tierra de cualquier tamaño con flexibilidad y rapidez.

«Básicamente, hemos hermanado el lenguaje de bases de datos SQL con el procesamiento de imágenes», aclara el profesor Baumann. «Esta técnica se está convirtiendo en parte de la norma ISO SQL».

Otras influencias notables en el proyecto han sido Big Earth Data Standards del Open Geospatial Consortium e INSPIRE, la infraestructura europea de información espacial.

Los investigadores de EARTHSERVER crearon además una tecnología de «paralelización semántica», capaz de subdividir una consulta a una base de datos en varias subconsultas. Éstas son enviadas a otros servidores de bases de datos para su procesamiento.

Este método permite a EARTHSERVER distribuir una consulta única a más de mil nodos en nube y ofrecer respuestas rápidas sobre cientos de terabytes en menos de un segundo.

Más y mejor: EARTHSERVER-2

EARTHSERVER-1, que estuvo activo desde septiembre de 2011 durante treinta y seis meses, recibió 4 millones de euros de financiación de la UE y contó con la participaron de socios de varios países. Los logros obtenidos durante la primera fase del proyecto sirvieron para solicitar financiación adicional a la Comisión Europea en apoyo de la siguiente fase, titulada EARTHSERVER-2.

Esta segunda fase, que arrancó en mayo de 2015, tratará sobre el paradigma de los datos en cubo y la gestión de volúmenes de datos incluso mayores. «El objetivo es abordar la fusión de datos procedentes de distintos dominios y resolver una consulta sobre un petabyte en menos de un segundo», declaró el profesor Baumann. «Para lograrlo el usuario podrá contemplar los datos en la pantalla y manipularlos de un modo interactivo». EARTHSERVER-2 trabaja para superar una nueva frontera, la representación cuatridimensional de código abierto.

(European Commission, CORDIS)