Big Data, el sistema para la gestión de datos a gran escala, es cada vez mayor y requiere de un nuevo profesional: el ingeniero de datos y otras especialidades que ayuden a desarrollar, construir y probar nuevas arquitecturas para el procesamiento de datos.
Esta tecnología es cada vez más la solución que se visualiza para múltiples funciones, sea para la planificación urbana, el transporte inteligente, la vigilancia medioambiental, el ahorro de energía, los análisis financieros, la seguridad nacional, la seguridad informática y otras múltiples funciones.
El almacenamiento y uso intensivo de los datos puede reducir el costo de la atención médica y mejorar su calidad, además de una atención más preventiva y personalizada basada en un seguimiento continuo y extenso de las actividades y síntomas de las personas.
Para semejante misión, los retos surgen de inmediato, ya que nos vemos obligados a tomar decisiones sobre qué datos conservar y cuáles descartar, cómo almacenarlos de manera confiable.
Los datos actuales son de tipologías muy diversas: los tuits y los blogs son fragmentos de textos débilmente estructurados, mientras que las imágenes y los videos están preparados, en una primera instancia, para su almacenamiento y visualización, pero no así para su búsqueda y análisis.
Transformar los contenidos en un formato adecuado para su posterior análisis es un desafío importante. El valor de los datos aumenta considerablemente cuando pueden vincularse con otros datos, por lo que la integración de datos es otro reto relevante.
Como la mayoría de los datos se generan ahora directamente en formato digital, tenemos la oportunidad de influir en la creación de estos para facilitar el enlace y vincular automáticamente los datos creados previamente.
Por otra parte, los métodos para consultar y extraer conocimiento de los datos actuales son fundamentalmente diferentes a los análisis estadísticos tradicionales en muestras pequeñas.
Los datos en el mundo de Big Data son distribuidos, tienen ruido, son dinámicos, heterogéneos, interrelacionados y en muchos casos poco fiables. Sin embargo, incluso los datos con mucho ruido podrían ser más valiosos que las muestras pequeñas, porque los patrones obtenidos suelen dominar las fluctuaciones individuales y, a menudo, revelan patrones y conocimientos ocultos más confiables.
Además, interconectando grandes redes de información heterogénea, se puede explorar la redundancia para compensar los datos que faltan, verificar casos conflictivos, validar relaciones y descubrir nuevas relaciones y modelos ocultos.
Ante este escenario, el mundo de los datos necesita un nuevo profesional: el ingeniero de datos, que además de todo lo anterior deberá tener en cuenta la seguridad y la confidencialidad de los datos, más aún a partir de la entrada en vigor el mes de mayo del reglamento europeo de protección de datos personales.
Este ingeniero informático deberá tener conocimientos avanzados de ingeniería del software y sistemas de información, además de conocer las características de los datos, el tipo de consultas frecuentes que son interesantes para la entidad correspondiente y los aspectos en los que la entidad está interesada en mejorar a través de la gestión intensiva de datos.
Deberá, además, conocer el hardware disponible y sus posibilidades, identificar las técnicas de almacenamiento eficiente, el procesamiento de datos en arquitecturas avanzadas y distribuidas, así como técnicas de ingeniería del software.
Adicionalmente, este especialista deberá conocer la legislación y las normativas referidas a la seguridad y la confidencialidad de los datos, incluso disponer de habilidades de comunicación adecuadas para interactuar con diferentes perfiles de usuarios de los datos.
Esta especialidad en el mundo de Big Data deberá ser complementada con la del científico de datos, para buscar nuevos algoritmos o usar los disponibles para extraer los patrones de los datos.
Este documento fue realizado con la colaboración de Miguel Toro, Aranza Illarramendi, Francisco Ruiz, catedráticos de las Universidades de Sevilla, País Vasco y Castilla La Mancha.
Nota: Agustín Torres, director de eShow, la feria tecnológica del comercio electrónico realizada recientemente en Madrid, comenta que en Estados Unidos, un experto en inteligencia artificial puede llegar a ganar hasta medio millón de euros al año.
