Smart Data: la ciencia (o arte) de extraer el valor del BigData

Datos por todas partes. Las nuevas tecnologías nos están permitiendo registrar cada vez más datos. Y las empresas están cada vez más interesadas en recoger esos datos para detectar patrones, lo que se traduce en la detección de hábitos de actuación y de consumo. Cómo nos movemos, cómo nos comunicamos, dónde pasamos nuestro tiempo, dónde compramos, qué aficiones tenemos, qué nos hace estar satisfechos, qué productos o servicios volvemos a adquirir… Esta información nos permite categorizar a cada cliente, ya que nuestro objetivo ahora ya no es hacer segmentos poblacionales para realizar acciones sobre dichos segmentos, sino personalizar las acciones, individualmente, para cada cliente. Y esto, que parecía inalcanzable hace algunos años (por varios factores, como la falta de tecnología para procesar ese volumen de datos y la imposibilidad en sí misma de recolectarlos en un mundo sin huella digital y rastro en la red), ahora es posible.










Pero no todo es marketing. La información también está llegando otros ámbitos, como el de la salud. Hoy en día, los datos permiten a los médicos realizar diagnósticos más acertados y proponer tratamientos más eficientes. Y si subimos un escalón y no nos limitamos a nuestra especie -sí, han leído bien- ya no solo hablaríamos de personas: podríamos ver cómo hemos diseñado sensores que monitorizan las máquinas que  tienen como tarea realizar diagnósticos preventivos y predictivos. De esta forma, podemos ver en qué estado se encuentran las necesidades que éstas demandan e incluso de comunicarse entre ellas mediante el IoT (Internet Of  Things). En efecto, se podría decir que estamos enseñando a las máquinas a hablar entre ellas.
Como ya hemos dicho, con Big Data recopilamos toda esta información. Un cluster de ordenadores que recogen la información en tiempo real, procesan en paralelo y almacenan los resultados procesados, además de las muestras originales para futuros estudios, o a la espera de otras muestras o variables que les introduzcamos. Y que nadie peque de ingenuo: aquí ya no se está hablando únicamente de cifras y nombres. Textos, vídeos, imágenes o archivos de voz ya se están tratando con BigData… Y a una gran velocidad.
Como primer paso está bien, ya que nuestra capacidad para recolectar y almacenar datos parece ser lo suficientemente grande como para ser significativa. Y con “significativa” nos referimos a que nos permite comprender y predecir lo que va a suceder en términos de mercado -y de otros ámbitos, por supuesto-. ¿Cuál es el segundo paso? Qué hacer con todo esto. La respuesta es fácil: sacar valor de toda esta información. Podemos tener miles de GigaBytes de información, pero si no sabemos usarlos, tratarlos e interpretarlos, son inútiles. Es aquí donde aparece el SmartData.
El SmartData no está enfocado en almacenar ni procesar información, sino en extraer valor de ella. Es aquí donde tiene más relevancia el factor humano, el conocimiento de negocio, el expertise. Esta tarea no es realizable por máquinas, y es donde aparecen los mejores analistas: los que saben los datos que tienen, qué se necesita saber y cómo obtenerlo.
¿Qué hacemos con todo este volumen? Cuál es la información relevante de toda la que hemos recogido o qué nivel de agregación se necesita son detalles que el analista debe pensar cada vez que se dispone a realizar un análisis, y será distinta cada tipo de estudio. Por lo que hay que resumir la información. Y de la velocidad… ¿no hablamos? Nada más lejos. Debemos saber con precisión qué acciones tienen sentido realizar en tiempo real, cuáles en tiempo casi-real y cuáles se pueden realizar cada hora, cada día, cada mes o cada año. Éstas son decisiones que el analista debe tomar dependiendo de la capacidad de procesado y de la capacidad de integración con otros procesos. No tiene sentido analizar la información cada segundo si solo podemos actuar cada 24 horas, por ejemplo. Simplemente la almacenaríamos para analizarla cada 24 horas-
Tengo una gran variedad de formatos. ¿Cómo afronto esto? Tenemos logs de máquinas textos, imágenes, vídeos, voz… pero cabe preguntarse qué queremos realmente de cada uno. Por ejemplo: nos interesa en un vídeo su duración (tiempo); en una imagen saber si aparece un objeto (contenido); en la voz nos interesa el estado emotivo de la voz (catalogación), en un texto saber de lo que versa (tema). Son ejemplos de información no estructurada que nos puede resultar útil. Una vez más, el analista debe pensar qué es lo que puede ser adecuado para cada análisis.
Esto es hacer SmartData y, como supondréis, no puede ser realizado por máquinas… de momento. Los analistas deben especializarse en ello y añadir valor a los datos, porque en lo demás, la tecnología nos supera. La formación es un importante vehículo para la especialización. Por ello en ICEMD ofrecemos el Programa Superior en Big Data, del que puedes encontrar más información aquí. Y no olvidemos lo más importante: el Big Data lo realizan las máquinas, el SmartData las personas.