10 conceptos sobre Big Data en la empresa

Tecnologías Big Data. Aunque hay soluciones propietarias, la mayoría de las soluciones que hay se basan en software libre. Técnicamente es lo más complejo, pues debes conocer el ecosistema de programas que componen Big Data y sus usos. Una gran parte se basa en HDFS de Hadoop y en procesamiento distribuido en decenas de servidores. Debido a la complejidad de software existen distribuciones que se encargan de alinear las distintas versiones que van surgiendo. Las más conocidas son Cloudera y HortonWork, pero hay otras en el mercado, y es interesante conocer sus diferencias.
Real Time o Fast Data.  Este concepto suena constantemente en las empresas, tener los datos en Real Time, Near Real Time, streaming, batch… Hay que especificar qué información es crítica para tener al milisegundo, segundo, minutos, días… y saber qué tecnologías se necesitan para procesarla.
Bases de datos NoSQL. Ha surgido una gran variedad de bases de datos específicas para ciertas funciones. Es un complejo ecosistema donde es importante conocer las diferencias y usos de estas bases de datos. También se habla de información semiestructurada y no estructurada. Hay que distinguir las dos clases de información y que herramientas hay para tratar cada una. Esta información luego se almacena en las bases de datos.

Modelación Las tecnologías Big Data están preparadas para tratar grandes volúmenes de información, con una gran variedad, y a una gran velocidad. Para entender, resumir y extraer insights de la información procesada se necesitan herramientas estadísticas. Hay una gran variedad de ellas y de algoritmos para extraer información. Saber qué clase de modelos, para qué sirven, y con qué herramientas es labor del personal de Big Data en la empresa. Insights son los aprendizajes que se obtienen de los datos y que son relevantes para el negocio.
Cloud computing. Si no se dispone de una plataforma con Big Data en la empresa, se puede disponer de la alternativa del cloud computing para procesar grandes volúmenes de información y con gran rendimiento sin necesidad de tener hardware en tu propia empresa, sino alquilando software en la nube.
BI Tradicional. El Business Intelligence sigue ahí, y el Big Data es una evolución de las tecnologías tradicionales. Se hace necesario conocer bien el BI tradicional para saber identificar bien las barreras entre uno y otro.
Privacidad. Uno de los temas más controvertidos en el mundo del Big Data: ¿Cuál es la privacidad de la información?¿Hasta qué punto se puede usar la información de los usuarios? Hay un debate sobre esto y seguro que impactará en el futuro.
Seguridad. Es el punto pendiente de estas plataformas. Las empresas exigen una gran seguridad para tratar los datos, y las plataformas Big Data deben evolucionar en este sentido. Ahora mismo es su talón de aquiles.
Agilidad. Queremos tratar más datos y más rápido, y para ello también hay que cambiar la forma de trabajo tradicional. La metodología Agile para desarrollar proyectos encaja a la perfección con Big Data, ya que los proyectos deben ser dinámicos.
Casos de uso. Nada de esto tiene sentido sin una aplicación práctica. Antes de empezar a tratar los datos debemos tener claro para qué lo vamos a hacer y si de verdad tiene alguna utilidad para la empresa. Si no, será un puro ejercicio académico que se quedará en el olvido.
Consulta la formación que ofrece ICEMD en Big Data aquí