Se busca experto en arquitectura Big Data

A continuación se muestra el último landscape de Big Data que se ha publicado:

A primera vista podría parecer una de las famosas imágenes del libro ‘¿Dónde está Wally?’ que seguro que a más de uno le trae recuerdos. No es raro que personas que no están inmersas en el mundo de Big Data tengan esa sensación puesto que el conjunto de tecnologías albergadas bajo el paraguas de Big Data es muy grande.
Big Data es un término, en algunos casos, bastante abstracto que vamos a contextualizar para acotarlo. En primer lugar es necesaria la capa de Infraestructura para poder desplegar plataformas de Big Data. También son necesarias distintas tecnologías que tengan la capacidad de capturar datos, procesarlos y almacenarlos. Por último podríamos simplificar la arquitectura Big Data con una capa de explotación y análisis de los datos.
Sólo acotando a estas capas nos saldrían muchas tecnologías. Enumeraré las más conocidas sin detallar la parte de infraestructura (que abre otro debate interesante con las soluciones cloud):

• Captura de datos: Flume, Logstash, Kafka, RabbitMQ.
• Procesamiento de datos: MapReduce, Hive, Pig, Spark, Storm, Flink, Samza.
• Almacenamiento de datos: HDFS, HBase, MongoDB, Cassandra, Neo4J, Elasticsearch, Solr.
• Explotación de datos: Kibana, Grafana, Pentaho.
• Análisis de datos: R, Python, Weka, RapidMiner.

Estas, por supuesto, no son todas las tecnologías existentes, pero pueden ser las más representativas en cada una de sus capas. Con este mapa tecnológico tan amplio es necesaria una figura que tenga experiencia en algunas de las tecnologías y conozca en mayor o menor medida el resto de ellas. Pero, sobre todo, alguien que sea capaz de identificar su aplicabilidad según los diferentes casos de uso que defina el negocio. Ese perfil es el Arquitecto Big Data. Supongo que ahora se entenderá mejor la necesidad de esta posición y la criticidad que tiene en Big Data.

¿Qué perfiles profesionales acaban trabajando como experto en arquitectura Big Data?

Se podrían resumir en dos:

• El primero serían profesionales con background en Business Intelligence. Parece un movimiento natural ya que ambos perfiles procesan datos para generar indicadores que generen valor a las áreas de negocio.
• El segundo serían arquitectos en lenguajes de programación como Java que parten de una base sólida en arquitecturas software y suelen conocer diversas bases de datos relacionales, además de que cuentan con profundos conocimientos de programación.

Por supuesto, no serían los dos únicos pero son los más habituales que me he ido encontrando a lo largo de mi experiencia profesional en Big Data. Los expertos en arquitectura Big Data suelen estar en constante formación de las diferentes actualizaciones en las tecnologías existentes y en revisión de las tecnologías emergentes. Esto requiere una continua dedicación que no siempre se puede compaginar con el trabajo y, por lo tanto, conlleva a un esfuerzo adicional.
Con todo lo comentado hasta el momento se puede entender la importancia de este perfil en los equipos de desarrollo de Big Data, ya que una de las primeras fases de un proyecto debe ser la definición de la arquitectura sobre la cual se desarrollará. Según la tipología de proyecto y de empresa el Arquitecto Big Data puede desempeñar otros roles adicionales como podrían ser: Scrum Master (en proyectos Agile); Desarrollador Big Data (en pequeños equipos), o incluso Jefe de Proyecto que lleve las gestión y coordinación del proyecto. Todo esto hace que este puesto requiera ser multidisciplinar y disponer de distintas habilidades y conocimientos.
En ICEMD, El Instituto de la Economía Digital de ESIC, tenemos un compromiso con las profesiones del futuro y ofrecemos un Programa Superior en Big Data. Consulta toda la información en la web de ICEMD.