¿Hacia dónde se dirige la Ingeniería de Datos?

La Ingeniería de Datos o Data Engineering es un gran reto hoy en día, pero es un tema importante en el mundo de la tecnología. Con el mercado creciendo exponencialmente y la demanda de ingenieros de datos también aumentando, ¿cuál será el próximo capítulo de esta historia? Para discutir esto, el Director de Arquitectura de Datos, Advanced Analytics y Automatización de Keyrus, Luis Gustavo Scalise, comparte su perspectiva.

«La industria de datos está todavía en su infancia y tratando de definirse a sí misma. No está claro qué caminos y tamaños alcanzará este mercado, pero podemos decir con certeza que está creciendo a un ritmo rápido. Mientras que la ingeniería de datos con su conjunto de herramientas existe desde hace mucho tiempo (Talend e Informatica se están convirtiendo ya en adultos, por ejemplo), las arquitecturas «modernas» en la nube son todavía relativamente nuevas, lo que constituye una de las fuentes de entusiasmo en el sector. Algunas de las herramientas más populares que se utilizan hoy en día se crearon hace menos de 5 años.

Un indicador de la juventud del sector es la proliferación de nueva terminología, así como la dificultad para definir términos que se han hecho comunes en los últimos dos años. Incluso el propio ‘Data Stack moderno’ carece de definición en todo el sector, y términos como ‘Data Fabric’ y ‘Data Mesh’ se han utilizado para describir nuevas arquitecturas».

Conociendo estos hechos, Luis Gustavo Scalise identifica tres cambios en las responsabilidades de un ingeniero de datos:

• Los ingenieros de datos utilizarán aún más tecnologías propietarias en la nube y productos SaaS

• Los ingenieros de datos pasarán menos tiempo codificando y más tiempo supervisando (el código bajo está volviendo)

• Los ingenieros de datos pasarán de «equipos de características» a «equipos centrales» o Core teams.

Explica que los roles de datos y la estructura de los equipos se están convirtiendo en ventajas competitivas: «Detrás de todas estas tendencias en Data Stacks y herramientas está el gran movimiento que están haciendo las empresas para organizarse en torno a los datos». Un KPI que confirma esta afirmación es que las vacantes para ingenieros de datos han aumentado un 50% en los últimos dos años. En mi opinión, ya no se trata de tener el equipo adecuado, el conjunto de habilidades adecuado o la pila de datos adecuada, al menos ya no, sino de cómo se organizan los equipos de datos inteligentes en torno a esos puntos.»

En cuanto a las tendencias del mercado, a pesar de tantas nuevas herramientas y técnicas disponibles, el Director de Keyrus también identifica tres para que las empresas tengan éxito: ML for Advanced Analytics, Reverse ETL (ET inverso) y Data Observability.