La Nota Económica

¿Hacia dónde se dirige la Ingeniería de Datos?

Imagen de La Nota Económica

La Nota Económica

Categoría: Noticias
negocios-reunion-plan-analisis-grafico-empresa-estrategia-financiera

La Ingeniería de Datos o Data Engineering es un gran reto hoy en día, pero es un tema importante en el mundo de la tecnología. Con el mercado creciendo exponencialmente y la demanda de ingenieros de datos también aumentando, ¿cuál será el próximo capítulo de esta historia? Para discutir esto, el Director de Arquitectura de Datos, Advanced Analytics y Automatización de Keyrus, Luis Gustavo Scalise, comparte su perspectiva.

«La industria de datos está todavía en su infancia y tratando de definirse a sí misma. No está claro qué caminos y tamaños alcanzará este mercado, pero podemos decir con certeza que está creciendo a un ritmo rápido. Mientras que la ingeniería de datos con su conjunto de herramientas existe desde hace mucho tiempo (Talend e Informatica se están convirtiendo ya en adultos, por ejemplo), las arquitecturas «modernas» en la nube son todavía relativamente nuevas, lo que constituye una de las fuentes de entusiasmo en el sector. Algunas de las herramientas más populares que se utilizan hoy en día se crearon hace menos de 5 años.

Un indicador de la juventud del sector es la proliferación de nueva terminología, así como la dificultad para definir términos que se han hecho comunes en los últimos dos años. Incluso el propio ‘Data Stack moderno’ carece de definición en todo el sector, y términos como ‘Data Fabric’ y ‘Data Mesh’ se han utilizado para describir nuevas arquitecturas».

Conociendo estos hechos, Luis Gustavo Scalise identifica tres cambios en las responsabilidades de un ingeniero de datos:

• Los ingenieros de datos utilizarán aún más tecnologías propietarias en la nube y productos SaaS

• Los ingenieros de datos pasarán menos tiempo codificando y más tiempo supervisando (el código bajo está volviendo)

• Los ingenieros de datos pasarán de «equipos de características» a «equipos centrales» o Core teams.

Explica que los roles de datos y la estructura de los equipos se están convirtiendo en ventajas competitivas: «Detrás de todas estas tendencias en Data Stacks y herramientas está el gran movimiento que están haciendo las empresas para organizarse en torno a los datos». Un KPI que confirma esta afirmación es que las vacantes para ingenieros de datos han aumentado un 50% en los últimos dos años. En mi opinión, ya no se trata de tener el equipo adecuado, el conjunto de habilidades adecuado o la pila de datos adecuada, al menos ya no, sino de cómo se organizan los equipos de datos inteligentes en torno a esos puntos.»

En cuanto a las tendencias del mercado, a pesar de tantas nuevas herramientas y técnicas disponibles, el Director de Keyrus también identifica tres para que las empresas tengan éxito: ML for Advanced Analytics, Reverse ETL (ET inverso) y Data Observability.

Imagen de La Nota Económica

La Nota Económica

Una salida formal al ‘gota a gota’

SECCIÓN DE OPINIÓN - WEB
Por Maria Clara Hoyos Jaramillo, presidenta ejecutiva de Asomicrofinanzas. Hay una cifra que debería incomodarnos como país: Según ANIF y...

La Nota Económica en entrevista con Jesse Knutson, líder de operaciones de Bitfinex Securities

Retrato corporativo Jesse Knutson
Bitfinex Securities es una plataforma regulada para la emisión y negociación de valores tokenizados y una filial de Bitfinex, la...

Helicópteros, drones y 72 torres: la apuesta de ingeniería para llevar nueva energía al sistema eléctrico nacional

PR Pema - Ingeomega (1) (1)
Como aliado de Grupo Colviva S.A.S., Ingeomega avanza en la ejecución de un proyecto que permitirá conectar una pequeña central...

Más de 9 millones de colombianos trabajan de manera independiente y el celular gana espacio como herramienta laboral

Imagen 2
El trabajo independiente continúa teniendo un peso importante en el mercado laboral colombiano. De acuerdo con cifras del Departamento Administrativo...

Más productos
La Nota

La Nota educativa

La Nota Empresarial

Eventos La Nota

Contacto

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus.
Teléfonos:
E-mail: