Descripción del empleo:
Importante empresa de Software incorpora Data Engenier.
**Responsabilidades**:
Diseñar, desarrollar, probar y mantener arquitecturas de datos complejas, a gran escala y de alto rendimiento, que den soporte a la integración de datos (por lotes y en tiempo real, patrones ETL y ELT de sistemas de datos heterogéneos: APIs y plataformas), almacenamiento (data lakes, warehouses, marts, etc), procesamiento, orquestación e infraestructura. Garantizar la escalabilidad, la fiabilidad y el rendimiento de los sistemas de datos.
Contribuir al diseño detallado, discusiones de arquitectura y sesiones de requisitos del cliente.
Participar activamente en el diseño, desarrollo y prueba de productos de big data..
Evaluar las mejores prácticas y diseñar esquemas que se ajusten a las necesidades empresariales para ofrecer una solución analítica moderna (descriptiva, de diagnóstico, predictiva, prescriptiva).
Diseñar y desarrollar código claro y mantenible con pruebas automatizadas utilizando Pytest, unittest, etc.
Colaborar con equipos interfuncionales y de Producto, Ingeniería, Científicos de Datos y Analistas para entender los requerimientos de datos y desarrollar soluciones de datos, incluyendo componentes reutilizables que cumplan con los entregables del producto.
Evaluar e implementar nuevas tecnologías y herramientas para mejorar la integración, el procesamiento, el almacenamiento y el análisis de datos.
Evaluar, diseñar, implantar y mantener soluciones de gobernanza de datos: catalogación, linaje, calidad de datos y marcos de gobernanza de datos adecuados para una solución analítica moderna, teniendo en cuenta las mejores prácticas y patrones estándar del sector.
Garantizar la calidad y precisión de los datos.
Skills tecnológicos solicitados:
Sólidos conocimientos de programación en uno o más lenguajes como Python (imprescindible), Scala, y competencia en la escritura de código eficiente y optimizado para la integración, almacenamiento, procesamiento y manipulación de datos.
Sólida experiência en el uso de Markdown para documentar código o herramientas de documentación automatizada (por ejemplo, PyDoc).
Sólida experiência con Tecnologías de Procesamiento de Datos escalables y distribuidas como Spark/PySpark (imprescindible: experiência con Azure Databricks es un plus), DBT y Kafka, para poder manejar grandes volúmenes de datos.
Sólida experiência en el diseño e implementación de procesos ELT/ETL eficientes en Azure y utilizando soluciones de código abierto siendo capaz de desarrollar soluciones de integración personalizadas según sea necesario.
Habilidad en la integración de datos de diferentes fuentes como APIs, bases de datos, archivos planos, streaming de eventos.
Experiência en limpieza, transformación y validación de datos.
Dominio de bases de datos relacionales (Oracle, SQL Server, MySQL, Postgres o similares) y bases de datos no SQL (MongoDB o Table).
Buena comprensión de los principios de modelado de datos y diseño de bases de datos. Ser capaz de diseñar e implementar esquemas de bases de datos eficientes que cumplan con los requisitos de la arquitectura de datos para soportar soluciones de datos.
Sólidos conocimientos de SQL.
Sólida experiência en el diseño e implementación de soluciones de Data Warehousing en Azure con Azure Synapse Analytics y/o Snowflake.
Sólida comprensión del ciclo de vida de desarrollo de software (SDLC), especialmente metodologías Agile.
Sólido conocimiento de las herramientas y tecnologías SDLC Azure DevOps, incluyendo software de gestión de proyectos (Jira, Azure Boards o similar), gestión de código fuente (GitHub, Azure Repos, Bitbucket o similar), sistema CI/CD (GitHub actions, Azure Pipelines, Jenkins o similar) y gestor de repositorios binarios (Azure Artifacts o similar).
Sólido conocimiento de los principios DevOps, incluyendo integración continua, entrega continua (CI/CD), infraestructura como código (IaC), gestión de la configuración, pruebas automatizadas y gestión de costes.
Conocimientos en computación en la nube, específicamente en servicios de Microsoft Azure relacionados con datos y análisis, como Azure Data Factory, Azure Databricks, Azure Synapse Analytics (anteriormente SQL Data Warehouse), Azure Stream Analytics, SQL Server, Azure Blob Storage, Azure Data Lake Storage, Azure SQL Database, etc.
Experiência en orquestación utilizando tecnologías como Apache Airflow
Fuertes habilidades analíticas para identificar y abordar problemas técnicos, cuellos de botella de rendimiento y fallas del sistema.
Competencia en la depuración y resolución de problemas en entornos y pipelines de datos y análisis complejos.
Buena comprensión de la calidad y la gobernanza de datos, incluida la aplicación de controles de calidad de datos y procesos de supervisión para garantizar que los datos sean precisos, completos y coherentes.
Experiência con soluc