Data Engineer Descripción del Puesto Estamos en búsqueda de un Data Engineer altamente motivado y experimentado, con al menos 5 años de experiencia en la creación, implementación y mantenimiento de sistemas de procesamiento de datos.
Nuestra misión es brindar soluciones de datos eficientes y escalables que ayuden a nuestros clientes a tomar decisiones informadas basadas en información precisa.
Como Data Engineer, serás responsable de diseñar, implementar y mantener sistemas de procesamiento de datos que cumplan con los más altos estándares de calidad y eficiencia.
Trabajarás en un entorno colaborativo con equipos multifuncionales para comprender las necesidades de datos y proporcionar soluciones adecuadas.
Tu experiencia será clave para asegurar la calidad e integridad de los datos mediante pruebas y validaciones rigurosas, así como para llevar a cabo la monitorización y mejora continua de los pipelines de datos existentes.
Responsabilidades Diseñar, implementar y mantener sistemas de procesamiento de datos que sean escalables y eficientes.
Utilizar Airflow para orquestar y programar flujos de trabajo de ETL (Extracción, Transformación y Carga).
Implementar soluciones en Google Cloud Platform (GCP) , garantizando la integración fluida con otros servicios y herramientas.
Colaborar con equipos multifuncionales para comprender las necesidades de datos y proporcionar soluciones adecuadas.
Asegurar la calidad y la integridad de los datos mediante pruebas y validaciones rigurosas.
Llevar a cabo la monitorización y mejora continua de los pipelines de datos existentes .
Documentar procesos y arquitecturas de datos para su mantenimiento y escalabilidad.
Evaluar nuevas tecnologías y métodos para mejorar la eficiencia y efectividad de nuestros procesos de datos.
Requisitos: Implementación y administración de Soluciones Big Data( Principalmente Cloudera, Opcional/Alternativo Azure, AWS, o GCP)- Mínimo 5 años Lenguaje de Programación Python o Scala - Mínimo 5 años.
Implementación de Arquitectura Lambda - Mínimo 4 años.
Implementación en Modelos Dimensionales - Mínimo 3 años.
Manejo de Herramientas de Orquestación (Airflow, Jenkins, Oozie)- Mínimo 2 años.
Desarrollo en Spark - Mínimo 4 años.
Manejo e Implementación de Dockers o Kubernetes - Mínimo 2 años.
Implementación Arquitectura Kappa- Mínimo 3 años