INGENIERO DE DATOS (EXPERTO)

Tipo de colaborador

Objetivo del puesto

Diseñar,desarrollar y mantener las tuberías de datos de la organización,asegurando la disponibilidad, calidad y confiabiabilidad de información, que almacenamos en nuestro Data Lake corporativo, con la finalidad de enriquecerlo para el beneficio de las diferentes unidades del grupo PiSA.

Responsabilidades y actividades

• Diseñar y desarrollar  las tuberías de datos  de la organización, asegurando la presición, organización y disponibilidad de la información.
• Procesar  y preparar información a partir de grandes volumenes de datos la cual deberá de ser explotada por los científicos de datos.
• Verificar y Recomendar mejoras a los pipelines de datos que ya están en funcionamiento con la finalidad de tener una mejora continua en el procesamiento y calidad de la información almacenada en nuestro data lake.
• Capacitar a los equipos de datos en buenas practicas para que puedan explotar Big Query de una manera eficiente.

Experiencia

• Manejo de almacén/lago de datos (BigQuery, Redshift, Synapse) (3 años).
• Desarrollo de pipelines CDC (Change-Data-Capture) en lotes (batch) y/o tiempo real (3 años).
• Plataformas de computación en la nube (GCP, AWS, Azure, etc.) (3 años).

Conocimientos

• Servicios de ETL/ELT: GCP Dataflow/Dataproc, AWS Glue, Azure Data Factory. 
• Plataformas de mensajes: Apache Kafka, Google Pub/Sub, AWS Kinesis, Azure Event Hubs.
• Orquestador de tareas:Apache Airflow, Apache Zookeeper.
• Herramientas: Python, SQL.
• Orquestador de contenedores: Docker y Kubernetes.

Educación

Perfil Complementario

Experiencia

Certificaciones

Idioma