Inversora de bienes raíces altamente reconocida dentro de su ramo se encuentra en búsqueda de un Data Engineer especializado en IA.
Licenciatura en: Ciencias de la Computación, Ingeniería de Software, o un campo relacionado.
Se requieren mínimo 3 años de experiencia en ingeniería de datos y manejo de grandes volúmenes de datos, para ser responsable de diseñar, construir y mantener la infraestructura de datos necesaria para soportar las soluciones de IA y análisis de datos de la empresa. Trabajará en la creación de pipelines de datos eficientes y escalables, asegurando la disponibilidad y calidad de los datos.
Principales Responsabilidades:
- Diseño de Arquitectura de Datos: Crear arquitecturas de datos escalables y eficientes que soporten grandes volúmenes de datos y diferentes tipos de procesamiento.
- Creación de Pipelines ETL/ELT: Diseñar y desarrollar pipelines de Extract, Transform, Load (ETL) o Extract, Load, Transform (ELT) que integren, transformen y carguen datos desde diferentes fuentes hacia sistemas de almacenamiento.
- Automatización de Procesos: Automatizar los procesos de ingestión y transformación de datos para asegurar que los pipelines sean eficientes y minimicen el trabajo manual.
- Validación y Limpieza de Datos: Implementar mecanismos para validar y limpiar datos, asegurando que sean precisos, completos y consistentes antes de su uso en análisis y modelos de IA.
- Monitoreo y Mantenimiento: Configurar sistemas para monitorear la calidad de los datos y mantener los procesos de datos, corrigiendo problemas de calidad o fallos en los pipelines.
- Optimización de Consultas y Almacenamiento: Mejorar el rendimiento de consultas y el almacenamiento de datos para asegurar tiempos de respuesta rápidos y el uso eficiente de los recursos.
- Escalabilidad: Asegurar que la infraestructura de datos pueda escalar para manejar el crecimiento en el volumen de datos y la demanda de procesamiento.
- Implementación de Seguridad de Datos: Aplicar medidas de seguridad para proteger los datos sensibles, incluyendo cifrado, control de acceso y auditoría.
- Cumplimiento Normativo: Asegurarse de que el manejo de datos cumpla con las regulaciones y normativas pertinentes, como GDPR, HIPAA, etc.
- Trabajo con Científicos de Datos: Colaborar con científicos de datos para entender sus necesidades y asegurar que la infraestructura de datos soporte efectivamente sus modelos y análisis.
- Interacción con Equipos de Desarrollo: Coordinar con equipos de desarrollo de software para integrar soluciones de datos en aplicaciones y sistemas existentes.
- Documentación: Mantener una documentación clara y detallada de la arquitectura de datos, los pipelines y los procesos para facilitar la gestión y la colaboración.
- Evaluación y Mejora: Evaluar el rendimiento y la eficacia de la infraestructura de datos y los pipelines, proponiendo y realizando mejoras continuas.
- Uso de Herramientas y Tecnologías: Implementar y utilizar herramientas y tecnologías como Apache Hadoop, Apache Spark, Kafka, bases de datos SQL y NoSQL, y plataformas en la nube (AWS, Azure, Google Cloud) según las necesidades de la empresa.