Data Engineer

Hace 5 días

Santiago, Metropolitana de Santiago, Chile SSI OUTSOURCING Jornada completa $22 - $38 Por obra

Data Engineer / Developer | Migración de Procesos ETL a Databricks

¿Te apasiona la ingeniería de datos, la optimización de procesos ETL y la calidad del código en ambientes productivos? Buscamos un/a Data Engineer / Developer con sólida experiencia en Python, SQL y Apache Spark para participar en un desafiante proyecto de migración técnologica hacia Databricks.

Tendrás un rol clave asegurando que los desarrollos cumplan con altos estándares de calidad, rendimiento y seguridad, validando soluciones generadas mediante herramientas asistidas por IA y garantizando la correcta transición de procesos críticos de negocio.

Principales Responsabilidades

  • Revisar y validar código generado por sistemas multiagentes e inteligencia artificial.
  • Analizar bundles de código identificando riesgos de rendimiento, calidad y mantenibilidad.
  • Diseñar y ejecutar pruebas de paridad y reconciliación de datos entre plataformas legacy y Databricks.
  • Detectar y corregir problemas asociados a Spark como data skew, shuffles excesivos o tipificación incorrecta.
  • Gestionar hallazgos de seguridad, vulnerabilidades y observaciones detectadas por herramientas SAST.
  • Administrar ciclos de desarrollo mediante Git Flow y Pull Requests.
  • Resolver incidencias levantadas durante QA, UAT y etapas de despliegue.
  • Monitorear y estabilizar pipelines durante periódos de hipercare post-implementación.
  • Escalar oportunamente situaciónes que requieran definición arquitectónica o análisis especializado.

Requisitos Excluyentes

  • Formación profesional en Ingeniería Informática, Ingeniería Civil Informática, Ingeniería en Ejecución Informática o carrera afín.
  • Experiencia en ingeniería de datos o desarrollo ETL.
  • Experiencia trabajando con Python y SQL en ambientes productivos.
  • Experiencia práctica utilizando Apache Spark y/o PySpark.
  • Experiencia realizando revisión de código (Code Review) como parte habitual del trabajo.
  • Manejo de Git y flujos de Pull Request.
  • Experiencia en análisis, validación y depuración de procesos de datos en ambientes productivos.

Conocimientos Técnicos

  • Python
  • PySpark
  • SQL / T-SQL
  • Apache Spark
  • Delta Lake
  • ETL
  • Git
  • Pull Requests
  • Code Review
  • YAML
  • Pytest
  • SQL Server Agent
  • CI/CD

Deseables

  • Experiencia con Databricks y Databricks Asset Bundles.
  • Conocimientos de Azure DevOps.
  • Experiencia con seguridad de código y herramientas SAST.
  • Conocimientos de SSIS o Alteryx.
  • Git avanzado.
  • Experiencia en automatización y validación de procesos de datos.

Buscamos Personas Que

  • Posean criterio técnico y capacidad de análisis.
  • Se sientan cómodas revisando y validando código desarrollado por terceros.
  • Tengan foco en calidad, estabilidad y buenas prácticas.
  • Sepan identificar cuándo resolver de manera autónoma y cuándo escalar situaciónes complejas.
  • Se adapten a entornos de trabajo apoyados por herramientas de IA y automatización.