Descrição:
MISSÃO DO CARGO:
Essa pessoa irá liderar o desenvolvimento dos fluxos de extração, armazenamento e tratamento de dados, de acordo com as necessidades explicitadas pelas pessoas analistas de dados. Desenvolverá e manterá fluxos de dados confiáveis e otimizados que alimentam relatórios e análises de dados.
Além disso, será responsável por projetar e implementar soluções de armazenamento e gerenciamento de dados que sejam seguras, mantendo a integridade e confidencialidade das informações da organização. Também é responsável por projetos de automação para otimização de trabalhos repetitivos com dados.
PRINCIPAIS ATIVIDADES:
Implementação de fluxos de dados
● Desenvolver fluxos de extração, armazenamento e tratamento de dados, de acordo com as necessidades explicitadas pelas pessoas Analistas de Dados;
● Transformar e tratar as variáveis dos dados coletados para facilitar a análise e construção de relatórios pelas pessoas Analistas de Dados;
● Construção de fluxos para atualização de bases de dados que necessitem de inserções manuais, quando necessário, buscando simplificar e aumentar a eficiência desses processos;
● Quando necessário, construção de aplicações e automações que garantam a alimentação e comunicação das bases de dados de acordo com as necessidades das pessoas Analistas de Dados;
● Projetar e implementar soluções de armazenamento e gerenciamento de dados com integridade, escalabilidade e compatíveis com a LGPD.
Manutenção dos fluxos de dados
● Garantir a otimização, atualização e bom funcionamento de fluxos de dados de acordo com as necessidades das pessoas Analistas de Dados;
● Documentar os fluxos de dados construídos e bases de dados coletadas, garantindo a clareza na relação entre tabelas e detalhamento das métricas.
CONHECIMENTOS:
● Autonomia em desenvolver e manter fluxos de dados ETL/ELT, com extração e tratamento de grandes volumes de dados;
● Experiência gerenciar data warehouses como AWS/Redshift e/ou BigQuery;
● Experiência com documentação e normatização de bancos de dados;
● Programação avançada em Python e R, especialmente com tidyverse, janitor, httr, rvest/xml2;
● Fluência com APIs para extração de grandes volumes de dados;
● Conhecimento amplo em SQL para consultar e transformar grandes bases de dados;
● Experiência com Git e GitHub, no mínimo intermediário;
● Ótimo trabalho em equipe, comunicação e colaboração;
● Boa comunicação em inglês, no mínimo intermediário.
Idiomas:
Inglês - Nível Fluente e Inglês - Nível Intermediário
Outros requisitos:
DIFERENCIAL:
● Experiência com ferramentas como Docker, Airflow, Airbyte e/ou dbt;
● Confortável com uso da linha de comando em Linux/Bash;
● Conhecimento do manifesto ágil e metodologias como Scrum ou Kanban.