O que é a área de Ciência de Dados

A área de Ciência de Dados é responsável por aplicar técnicas estatísticas e algoritmos de Machine Learning (ML) para analisar grandes volumes de dados, identificar padrões e construir modelos preditivos. O foco principal é extrair insights acionáveis que suportam a tomada de decisão estratégica, otimizam processos de negócio (como precificação, detecção de fraudes e retenção de clientes) e impulsionam a inovação com soluções baseadas em dados. Você atuará na interface entre os desafios do negócio e a implementação técnica no ambiente Azure Databricks.

Seus Principais Desafios Serão:

• Compreender as Necessidades do Negócio e Requisitos de ML/IA: Colaborar com stakeholders e Cientistas de Dados Sêniores para entender os problemas de negócio e traduzi-los em hipóteses testáveis e projetos de Machine Learning.
• Participar de Discussões Baseadas em Dados e IA: Contribuir com análises iniciais, insights e propostas de modelos para solucionar desafios de dados e IA.
• Interface entre Times de Tecnologia e Data Science: Trabalhar em sinergia com Engenheiros de Dados e Arquitetos para garantir a disponibilidade dos dados e o treinamento eficiente dos modelos.

Preparação e Exploração de Dados no Azure Databricks:

• Realizar a limpeza, transformação, padronização e enriquecimento de dados brutos utilizando o poder de processamento do Azure Databricks e Spark.
• Conduzir a Análise Exploratória de Dados (EDA) para entender distribuições, identificar outliers e selecionar features relevantes (Feature Engineering)

Desenvolvimento e Validação de Modelos de ML:

• Construir, treinar e validar modelos preditivos (regressão, classificação, clustering) utilizando frameworks de Ciência de Dados como Scikit-Learn, TensorFlow ou PyTorch.
• Documentar e apresentar os resultados e métricas de desempenho dos modelos (e.g., AUC, F1-Score).

Apoiar a Operacionalização (MLOps):

• Auxiliar na transição dos modelos desenvolvidos para ambientes de produção, utilizando ferramentas como MLflow para rastreamento e gerenciamento de experimentos e modelos no Azure Databricks.
• Monitoramento da Qualidade dos Dados e Modelos: Acompanhar a qualidade, integridade e drift dos dados e o desempenho dos modelos em produção, propondo ajustes quando necessário.

O que Você Precisa para Fazer Parte Deste Time:

Arquitetura e Ferramentas de Dados:

• Foco em Azure Databricks: Conhecimento e experiência prática na utilização de Azure Databricks para processamento e análise de dados, incluindo a utilização de notebooks (Python/Spark) e gerenciamento de clusters.
• Feature Store/Data Lake: Entendimento do conceito de Feature Store e experiência em consumir dados de Data Lakes (preferencialmente Azure Data Lake Storage) e estruturar dados para o consumo de modelos.

Programação e Frameworks de Ciência de Dados:

• Linguagens: Python (Imprescindível) para manipulação de dados (Pandas, NumPy) e desenvolvimento de modelos.
• Frameworks de ML/IA (Foco em Treinamento): Experiência prática com as principais bibliotecas e frameworks como Scikit-Learn (modelos clássicos), TensorFlow/Keras ou PyTorch (para aprendizado profundo) e bibliotecas como XGBoost/LightGBM.
• Gestão de Experimentos: Noções de uso do MLflow para rastreamento e versionamento de modelos e experimentos no ambiente Databricks.
• Consultas e Transformação: Proficiência em SQL/Spark SQL para consulta e manipulação de dados em larga escala.