[Banco de Talentos] Pessoa Engenheira de Dados
Aquarela Analytics
Florianópolis, Santa Catarina, Brazil
Others
Ao se cadastrar, seu perfil será analisado com carinho em nossas futuras vagas que combinem com suas competências, interesses e trajetória.
Atividades:
- Arquitetar as soluções existentes para garantir um código legível e de fácil manutenção;
- Trabalhar com grande volume de dados que serão utilizados para alimentação de Data Lake e Data Warehouse;
- Manipular e integrar dados de diferentes fontes, com diferentes sistemas;
- Criar e aperfeiçoar os processos e rotina de ETL, ELT e EtLT;
- Planejar e conduzir o processo de migração de Data Warehouses e Data Lakes;
- Implementar ferramentas e automatizar tarefas para atender as áreas de dados;
- Projetar e criar pipelines de dados confiáveis, trabalhar com fluxos completos de manipulação de dados, desde a extração até a documentação;
- Alinhar as expectativas do time de desenvolvimento com o de ciência de dados;
- Interagir com o time de infraestrutura no desenvolvimento de soluções;
- Contribuir com os processos da área, mediante a execução de todos os atos inerentes e demais tarefas correlatas às funções, solicitadas pelo responsável da área.
- Conhecimentos em programação;
- Boas práticas em programação e facilidade de uso com OOP;
- Conhecimento em Bancos de Dados;
- Conhecimento em modelagem de dados;
- Conhecimento em arquitetura de dados multi-zonas (Medallion Architecture);
- Experiência em ferramentas de ETL, ELT, EtLT e integração de dados;
- Conhecimento em SQL;
- Conhecimento em GitOps;
- Manipulação e criação de imagens Docker;
- Conhecimento em orquestração de containers com Kubernetes;
- Experiência com soluções de computação distribuídas como Spark,YARN e Trino;
- Conhecimento da ferramenta de orquestração e agendamento Apache Airflow;
- Experiência com sistema de arquivos distribuídos (HDFS, MinIO…);
- Conhecimento de formatos de tabelas Iceberg, Delta Lake;
- Conhecimento em alguma Cloud Computing (AWS, GCP ou Azure);
- Modelagem e transformação de dados com dbt (Data Build Tools);
- Conhecimento de sistemas operacionais baseados em Linux.
- Vivência em Python;
- Bancos de Dados NoSQL;
- Design Patterns;
- Apache Kafka;
- Apache NiFi;
- Monitoramento com Prometheus e Grafana;
- Domínio de alguma linguagem de programação fortemente tipada como Java ou C#;
- Conhecimento de contrato de dados (Data Contracts);
- Conhecimento do ecossistema Apache Hadoop;
- Conhecimento de formato de arquivos Parquet, Avro e ORC;
- Conhecimento de frameworks de qualidade de dados como SODA ou Great Expectations.
About the company
Company website•Information Technology & Services
Aquarela Analytics is specialized and a reference in Brazil in the application of Artificial Intelligence in the industry and large companies.
We play a key role in the Digital Transformation process of organizations towards Industry 4.0, serving important customers such as Embraer (aerospace), Scania and Grupo Randon (automotive), Grupo Telefônica (Telecommunications), SolarBR Coca-Cola (food), Hospital das Clínicas (health), NTS-Brasil (oil and gas), Auren - Votorantim (energy).
We have a multidisciplinary and diverse team that works daily to solve complex problems and face new challenges. Our "aquarelades" are spread across Brazil but united by the same purpose, to help make the world smarter in a sustainable, ethical, transparent, and responsible way.