Sobre o curso
O curso gratuito Databricks Data Privacy da Databricks ensina a trabalhar com dados de forma segura no ambiente Databricks. Este treinamento é ideal para quem busca aprofundar conhecimentos em privacidade e governança de dados utilizando as ferramentas da plataforma.
Durante o curso, você aprenderá a extrair dados de diversos formatos e fontes, aplicar transformações para limpar dados, e remodelar e manipular dados complexos com funções avançadas. Você também desenvolverá habilidades em Delta Lake para criar tabelas, realizar atualizações e restaurar versões, e configurará pipelines de dados utilizando o Lakeflow Pipelines Editor e PySpark para ingerir e processar dados.
O conteúdo inclui a prática de processamento de feeds de Change Data Capture (CDC) usando a sintaxe APPLY CHANGES INTO, além de análise de logs de eventos e resultados de pipelines para solução de problemas de sintaxe do DLT. O curso é oferecido em formato self-paced, com trilhas de aprendizado personalizadas.
Ao longo do curso você vai aprender:
- Capacidade de executar tarefas básicas de desenvolvimento de código utilizando o Databricks Data Engineering & Data Science workspace (criar clusters, executar código em notebooks, utilizar operações básicas de notebooks, importar repositórios do Git, etc.)
- Experiência intermédia em programação com PySpark
- Extrair dados de diversos formatos de ficheiros e fontes de dados
- Aplicar diversas transformações comuns para limpar dados
- Remodelar e manipular dados complexos utilizando funções internas avançadas
- Experiência intermédia com Delta Lake (criar tabelas, realizar atualizações completas e incrementais, comprimir ficheiros, restaurar versões anteriores, etc.)
- Experiência básica na configuração e programação de pipelines de dados utilizando o Lakeflow Pipelines Editor
- Experiência básica na definição de Lakeflow Spark Declarative Pipelines utilizando o PySpark
- Ingerir e processar dados utilizando o Auto Loader e a sintaxe PySpark
- Processar Change Data Capture feeds (CDC) com a sintaxe APPLY CHANGES INTO
- Analisar os registos de eventos e os resultados de pipelines para solucionar problemas de sintaxe do DLT
Sobre a Databricks
