Lakehouse de Dados CNPJ no DatabricksCNPJ Data Lakehouse on Databricks

ProblemaProblem

A Receita Federal disponibiliza publicamente a base completa de CNPJs do Brasil: empresas, estabelecimentos, sócios, optantes do Simples/MEI, e tabelas de domínio (municípios, países, naturezas jurídicas, qualificações, CNAEs). São milhões de registros brutos, sem padronização de tipos, com campos sensíveis (CPF, CNPJ) que precisam de tratamento cuidadoso, e sem nenhuma estrutura pronta para análise relacional entre empresas e seus sócios.Receita Federal publishes Brazil's full CNPJ registry: companies, establishments, partners, Simples/MEI tax regime status, and reference tables (municipalities, countries, legal nature, qualifications, economic activity codes). It's millions of raw records, with no type standardization, sensitive fields (CPF, CNPJ) that need careful handling, and no ready structure for relational analysis between companies and their partners.

Montar um pipeline de ponta a ponta pra esse volume de dados, sem depender de infraestrutura própria pra provisionar, significa usar uma plataforma que já resolva ingestão incremental, orquestração, controle de qualidade e governança de catálogo prontos de fábrica, dentro dos limites de um plano gratuito: o Databricks Free Edition não tem SLA de produção, tem cotas de compute e não libera todos os recursos enterprise (como clusters dedicados maiores ou SSO), então a arquitetura precisa respeitar essas restrições desde o design.Building an end-to-end pipeline for that volume of data, without relying on infrastructure I'd have to provision myself, means using a platform that already solves incremental ingestion, orchestration, data-quality control and catalog governance out of the box, within the limits of a free plan: Databricks Free Edition has no production SLA, has compute quotas, and doesn't unlock every enterprise feature (like larger dedicated clusters or SSO), so the architecture has to respect those constraints from the design stage.

SoluçãoSolution

A arquitetura medalhão inteira roda dentro de um único workspace do Databricks Free Edition, sem nenhum servidor ou container pra gerenciar. O Unity Catalog organiza os dados em catálogos e schemas (raw, bronze, silver, gold), controla permissões e mantém a linhagem de cada tabela automaticamente.The full medallion architecture runs inside a single Databricks Free Edition workspace, with no server or container to manage. Unity Catalog organizes the data into catalogs and schemas (raw, bronze, silver, gold), controls permissions, and automatically tracks lineage for every table.

A orquestração é feita com Lakeflow Declarative Pipelines (a evolução do antigo Delta Live Tables): em vez de escrever scripts PySpark imperativos chamando um ao outro, as transformações de cada camada são declaradas como tabelas Delta com dependências explícitas, e o próprio Databricks resolve a ordem de execução, o processamento incremental e o tratamento de erro. Os schemas são aplicados via Auto Loader, com expectations declarativas de qualidade validando cada registro na entrada.Orchestration is handled with Lakeflow Declarative Pipelines (the evolution of the former Delta Live Tables): instead of writing imperative PySpark scripts that call each other, each layer's transformations are declared as Delta tables with explicit dependencies, and Databricks itself resolves execution order, incremental processing, and error handling. Schemas are applied via Auto Loader, with declarative data-quality expectations validating every record on the way in.

Na camada gold, o Databricks SQL entrega os fatos, dimensões e o score de risco direto num dashboard nativo da plataforma, sem precisar de uma ferramenta de BI externa. E o Databricks Assistant (IA integrada ao workspace) apoia a escrita e depuração das queries SQL e dos pipelines direto no notebook, então todo o desenvolvimento, do notebook ao dashboard, acontece dentro do mesmo ambiente, sem sair do navegador.In the gold layer, Databricks SQL delivers the facts, dimensions and risk score straight into a native platform dashboard, with no external BI tool needed. And the Databricks Assistant (the workspace's built-in AI) helps write and debug SQL queries and pipelines directly in the notebook, so the whole development flow, from notebook to dashboard, happens inside the same environment without leaving the browser.

ResultadosResults

Esse projeto ainda está em desenvolvimento. O foco até aqui foi validar que o Databricks Free Edition realmente sustenta esse tipo de pipeline de ponta a ponta sem custo, com Unity Catalog, Lakeflow Declarative Pipelines e Databricks SQL rodando dentro dos limites de compute serverless gratuito.This project is still in progress. The focus so far has been validating that Databricks Free Edition genuinely supports this kind of end-to-end pipeline at no cost, with Unity Catalog, Lakeflow Declarative Pipelines and Databricks SQL running within the free serverless compute limits.

Também ficou validada a viabilidade de rodar um pipeline de dados públicos em escala real (milhões de registros) inteiramente dentro de um workspace gerenciado, sem provisionar nenhuma infraestrutura própria, do ingest até o dashboard final.It also validated the feasibility of running a real-scale public data pipeline (millions of records) entirely inside a managed workspace, with no infrastructure of my own to provision, from ingestion all the way to the final dashboard.

TecnologiasTechnologies

Fluxograma de ArquiteturaArchitecture Flowchart