definições, semelhanças e diferenças
Noções básicas sobre armazéns de dados – Data Warehouse
Um data warehouse é uma unidade de armazenamento consolidada e um centro de processamento para seus dados. As equipes que usam um data warehouse geralmente aproveitam consultas SQL para casos de uso analíticos.
Normalmente, os data warehouses funcionam melhor com dados estruturados definidos por esquemas específicos que organizam seus dados em caixas organizadas e bem rotuladas. Essa mesma estrutura ajuda a manter a qualidade dos dados e simplifica a forma como os usuários interagem e compreendem os dados.
Uma vantagem dos data warehouses é a sua natureza integrada. Como soluções totalmente gerenciadas, os data warehouses são projetados para oferecer facilidade de construção e operação. Um warehouse pode ser uma solução completa, onde metadados, armazenamento e componentes de computação vêm do mesmo local e estão sob a orquestração de um único fornecedor. Alguns dos players mais conhecidos na esfera do data warehouse incluem Amazon Redshift, Google BigQuery e Snowflake.
Os data warehouses costumam ser a escolha mais sensata para plataformas de dados cujo principal caso de uso é análise e relatórios de dados. Com funcionalidades pré-construídas e suporte SQL robusto, os data warehouses são feitos sob medida para permitir consultas rápidas e acionáveis para equipes de análise de dados que trabalham principalmente com dados estruturados.
Explorando lagos de dados – Data Lake
Um data lake é um reservatório projetado para lidar com dados estruturados e não estruturados, frequentemente empregado em cenários de streaming, aprendizado de máquina ou ciência de dados. É mais flexível do que um data warehouse em termos dos tipos de dados que pode acomodar, desde dados altamente estruturados até dados vagamente montados.
Embora os fornecedores de data lakes estejam surgindo constantemente para fornecer mais serviços gerenciados – como Delta Lake, Dremio e até mesmo Snowflake da Databricks – tradicionalmente, os data lakes foram criados pela combinação de várias tecnologias. Para organização de metadados, eles costumam usar Hive, Amazon Glue ou Databricks. O armazenamento pode utilizar S3, Google Cloud Storage, Microsoft Azure Blob Storage ou Hadoop HDFS. As tarefas de computação podem ser executadas no Apache Pig, Hive, Presto ou Spark. Normalmente, você encontrará formatos de dados como JSON, Apache Parquet e Apache Avro nesses ambientes.
Os data lakes oferecem às equipes de engenharia de dados a liberdade de selecionar as tecnologias certas para metadados, armazenamento e computação com base em seus requisitos exclusivos. Assim, à medida que seus dados precisam ser dimensionados, sua equipe pode personalizar facilmente seu data lake integrando novos elementos de sua pilha de dados.
Os data lakes também normalmente dissociam o armazenamento e a computação , o que pode permitir economia de custos e, ao mesmo tempo, facilitar o streaming e a consulta em tempo real. Eles também incentivam a computação distribuída para melhorar o desempenho das consultas e o processamento paralelo de dados.
A flexibilidade não se trata apenas de maleabilidade nas escolhas tecnológicas. Os data lakes podem trabalhar com dados brutos ou levemente estruturados, proporcionando uma vantagem valiosa para as equipes de dados ao lidar com diferentes formas de dados. E os data lakes podem oferecer suporte a modelos sofisticados de programação não SQL, como Apache Hadoop, Apache Spark, PySpark e outras estruturas. Isto é particularmente útil para cientistas e engenheiros de dados, pois proporciona mais controle sobre seus cálculos.
Tradicionalmente, os data lakes têm sido a escolha ideal para equipes com cientistas de dados que precisam realizar operações avançadas de ML em grandes quantidades de dados não estruturados — geralmente, aquelas com engenheiros de dados internos para dar suporte à sua plataforma personalizada. Mas soluções gerenciadas e fáceis de usar estão tornando essa abordagem menos dependente de engenheiros de dados para desenvolver recursos desde o início.
Apresentando data lakehouses – Data Lakehouse
Assim como “brunch” e “Bennifer”, data lakehouses são a mala de viagem do data warehouse e do data lake. Eles unem os recursos de um data warehouse e de um data lake, fundindo tecnologias tradicionais de análise de dados com funcionalidades avançadas, como recursos de aprendizado de máquina.
O início do data lakehouse surgiu quando os provedores de armazenamento em nuvem começaram a adicionar recursos normalmente associados a lagos, como visto em plataformas como Redshift Spectrum e Delta Lake. Por outro lado, os data lakes começaram a incorporar recursos semelhantes aos de warehouse, como a inclusão de funcionalidade SQL e definições de esquema.
Funcionalidades distintas oferecidas por data lakehouses confundem cada vez mais os limites entre as duas estruturas. As tecnologias Presto e Spark deram início ao SQL de alto desempenho, fornecendo velocidades quase interativas em data lakes. Esta inovação cria a possibilidade de os data lakes servirem diretamente à análise e à exploração, eliminando a necessidade de sumarização em data warehouses tradicionais.
Formatos de arquivo como Parquet introduziram esquemas mais rigorosos nas tabelas de data lake, juntamente com um formato colunar para melhorar a eficiência da consulta. Para preencher ainda mais a lacuna, tecnologias como Delta Lake e Apache Hudi trouxeram maior confiabilidade nas transações de gravação/leitura para data lakes. Isso os aproxima das premiadas características ACID (Atomicidade, Consistência, Isolamento, Durabilidade) que são intrínsecas às tecnologias de banco de dados convencionais.
Além disso, para equipes que buscam minimizar a complexidade de construção e gerenciamento de um data lake, vários serviços de lago gerenciado são agora oferecidos por provedores de nuvem. Por exemplo, Databricks oferece uma versão gerenciada de Apache Hive, Delta Lake e Apache Spark. O Amazon Athena fornece um mecanismo de consulta SQL Lake totalmente gerenciado, e o Glue da Amazon oferece um serviço de metadados totalmente gerenciado.
Em essência, os data lakehouses estão fazendo progressos na combinação dos benefícios dos dois mundos, oferecendo uma alternativa interessante e viável para empresas que lidam com dados diversos.
Comparando data warehouses, data lakes e data lakehouses
Data warehouses, data lakes e data lakehouses oferecem vantagens distintas para casos de uso distintos. Se sua pilha de dados oferece suporte a uma equipe de cientistas de dados que trabalham com informações brutas e não filtradas, você precisará de uma abordagem diferente de uma configuração corporativa que exige dados organizados e limpos para ferramentas de BI. (Ou talvez ambos.)
Resumindo, os data warehouses armazenam dados estruturados para análise. Os data lakes lidam com dados estruturados e não estruturados, geralmente para análises avançadas. Lakehouses combinam os dois, oferecendo flexibilidade analítica com diversos tipos de dados.
Nas seções a seguir, nos aprofundaremos nas principais considerações, como entender seus principais usuários e requisitos de desempenho. Assim, você estará munido das perguntas certas para encontrar a melhor resposta para sua equipe.
Saiba quem serão seus principais usuários
“Tamanho único” não se aplica quando se trata de armazenamento de dados versus data lakes. A opção preferida entre data warehouse, data lake e data lakehouse deve corresponder aos níveis de proficiência, necessidades e fluxo de trabalho de seus usuários.
Por exemplo, as equipes de business intelligence muitas vezes consideram os dados estruturados mais convenientes para fins de relatórios e análises, tornando um data warehouse uma escolha lógica. Por outro lado, a capacidade de um data lake de lidar com dados brutos e não filtrados pode estar mais sintonizada com as necessidades dos cientistas de dados que buscam executar cálculos avançados e exploração de dados. Um data lakehouse, por outro lado, poderia oferecer o melhor dos dois mundos para um conjunto diversificado de usuários com habilidades variadas.
Trata-se de selecionar a opção que concede aos seus usuários o acesso mais eficiente e eficaz aos dados, de acordo com suas necessidades e habilidades individuais.
Considerações sobre escalabilidade e desempenho
A seguir, considere seus dados em si: você trabalha com dados estruturados ou não estruturados, ou ambos? Você deseja limpar e processar os dados antes do armazenamento ou deixá-los brutos para operações avançadas de ML? Ou ambos? E que tipos de restrições orçamentais você prevê? Todos esses fatores de escalabilidade e desempenho informarão sua escolha de data warehouse, lake ou lakehouse.
Estrutura e esquema
Tradicionalmente, os data lakes são excelentes no armazenamento de grandes quantidades de dados brutos — sejam eles estruturados, semiestruturados ou não estruturados, sem quaisquer restrições específicas. Os data warehouses, por outro lado, prosperam sob encomenda, mantendo armazenamento e organização precisos de dados com metadados correspondentes. No entanto, estas distinções estão a tornar-se menos definidas e os data lakehouses geralmente oferecem mais flexibilidade para suportar dados estruturados e não estruturados.
Por exemplo, empresas como a Databricks permitiram que os usuários adicionassem estrutura e metadados aos seus data lakes com recursos como Unity Catalog e Delta Lake. Da mesma forma, Snowflake colocou as tabelas Apache Iceberg em ação, combinando a confiabilidade das tabelas SQL e possibilitando que vários mecanismos trabalhassem simultaneamente nas mesmas tabelas. Essa convergência está tornando as considerações de escalabilidade e desempenho mais diferenciadas do que nunca.
Um fator crucial é compreender os padrões regulares de uso de dados da sua empresa. Se você contar com um número limitado de fontes de dados para fluxos de trabalho específicos de forma consistente, construir um data lake do zero pode não ser o caminho ideal, considerando o tempo e os recursos. No entanto, se a sua empresa emprega múltiplas fontes de dados para conduzir decisões estratégicas, uma arquitetura híbrida lakehouse pode oferecer acesso rápido e criterioso aos dados para usuários em diversas funções.
Capacidades de integração e processamento de dados
Em um data warehouse, os dados de diversas fontes são limpos, integrados e processados antes do armazenamento. Isso oferece gerenciamento proativo da qualidade dos dados, tornando-o altamente eficiente para tarefas rotineiras de processamento, como relatórios e extração de insights de negócios. No entanto, esse pré-processamento extenso pode limitar a flexibilidade para análises ad hoc complexas.
Um data lake armazena dados brutos, deixando a parte de processamento até que os dados sejam lidos para uso (também conhecido como esquema na leitura). Essa flexibilidade permite processamento complexo e em tempo real e é particularmente útil para análises avançadas, aprendizado de máquina e IA. Mas pode exigir mais poder de processamento e tempos de processamento mais longos, dependendo do volume e da complexidade dos dados.
Um data lakehouse tenta obter o melhor dos dois mundos. Ele permite o armazenamento de dados brutos como um data lake, ao mesmo tempo que facilita a opção por dados estruturados e pré-processados como um warehouse. Essa combinação pode melhorar o tempo e a eficiência do processamento sem comprometer a flexibilidade.
Implicações de custos e requisitos de recursos
Os data warehouses, embora altamente eficientes para dados estruturados e consultas comerciais rotineiras, podem acarretar custos substanciais, especialmente durante a expansão. Normalmente exigem um investimento inicial significativo em termos financeiros e de tempo, pois envolvem procedimentos complexos de configuração e manutenção.
Os data lakes, por outro lado, são geralmente mais acessíveis e escaláveis porque usam hardware comum para armazenar grandes quantidades de dados brutos. Geralmente são menos dispendiosos no que diz respeito ao armazenamento, mas as despesas operacionais podem aumentar se os dados precisarem de processamento complexo ou enfrentarem problemas de qualidade. Além disso, podem exigir uma equipe com habilidades especializadas para gerenciar e extrair valor dos dados brutos e não regulamentados.
O modelo data lakehouse inclui componentes de data warehouses e data lakes. Ele oferece mais flexibilidade e pode ser uma solução econômica, atendendo a uma ampla variedade de cenários de uso de dados sem configurações separadas para um armazém e um lago. No entanto, eles ainda podem exigir recursos significativos em termos de configuração, manutenção e pessoal qualificado.
Convergência e inovações recentes de produtos
O data lakehouse em si é uma inovação relativamente nova. E com o aumento do streaming de dados para informar análises em tempo real, esta abordagem híbrida provavelmente se tornará mais popular e relevante para equipes de dados de todos os setores nos próximos anos. Dois concorrentes principais estão liderando o desenvolvimento de soluções flexíveis de armazenamento de dados: Databricks e Snowflake.
Inovações e contribuições do Databricks
Na última década, a Databricks emergiu como uma líder clara – primeiro, em data lakes e, mais recentemente, com seu Databricks Lakehouse. Recursos como o Catálogo Unity ajudaram a trazer mais estrutura aos usuários do Databricks, sem comprometer a flexibilidade e a velocidade.
A Databricks também continua a impulsionar a estrutura de data lakehouse, adicionando mais flexibilidade à sua tecnologia Delta Lake de código aberto, permitindo que as equipes usem formatos de tabela como Delta, Hudi e Iceberg com Delta Lake 3.0.
E em sua recente conferência , a Databricks anunciou o lançamento do LakehouseIQ , um mecanismo de conhecimento baseado em IA que permite aos usuários pesquisar, compreender e consultar dados com linguagem natural. Este desenvolvimento promete trazer um contexto de negócios importante para ajudar mais partes interessadas a acessar e usar dados na tomada de decisões, expandindo consideravelmente as aplicações potenciais (e a base de usuários) da solução lakehouse da Databricks.
Inovações e contribuições do Snowflake
É claro que nenhuma empresa causou maior impacto no data warehouse moderno do que a Snowflake. Após seu lançamento no início de 2010, o uso da nuvem para armazenar e gerenciar dados tornou-se o padrão para equipes de dados modernas. E a Snowflake continua a impulsionar o paradigma de data warehouse versus data lake.
Snowflake agora oferece suporte a data lakes , permitindo que as equipes de dados trabalhem com uma variedade de tipos de dados, incluindo dados semiestruturados e não estruturados. A empresa se considera uma “nuvem de dados”, ou um híbrido de arquiteturas de data warehouse e data lake – decididamente não uma data lakehouse, que descreve como deficiente devido a desafios como complexidade, custos ocultos e desempenho variável.
E em seu recente Snowflake Summit , os líderes da empresa destacaram alguns novos recursos e expansões que continuarão a impactar a forma como a indústria pensa sobre data warehouses, lagos e lakehouses, incluindo:
Tabelas Iceberg Unificadas, que fornecem um modo único para interagir com dados externos
Document AI, que usa um modelo proprietário de linguagem grande para extrair e compreender dados não estruturados
Tabelas dinâmicas e Snowpipe Streaming, que simplificam pipelines de dados de streaming
Impacto das inovações no cenário de gerenciamento e análise de dados
Essas inovações de líderes como Databricks e Snowflake continuam a confundir os limites entre data warehouses e data lakes. E esta evolução faz sentido no contexto mais amplo do número crescente de empresas orientadas por dados: à medida que as organizações continuam a ingerir e a aproveitar mais tipos de dados de mais fontes, necessitam de tecnologias que possam apoiar o seu crescimento. Estruturado e não estruturado, em lote e streaming — todos esses casos de uso variados precisam ser suportados por plataformas de dados.
Isso está levando os fornecedores a criar soluções mais econômicas que não comprometam o desempenho, e gigantes de dados como Snowflake e Databricks parecem estar em uma corrida armamentista para se tornarem a solução única para atender às necessidades de computação e processamento. para todos os tamanhos de empresas. O cenário é empolgante e, especialmente com as possibilidades introduzidas pela IA, mal podemos esperar para ver como os data warehouses, lagos e lakehouses evoluirão nos próximos anos.
Não se esqueça: qualidade e observabilidade dos dados
Uma coisa que não mudará tão cedo: as empresas precisam confiar nos seus dados, não importa onde ou como estejam armazenados.
Independentemente de quem são suas partes interessadas ou quais podem ser suas necessidades de desempenho, você quer ter certeza de que seu data warehouse, lake ou lakehouse oferece suporte à qualidade dos dados. Saber que seus dados são precisos, atualizados e completos é crucial para qualquer processo de tomada de decisão ou produto de dados. Quando a qualidade dos dados é prejudicada, os resultados podem levar à perda de tempo, à perda de oportunidades, à perda de receitas e à erosão da confiança interna e externa.
Embora uma abordagem moderna à governança de dados e testes extensivos de dados possam ajudar a melhorar a qualidade dos dados, as melhores equipes estão aproveitando a observabilidade dos dados em toda a sua pilha de dados. A observabilidade de dados fornece monitoramento e alertas completos sobre problemas em seus pipelines de dados, em qualquer armazém, lago ou lakehouse que armazene dados de todos os tipos.
