Data lake is a repository that centralizes and stores a large amount of data of different types coming from different sources. The stored data can be structured, semi-structured or in its raw form, without any kind of pre-processing or analysis.

In the data lake, the processing of this data occurs only when it is used. Thus, the data can be reused and used several times for different purposes.

This information can be used to feed the company’s systems, generate alerts, or can be used to build dashboards.

Differences between Data Lake and Data Warehouse

In the Data warehouse, data is stored in a structured way following the relational model (structured in columns and tables) and ready to be used.

In the data lake, the data does not follow a defined pattern and may or may not have gone through some data analysis or treatment process. Most often it appears in its raw state.

Implementing a data lake is cheaper compared to implementing a data warehouse, but it takes a whole study of the company’s needs to define the best implementation option.

Quando o Data lake é uma boa opção?

Se a empresa trabalha com uma pequena quantidade de dados que possuem formatos padronizados e precisa de dados previamente estruturados, a implementação de um data lake seria desnecessário e uma boa opção seria um banco de dados relacional comum.

O data lake é voltado para o armazenamento de uma grande quantidade de dados de tipos variados. Tornando o tratamento desses dados difícil ou impossível de ser realizado por um sistema de gerenciamento convencional.

Sendo necessária a utilização de ferramentas de Big data para a análise desses dados.

Se sua empresa trabalha com uma grande quantidade de dados (chegando a petabytes) vindos de várias fontes e de diferentes tipos, a implementação do data lake é uma boa opção.

Atividades em que o data lake é uma opção são atividades que geram dados de tempo real, machine learning e empresas que trabalham com a análise de dados.

Vantagens do data lake

• Menor custo de implementação.
• Maior escalabilidade.
• Dados disponíveis a qualquer momento.
• Os dados podem ser acessados simultaneamente.
• Os dados podem ser reutilizados para diferentes aplicações.
• Compatível com vários tipos de dados.