Staging Area: a Staging Area é uma área de armazenamento intermediário situada dentro do processo de ETL. Auxilia a transição dos dados das origens para o destino final no DW. Data Warehouse: essa é a estrutura propriamente dita de armazenamento das informações decisivas.
O Pentaho Data Integration é o componente da suíte Pentaho usado para criar processos de extração, transformação e carga (do inglês Extraction, Transformation and Loading, ETL) que alimentam o banco de dados. Trata-se da ferramenta mais popular e madura da suíte inteira, com seus mais de 15 anos de existência.
Quais são as diferenças entre OLAP e OLTP? OLTP significa Online Transaction Processing e se refere aos sistemas operacionais das organizações. Seus objetivos são processar os dados rotineiros e dar suporte às funções de execução do negócio, enquanto o OLAP se concentra na tomada de decisões.
As siglas OLTP e OLAP são bastante utilizadas no universo do Business Intelligence (BI). ... Já o OLAP, do inglês "On-line Analytical Processing", trata da capacidade de analisar grandes volumes de informações nas mais diversas perspectivas dentro de um Data Warehouse (DW).
O gerenciamento de dados transacionais usando sistemas de computador é conhecido como OLTP (processamento de transações online). The management of transactional data using computer systems is referred to as online transaction processing (OLTP).
Características das ferramentas OLAP A operação Drill Across é executada quando o usuário passa de ano direto para trimestre ou mês; drill Down: ocorre quando o usuário aumenta o nível de detalhe da informação, diminuindo a granularidade (A granularidade determina quais os tipos de consultas podem ser feitas no DW.
Cubo: Uma estrutura de dados que agrega as medidas pelos níveis e hierarquias de cada uma das dimensões. ... Nível Numa hierarquia, os dados podem ser organizados em níveis de detalhe (granularidade) superiores e inferiores, como, por exemplo, níveis de Ano, Trimestre, Mês e Dia numa hierarquia de Tempo.
No Hadoop, é aconselhável armazenar os dados no formato Denormalized, de modo que haja menos requisitos para unir os dados. As junções são operações mais lentas no Hadoop, pois envolvem geralmente grande quantidade de dados.
Hadoop é uma estrutura de software open-source para armazenar dados e executar aplicações em clusters de hardwares comuns. Ele fornece armazenamento massivo para qualquer tipo de dado, grande poder de processamento e a capacidade de lidar quase ilimitadamente com tarefas e trabalhos ocorrendo ao mesmo tempo.
Hadoop Yarn - Trata-se de uma plataforma de gerenciamento de recursos responsável pelo gerenciamento dos recursos computacionais em cluster, assim como pelo agendamento dos recursos. Hadoop MapReduce - Modelo de programação para processamento em larga escala.