Big Data Hadoop e Spark

Prévia do material em texto

Big Data: Hadoop e Spark
Análise de Grandes Volumes de Dados
1
Sumário
•O Que É Big Data?
•Hadoop e HDFS
•MapReduce
•Spark e Suas Ferramentas
•Aplicações no Mercado
2
O Que É Big Data?
Big Data refere-se a conjuntos de dados extremamente grandes e complexos. Sua importância reside na capacidade de extrair insights valiosos para decisões estratégicas. Os 5Vs (Volume, Velocidade, Variedade, Veracidade e Valor) descrevem as características essenciais.
3
Volume no Big Data
•Dados massivos: Big Data lida com grandes volumes de informações.
•Desafios: Armazenamento e processamento exigem novas tecnologias e abordagens.
•Implicações: Análise revela padrões valiosos em grandes conjuntos de dados.
4
Velocidade no Big Data
•Geração de dados em tempo real exige processamento imediato.
•Spark e Hadoop aceleram a análise de dados massivos.
•Tomada de decisões ágil depende da velocidade dos dados.
5
Hadoop: A Base do Big Data
Hadoop é um framework open-source para processamento distribuído de grandes volumes de dados. Ele utiliza o HDFS (Hadoop Distributed File System) para armazenamento escalável. O MapReduce permite o processamento paralelo de dados, tornando a análise mais rápida e eficiente.
6
HDFS: Fundamentos
•Armazenamento distribuído para dados massivos, tolerante a falhas e escalável.
•Divide arquivos em blocos, replicando-os em diferentes nós do cluster.
•O NameNode gerencia metadados, e os DataNodes armazenam os blocos de dados.
7
MapReduce: Processamento Paralelo
•Divide grandes conjuntos de dados em partes menores para processamento paralelo.
•Processa cada parte independentemente em nós diferentes de um cluster.
•Combina os resultados parciais para produzir a saída final consolidada.
8
Spark: Processamento Rápido
Spark é um framework de processamento de dados em larga escala que se destaca pela sua velocidade e capacidade de realizar análises complexas. Diferentemente do Hadoop MapReduce, o Spark utiliza a memória para armazenar dados intermediários, o que resulta em um processamento muito mais rápido. Suas principais vantagens incluem a facilidade de uso, a versatilidade e a capacidade de lidar com diferentes tipos de dados.
9
A Velocidade Impressionante do Spark
•Processamento em memória: dados acessados rapidamente, evitando gargalos de E/S.
•Execução otimizada: transforma consultas em grafos de execução eficientes.
•Reuso de dados: mantém dados em memória para iterações rápidas.
10
Spark: Múltiplas Linguagens
•Python: Popular para ciência de dados e aprendizado de máquina.
•Java: Amplamente usado em aplicações corporativas robustas.
•Scala: Linguagem nativa do Spark, alto desempenho e concisão.
11
Ferramentas Essenciais do Spark
O ecossistema Spark oferece diversas ferramentas para análise de big data. Inclui Spark SQL para processamento de dados estruturados, Spark Streaming para dados em tempo real. MLlib e GraphX fornecem funcionalidades de aprendizado de máquina e análise de grafos, respectivamente.
12
Spark SQL: Consultas SQL
•Permite consultar dados estruturados usando sintaxe SQL familiar e poderosa.
•Integra-se perfeitamente com outras APIs Spark para análise abrangente.
•Suporta diversas fontes de dados, como Hive, Parquet, JSON e JDBC.
13
MLlib para Análise Preditiva
•MLlib oferece algoritmos de machine learning escaláveis para análise de Big Data.
•Inclui classificação, regressão, clustering e filtragem colaborativa com alta performance.
•Integra-se facilmente com outras ferramentas do Spark, como Spark SQL e Spark Streaming.
14
Big Data no Varejo
No varejo, Big Data analisa dados de clientes para personalizar ofertas. Isso permite oferecer produtos relevantes e promoções direcionadas. Assim, melhora a experiência do cliente e aumenta as vendas.
15
Conclusão
•Big Data: Dados massivos e complexos
•Hadoop: Processamento distribuído
•Spark: Processamento rápido em memória
•Ferramentas Spark: SQL, Streaming e MLlib
•Aplicações no varejo e além
16
image-1-1.png
image-1-2.png
image-1-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-2-1.png
image-2-2.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-3-1.png
image-3-2.png
image-3-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-4-1.jpg
image-4-2.png
image-4-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-5-1.jpg
image-5-2.png
image-5-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-6-1.png
image-6-2.png
image-6-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-7-1.png
image-7-2.png
image-7-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-8-1.png
image-8-2.png
image-8-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-9-1.jpg
image-9-2.png
image-9-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-10-1.png
image-10-2.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-11-1.png
image-11-2.png
image-11-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-12-1.png
image-12-2.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-13-1.png
image-13-2.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-14-1.png
image-14-2.png
image-14-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-15-1.jpg
image-15-2.png
image-15-3.svg
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
image-16-1.png
image-16-2.svg