Big Data e Análise de Dados

Prévia do material em texto

O que é Big Data?
Big Data refere-se a conjuntos de dados extremamente grandes, complexos e variados, que são difíceis de processar usando ferramentas tradicionais. Esses dados podem vir de diversas fontes, como redes sociais, sensores, transações financeiras, registros de saúde, entre outros.
As 5 Vs do Big Data:
1. Volume: Quantidade massiva de dados.
2. Velocidade: Geração e processamento de dados em tempo real.
3. Variedade: Diferentes tipos de dados (estruturados, semiestruturados, não estruturados).
4. Veracidade: Qualidade e confiabilidade dos dados.
5. Valor: Capacidade de extrair insights úteis para decisões.
Fontes de Dados em Big Data
· Redes sociais (posts, likes, comentários)
· Dispositivos IoT (Internet das Coisas)
· Logs de servidores
· Transações financeiras
· Dados de sensores industriais
· Aplicativos móveis
O que é Análise de Dados?
Análise de dados é o processo de examinar, limpar, transformar e modelar dados para descobrir informações úteis, tirar conclusões e apoiar a tomada de decisões.
Tipos de Análise:
1. Descritiva: O que aconteceu?
Exemplo: Relatórios mensais de vendas.
2. Diagnóstica: Por que aconteceu?
Exemplo: Queda nas vendas devido à mudança no comportamento do consumidor.
3. Preditiva: O que pode acontecer?
Exemplo: Previsão de demanda com base em tendências anteriores.
4. Prescritiva: O que deve ser feito?
Exemplo: Sugerir promoções para aumentar vendas.
Tecnologias de Big Data
· Armazenamento: Hadoop, Amazon S3, Google BigQuery
· Processamento: Apache Spark, Apache Flink, MapReduce
· Bancos de Dados NoSQL: MongoDB, Cassandra, Redis
· Ferramentas de ETL: Talend, Apache NiFi, Pentaho
Linguagens e Ferramentas de Análise de Dados
· Linguagens: Python, R, SQL
· Bibliotecas (Python): Pandas, NumPy, Matplotlib, Seaborn, Scikit-learn
· BI (Business Intelligence): Power BI, Tableau, Looker, Qlik
Profissionais da Área
· Analista de Dados: Coleta e analisa dados para gerar insights.
· Cientista de Dados: Cria modelos estatísticos e de machine learning.
· Engenheiro de Dados: Constrói pipelines e infraestrutura de dados.
· Engenheiro de Machine Learning: Desenvolve sistemas inteligentes e preditivos.
Aplicações de Big Data e Análise de Dados
· Recomendação de produtos (ex: Netflix, Amazon)
· Monitoramento de saúde em tempo real
· Detecção de fraudes bancárias
· Análise de sentimentos nas redes sociais
· Otimização logística e previsão de demanda