Arquitetura Big Data em Nuvem

Prévia do material em texto

FIAP
CLOUD ENGINEERING & ARCHITECTURE 
ARQUITETURA DB E BIG DATA
Rio de Janeiro – RJ 
1 - Defina uma arquitetura com os principais componentes de Big Data em Nuvem que podem ajudar a empresa neste desafio
A) Detalhe cada componente e o seu propósito na arquitetura:
· Amazon RDS: database SQL para guardar os dados estruturados da empresa, esse ambiente está separado transacional (ERM e CRM) e não-transacional
· Data Warehouse: utilizado o Amazon redshift para ser o repositório dados estruturados, etl zero da aws para a “comunicação”
· DynamoDB: banco de dados NoSQL para guardar os dados não estruturados
· S3: Object storage para guardar video/foto/audio etc
· AWS Kinesis: serviço de stream de dados, “comunicação” entre os dados NoSQL com o DataLake
· Amazon EMR: plataforma de dados em nuvem para processar grandes quantidade de dados
· Athena: serviço de análise interativo e sem servidor criado em frameworks de código aberto, com suporte a formatos de tabela e arquivo abertos
· AWS Glue: serviço de integração de dados serverless
B) Desenhe a arquitetura com cada componente:
2 - Use uma calculadora de custos para fazer uma estimativa de custos mensal da plataforma
3 - Quais são os desafios que a empresa deverá encontrar para esta implementação em nuvem? Quais serão as ações recomendadas para reduzir o impacto destes desafios
· Segurança:
Desafio: A segurança dos dados é uma preocupação crítica. Dados armazenados em data centers externos e acessados por meio de conexões de rede podem estar vulneráveis.
Ação recomendada: Garanta que seus dados estejam protegidos contra acesso não autorizado, roubo e vazamento. Utilize criptografia e outras medidas de segurança oferecidas pelos provedores de serviços em nuvem.
· Escalabilidade:
Desafio: A capacidade de dimensionamento rápido pode ser um desafio para algumas empresas.
Ação recomendada: Planeje adequadamente a escalabilidade, considerando o crescimento futuro. Escolha provedores de nuvem que ofereçam opções flexíveis de dimensionamento.
· Interoperabilidade:
Desafio: Integrar sistemas legados com soluções em nuvem pode ser complexo.
Ação recomendada: Avalie as necessidades de integração e escolha soluções que sejam compatíveis com seus sistemas existentes. Considere APIs e padrões abertos.
· Confiabilidade e Disponibilidade:
Desafio: Dependência de serviços em nuvem para operações críticas.
Ação recomendada: Escolha provedores confiáveis com histórico sólido de disponibilidade. Considere redundância e backups para garantir continuidade de serviço1.
· Custos:
Desafio: O uso inadequado da nuvem pode resultar em custos inesperados.
Ação recomendada: Monitore e otimize os gastos. Use ferramentas de gerenciamento de custos e ajuste recursos conforme necessário
4 - Quais são as principais vantagens da implementação do ambiente de big data em nuvem?
· Redução de Custos:
· A computação em nuvem elimina a necessidade de infraestrutura física e aquisição de hardware, tornando o Big Data mais acessível para pequenas e médias empresas.
· Escalabilidade:
· A capacidade de dimensionamento rápido permite ajustar armazenamento e processamento conforme necessário, sem investimentos antecipados em infraestrutura.
· Praticidade e Mobilidade:
· Acesso aos dados de qualquer lugar, por meio de dispositivos conectados à internet, facilitando análises e tomada de decisões.
· Segurança:
· Os provedores de nuvem oferecem medidas de segurança robustas, protegendo os dados armazenados e processados.
· Produtividade:
· A centralização dos dados na nuvem permite integração e geração eficiente de relatórios completos 
5 - Faça uma comparação, indicando qual seria a sua recomendação de abordagem com as seguintes possibilidades de arquitetura na nuvem.
· Minha Recomendação
Para a maioria das empresas que buscam implementar uma arquitetura de Big Data na nuvem, a recomendação seria usar soluções baseadas em PaaS e Serverless (Opção 2).
· Justificativa:
· Redução da Complexidade: PaaS e Serverless reduzem significativamente a complexidade de configuração e gerenciamento de infraestrutura, permitindo que a equipe se concentre no desenvolvimento de valor agregado e na análise de dados.
· Escalabilidade e Flexibilidade: Esses serviços fornecem escalabilidade automática e a flexibilidade necessária para ajustar-se a diferentes cargas de trabalho, sem a necessidade de intervenção manual.
· Custo-Efetividade: Com pagamento por uso e sem a necessidade de gerenciamento contínuo de infraestrutura, PaaS e Serverless podem ser mais econômicos no longo prazo.
· Considerações:
· IaaS pode ser recomendado para empresas que necessitam de um controle granular e têm equipes técnicas capazes de gerenciar a infraestrutura.
· SaaS é ideal para empresas que procuram uma solução pronta para uso, com mínima gestão e alta disponibilidade, apesar do custo potencialmente mais alto.
· A escolha final deve considerar as necessidades específicas da empresa, incluindo o nível de controle desejado, a capacidade técnica da equipe e o orçamento disponível.
image3.png
image1.jpg
image2.png
image4.png