TÓPICOS DE BIG DATA EM PYTHON

Prévia do material em texto

1a 
 Questão 
Acerto: 1,0 / 1,0 
 
Selecione a opção em que a computação se refere à execução de aplicações e 
serviços em uma rede distribuída usando recursos virtualizados. 
 
 
Computação Paralela 
 Computação em Nuvem 
 
Computação de Big Data 
 
Computação centralizada 
 
Computação de banco de dados 
Respondido em 14/03/2023 17:47:47 
 
Explicação: 
As aplicações de computação em nuvem são acessadas por protocolos de Internet e 
padrões de rede. As demais opções estão erradas, pois nenhuma delas trabalha 
obrigatoriamente com protocolos de internet. 
 
 
2a 
 Questão 
Acerto: 1,0 / 1,0 
 
Selecione a opção em que a camada fornece comunicação ponta a ponta nas 
aplicações de internet das coisas. 
 
 
Camada de aplicação 
 Camada de transporte 
 
Camada lógica 
 
Camada de sessão 
 
Camada de enlace de dados 
Respondido em 14/03/2023 17:48:44 
 
Explicação: 
A camada de transporte é encarregada pela comunicação ponta a ponta entre as 
aplicações e oferece confiabilidade, além de garantir que os pacotes serão entregues da 
mesma forma que o usuário os enviou. Em relação às outras opções, a camada lógica 
simplesmente não existe. Já a camada de enlace de dados detecta erros e, quando 
necessário, os corrige. A camada de sessão trata dos processos responsáveis pela 
transferência de dados. Por fim, a camada de aplicação é responsável pela comunicação 
fim-a-fim entre processos. 
 
 
3a 
 Questão 
Acerto: 1,0 / 1,0 
 
Em relação ao Data Lake, selecione a opção correta que contenha o(s) formato(s) de 
dados que pode(m) ser armazenado(s) nele. 
 
 
apenas tabelas relacionais 
 estruturado, não estruturado e semiestruturado 
 
apenas estruturado 
 
estruturado e semiestruturado 
 
apenas não estruturado 
Respondido em 14/03/2023 17:49:17 
 
Explicação: 
O Data Lake pode armazenar dados estruturados, semiestruturados e não estruturados que 
correspondem a característica de variedade dos dados que é bem típica de aplicações de 
Big Data. 
 
 
4a 
 Questão 
Acerto: 1,0 / 1,0 
 
A respeito dos arquivos de configuração do Hadoop, selecione a opção correta com 
as tags que fornecem acesso aos parâmetros de configuração. 
 
 
 
 
 
 
 
 
 
 
 
Respondido em 14/03/2023 17:49:48 
 
Explicação: 
As configurações dos arquivos do Hadoop são especificadas entre as tags configurations. 
As demais opções não representam tags corretas para parâmetros de configurações do 
Hadoop. 
 
 
5a 
 Questão 
Acerto: 1,0 / 1,0 
 
Observe o trecho de código abaixo 
import numpy as np 
from pyspark import SparkContext 
spark_contexto = SparkContext() 
a = np.array([1, 5, 1, 6, 4, 7, 7]) 
teste = spark_contexto.parallelize(a) 
Selecione a opção correta a respeito dele. 
 
 
O objetivo do trecho de código é contar a quantidade de ocorrências dos 
valores do vetor "a". 
 A variável "teste" corresponde a um RDD. 
 
A utilização do SparkContext é opcional. 
 
A execução do trecho de código vai gerar um erro. 
 
A linha "spark_contexto.parallelize(a)" aplica a técnica MapReduce para 
processar o vetor "a". 
Respondido em 14/03/2023 17:51:09 
 
Explicação: 
Gabarito: A variável "teste" corresponde a um RDD. 
Justificativa: O trecho de código está sintaticamente correto. O objetivo é criar um RDD 
que, no caso, é representado pela variável "teste" para isso é obrigatório utilizar o 
"SparkContext". O pacote "numpy" foi utilizado por causa da variável vetor "a". 
 
 
6a 
 Questão 
Acerto: 1,0 / 1,0 
 
Os componentes do Spark têm como objetivo facilitar o desenvolvimento de projetos 
com finalidades específicas. Nesse sentido, selecione a opção que contém o 
componente responsável por estabelecer uma conexão com o Cluster. 
 
 SparkContext 
 
DataFrame 
 
RDD 
 
SparkSession 
 
Spark.Catalog 
Respondido em 14/03/2023 17:52:05 
 
Explicação: 
Gabarito: SparkContext 
Justificativa: O componente responsável por estabelecer uma conexão com o cluster é o 
SparkContext e pode ser usado para criar RDDs, acumuladores e variáveis de transmissão 
nesse cluster. O SparkSession, por sua vez, é um ponto de entrada para que o Spark possa 
trabalhar com RDD, DataFrame e Dataset. O Spark.Catalog é uma interface para gerenciar 
um catálogo de metadados de entidades relacionais. 
 
 
7a 
 Questão 
Acerto: 1,0 / 1,0 
 
Gabriel entrou recentemente em uma empresa de gestão de fundos de 
investimento. No seu primeiro dia de trabalho, lhe é conferida a tarefa de buscar 
os relatórios do pessoal da contabilidade para fazer suas análises exploratórias. 
O departamento de contabilidade extrai os dados de seus relatórios de um SAP 
que retorna valores brutos de compras, quantidades de produtos etc. Então os 
contadores organizam, por agregação, informação relevante no relatório em 
planilhas por eles desenvolvidos. Por questões de acesso e segurança, Gabriel só 
pode lidar com essas planilhas. Este tipo de coleta feita por Gabriel e pelos 
Contadores é respectivamente dos tipos: 
 
 
Secundária; Secundária. 
 
Primária; Secundária. 
 
Secundária; Terciária. 
 Secundária; Primária. 
 
Primária; Primária. 
Respondido em 14/03/2023 17:52:39 
 
Explicação: 
Gabriel coletará dados gerados a partir de terceiros, enquanto os contadores estão fazendo 
uma coleta primária direto na fonte dos dados do SAP que, para os fins desta questão está 
funcionando como um repositório de dados para eles. 
 
 
8a 
 Questão 
Acerto: 1,0 / 1,0 
 
Dados categóricos são aqueles normalmente expressos por texto, que representam 
rótulos, nomes e símbolos. Qual tipo de visualização de dados abaixo é 
recomendado para dados categóricos? 
 
 Gráficos de Barra. 
 
Gráficos de Linha. 
 
Gráfico de Estrela. 
 
Gráfico de Matriz de Dispersão. 
 
Gráfico de Faces de Chernoff. 
Respondido em 14/03/2023 17:52:58 
 
Explicação: 
O gráfico de barras mostra as proporções dos dados categóricos assim evidenciando os 
extratos da amostra. Lembrando que os dados categóricos não se encaixam nos gráficos 
de dados numéricos, como o de dispersão causando confusão na função de visualização 
ou quebrando a mesma dependendo da biblioteca escolhida. 
 
 
9a 
 Questão 
Acerto: 1,0 / 1,0 
 
Leonardo começou seu trabalho de conclusão de curso. Nesse trabalho, Leonardo 
quer elaborar um classificador de imagem, mas, não sabe se decidir com relação à 
configuração das camadas de sua rede neural. É muito comum utilizarmos o 
conjunto ________ para fazermos o benchmark de modelos de ______________: 
 
 
IRIS; Processamento da Linguagem Natural 
 MNIST; Processamento de Imagens 
 
IRIS; Processamento de Imagens 
 
MNIST; Processamento de Linguagem Natural 
 
Pizzas; Categorias 
Respondido em 14/03/2023 17:53:16 
 
Explicação: 
O conjunto MNIST de dígitos escritos a mão é um dos conjuntos mais conhecidos na 
literatura de aprendizado de máquina. Mas, essa fama não é à toa, pois esse é o conjunto 
de comparação entre modelos de processamento de imagens, uma vez que uma boa 
configuração de rede neural deve ser capaz de reconhecer os dígitos escritos a mão do 
MNIST. 
 
 
10a 
 Questão 
Acerto: 1,0 / 1,0 
 
A qual técnica de Aprendizado de Máquina o Algoritmo de Árvore de Decisão 
Classificadora pertence? 
 
 Classificação 
 
Q-Learning 
 
Regressão 
 
Modelos Generativos 
 
Agrupamento