TÓPICOS DE BIG DATA EM PYTHON

Prévia do material em texto

1.
	
		 Selecione a opção em que a computação se refere à execução de aplicações e serviços em uma rede distribuída usando recursos virtualizados. 
	
	Certo
	
	Computação em Nuvem
	
	
	Computação Paralela
	
	
	Computação de Big Data
	
	
	Computação centralizada
	
	
	Computação de banco de dados
	Data Resp.: 30/11/2022 08:20:38
		Explicação:
As aplicações de computação em nuvem são acessadas por protocolos de Internet e padrões de rede. As demais opções estão erradas, pois nenhuma delas trabalha obrigatoriamente com protocolos de internet.
	
	 
	
	
	2.
	
		 Selecione a opção em que a camada fornece comunicação ponta a ponta nas aplicações de internet das coisas. 
	
	
	
	Camada de sessão
	
	
	Camada de aplicação
	
	
	Camada lógica
	Errado
	
	Camada de transporte
	Errado
	
	Camada de enlace de dados
	Data Resp.: 30/11/2022 08:20:55
		Explicação:
A camada de transporte é encarregada pela comunicação ponta a ponta entre as aplicações e oferece confiabilidade, além de garantir que os pacotes serão entregues da mesma forma que o usuário os enviou. Em relação às outras opções, a camada lógica simplesmente não existe. Já a camada de enlace de dados detecta erros e, quando necessário, os corrige. A camada de sessão trata dos processos responsáveis pela transferência de dados. Por fim, a camada de aplicação é responsável pela comunicação fim-a-fim entre processos.
	
	02508HADOOP E ARMAZENAMENTO DE DADOS
	 
	
	
	3.
	
		 O Hadoop é uma tecnologia especializada em atender as demandas de Big Data. Selecione a opção correta que contenha a linguagem de programação utilizada para o desenvolvimento e implementação do Hadoop. 
	
	
	
	Java Script
	Errado
	
	Python
	Errado
	
	Java
	
	
	Perl
	
	
	Lua
	Data Resp.: 30/11/2022 08:23:30
		Explicação:
O Hadoop foi desenvolvido usando, originalmente, a linguagem de programação Java na distribuição livre da Apache Foundation. Atualmente, diferentes distribuições do framework estão implementadas em diversas linguagens, entre as quais o Python.
	
	 
	
	
	4.
	
		 Reconhecer os conceitos de Data Lake é fundamental para o profissional de Tecnologia da Informação. Selecione a opção correta a respeito do Data Lake. 
	
	
	
	Possui alta latência para acesso dos dados.
	
	
	São exclusivos da distribuição Hadoop Apache.
	Certo
	
	Armazenam os dados de modo eficiente.
	
	
	Demandam por equipamentos especiais.
	
	
	Aplicam processos de tratamento nos dados.
	Data Resp.: 30/11/2022 08:24:18
		Explicação:
O Data Lake utiliza um método muito eficiente para fazer o armazenamento dos dados. Dessa forma ele possui baixa latência para acessar os dados. Além disso, o Data Lake não demanda por equipamentos especiais e não é de uso exclusivo da distribuição Hadoop Apache.
	
	02729PRINCIPIOS DE DESENVOLVIMENTO DE SPARK COM PYTHON
	 
	
	
	5.
	
		 Os componentes do Spark têm como objetivo facilitar o desenvolvimento de projetos com finalidades específicas. Selecione a opção que contém o componente do ecossistema do Spark especializado em aplicações de aprendizado de máquina. 
	
	
	
	MLSpark
	Certo
	
	MLlib
	
	
	GraphX Learning
	
	
	Spark Learning
	
	
	RDDs
	Data Resp.: 30/11/2022 08:25:52
		Explicação:
Gabarito: MLlib
Justificativa: O componente MLlib é o componente do ecossistema do Spark usado para implementar algoritmos estatísticos e de aprendizado de máquina para simplificar pipelines de aprendizado de máquina em projetos de big data. As opções Spark Learning, GraphX Learning e MLSpark não são componentes válidos do Spark. Os RDDs são componentes para conjunto de dados resilientes.
	
	 
	
	
	6.
	
		 O MapReduce é uma técnica clássica de programação e é bastante utilizada por diversos frameworks como o Spark, por exemplo. Em relação à técnica MapReduce, selecione a opção correta. 
	
	Certo
	
	É uma técnica de computação distribuída
	
	
	Consiste em uma técnica de programação sequencial
	
	
	Só pode ser aplicada para grandes volumes de dados
	
	
	É uma técnica lenta para processamento de grandes volumes de dados
	
	
	Foi substituída no Spark por acesso direto à memória
	Data Resp.: 30/11/2022 08:26:26
		Explicação:
Gabarito: É uma técnica de computação distribuída
Justificativa: O MapReduce é uma técnica de computação distribuída que apesar de clássica ainda é considerada muito eficiente para processamento de grandes volumes de dados. Apesar de ser adequada para projetos de big data, ela também pode ser utilizada para menores volumes, mas não é apropriada para esses casos.
	
	02260ANÁLISE DE DADOS EM PYTHON COM PANDAS
	 
	
	
	7.
	
	 
 
	 Dado que Felipe quer fazer a junção entre dois conjuntos de dados e escreveu o seguinte código: import pandas as pd df1 = pd.DataFrame({'lkey': ['foo', 'bar', 'baz', 'foo'], 'value': [1, 2, 3, 5]}) df2 = pd.DataFrame({'rkey': ['foo', 'bar', 'baz', 'foo'], 'value': [5, 6, 7, 8]}) df1.merge(df2, left_on='lkey', right_on='rkey') Qual destas alternativas descreve as saídas do código? I ¿ O conjunto resultante terá colunas lkey, value_x, rkey, value_y II ¿ O código não executará, pois Filipe não definiu os sufixos de coluna III ¿ O resultado do código em questão retornará um pd.Series juntando os conjuntos pela lkey e rkey. 
	
	
	
	Apenas as opções II e III estão corretas.
	Errado
	
	Apenas a opção I está correta.
	Errado
	
	Apenas as opções I e III estão corretas.
	
	
	Apenas a opção III está correta.
	
	
	Apenas a opção II está correta.
	Data Resp.: 30/11/2022 08:29:06
		Explicação:
A afirmativa I está corretíssima uma vez que o resultado terá as colunas chaves e as colunas valores acrescidas dos sufixos padrões, porquanto não há declaração explícita. A afirmativa II é incorreta, por mais que seja uma boa prática definir os nomes dos sufixos de suas junções, não sendo impeditivo à biblioteca executar a junção sem elas. A afirmativa III é incorreta, pois o resultado de uma junção é um pd.DataFrame, uma vez que estamos falando de operações fechadas assim como a álgebra que rege o bom funcionamento de um sistema, i.e., como a entrada é de DataFrames, a saída obrigatoriamente também tem que ser de DataFrames.
	
	 
	
	
	8.
	
		 Sobre o Pandas DataFrame o que podemos afirmar? I - É o coletivo de séries temporais pandas.Series II - É a estrutura de dados que representa os dados em painel III - É uma matriz conjunto de vetores IV - É o bloco fundamental da análise de dados moderna, principalmente para aprendizado de máquina. Analise as frases listadas e assinale a alternativa correta. 
	
	
	
	Apenas as opções II, III.
	Certo
	
	Apenas as opções I, II, IV.
	
	
	Apenas as opções I, II, III.
	
	
	Todas as opções I, II, III, IV.
	
	
	Apenas a opção III.
	Data Resp.: 30/11/2022 08:29:17
		Explicação:
A proposição I é correta, pois, assim como o conceito estatístico, o DataFrame no Python é um coletivo de objetos Pandas Series, que são séries temporais. A proposição II está correta pela definição estatística de dados em painel, que são conjuntos de séries temporais heterogêneas armazenadas e dispostas de forma tabular. A proposição III não é verdade, pois o DataFrame é um conjunto de Series, que por sua vez é muito diferente do objeto List do Python. A proposição IV está correta, pois atualmente em grande maioria esmagadora, os projetos modernos de análise de dados dependem muito dos DataFrames, uma vez que são muito cômodos e robustos para análise, principalmente em projetos de aprendizado de máquina.
	
	02318BIG DATA ANALYTICS
	 
	
	
	9.
	
		 A qual técnica de Aprendizado de Máquina o Algoritmo de Árvore de Decisão Classificadora pertence? 
	
	
	
	Agrupamento
	
	
	Q-Learning
	
	
	Modelos Generativos
	Certo
	
	Classificação
	
	
	Regressão
	Data Resp.: 30/11/2022 08:29:28
		Explicação:
O algoritmo de árvore de decisão é um dos mais simples e poderosos algoritmos de aprendizado de máquina que podeser utilizado tanto para regressão quanto para classificação, mas muda sua terminação dependendo da técnica em questão, por exemplo, para classificação é a Árvore de Decisão Classificadora, enquanto para regressão se chama Árvore Regressora, ou Árvore de Decisão Regressora.
	
	 
	
	
	10.
	
		 Leonardo começou seu trabalho de conclusão de curso. Nesse trabalho, Leonardo quer elaborar um classificador de imagem, mas, não sabe se decidir com relação à configuração das camadas de sua rede neural. É muito comum utilizarmos o conjunto ________ para fazermos o benchmark de modelos de ______________: 
	
	
	
	IRIS; Processamento da Linguagem Natural
	
	
	MNIST; Processamento de Linguagem Natural
	
	
	Pizzas; Categorias
	Certo
	
	MNIST; Processamento de Imagens
	
	
	IRIS; Processamento de Imagens
	Data Resp.: 30/11/2022 08:30:27
		Explicação:
O conjunto MNIST de dígitos escritos a mão é um dos conjuntos mais conhecidos na literatura de aprendizado de máquina. Mas, essa fama não é à toa, pois esse é o conjunto de comparação entre modelos de processamento de imagens, uma vez que uma boa configuração de rede neural deve ser capaz de reconhecer os dígitos escritos a mão do MNIST.