Big Data em Python 3

Prévia do material em texto

A
B
C
D
E
A
B
1 Marcar para revisão
Selecione a opção correta que contenha a
operação responsável por retornar um
subconjunto aleatório dos dados de entrada.
sample
filter
random
mapRandom
distinct
2 Marcar para revisão
O PySpark caracteriza-se como uma
biblioteca Spark responsável por executar
programas usando recursos do Apache
Spark. Selecione a opção correta que
contenha itens que são pré-requisitos de
instalação para utilização do PySpark.
Hadoop e Spark
Casandra e Spark
Questão 1 de 9
Em branco (9)
1 2 3 4 5
6 7 8 9
Finalizar exercícios
Lista de exercícios Principios De… Sair e finalizar depois
10/11/2025, 11:20 estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/
https://estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/ 1/6
C
D
E
A
B
C
D
E
Java e Python
Python e Escala
Java e R
3 Marcar para revisão
Observe o trecho de código abaixo
import numpy as np
from pyspark import SparkContext
spark_contexto = SparkContext()
a = np.array([1, 5, 1, 6, 4, 7, 7])
teste = spark_contexto.parallelize(a)
Selecione a opção correta a respeito dele.
A utilização do SparkContext é
opcional.
A linha
"spark_contexto.parallelize(a)"
aplica a técnica MapReduce para
processar o vetor "a".
A variável "teste" corresponde a
um RDD.
A execução do trecho de código
vai gerar um erro.
O objetivo do trecho de código é
contar a quantidade de ocorrências
dos valores do vetor "a".
10/11/2025, 11:20 estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/
https://estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/ 2/6
A
B
C
D
E
A
B
C
4 Marcar para revisão
O Spark é uma ferramenta computacional
voltada para aplicações de Big Data.
Selecione a opção correta a respeito do
componente que pode ser tratado com o
Spark SQL.
DAG
Executor
RDD
Work Node
Tasks
5 Marcar para revisão
Os componentes do Spark (2.0 ou superior)
têm como objetivo facilitar o
desenvolvimento de projetos com
finalidades específicas. Nesse sentido,
selecione a opção que contém o
componente responsável por estabelecer
uma conexão com o Cluster.
Spark.Catalog
SparkSession
DataFrame
10/11/2025, 11:20 estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/
https://estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/ 3/6
D
E
A
B
C
D
E
RDD
SparkContext
6 Marcar para revisão
Os componentes do Spark têm como
objetivo facilitar o desenvolvimento de
projetos com finalidades específicas.
Selecione a opção que contém o
componente do ecossistema do Spark
especializado em aplicações de aprendizado
de máquina.
MLlib
Spark Learning
GraphX Learning
RDDs
MLSpark
7 Marcar para revisão
Atualmente, o Apache Spark é o mais bem-
sucedido framework para Big Data.
Selecione a opção correta que contenha
apenas funções que podem ser
categorizadas como transformações no
Spark.
10/11/2025, 11:20 estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/
https://estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/ 4/6
A
B
C
D
E
A
B
C
D
E
count, collect e take.
map, sample e collect.
map, filter e union.
reduce, first e map.
map, take e reduce.
8 Marcar para revisão
O MapReduce é uma técnica clássica de
programação e é bastante utilizada por
diversos frameworks, como o Spark, por
exemplo. Em relação à técnica MapReduce,
selecione a opção correta.
Consiste em uma técnica de
programação sequencial
É uma técnica lenta para
processamento de grandes
volumes de dados
Foi substituída no Spark por acesso
direto à memória
Só pode ser aplicada para grandes
volumes de dados
É uma técnica de computação
distribuída
10/11/2025, 11:20 estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/
https://estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/ 5/6
A
B
C
D
E
9 Marcar para revisão
O paradigma MapReduce é uma estratégia
de computação com capacidade de
processar grandes conjuntos de dados de
maneira distribuída em várias máquinas. Em
relação à técnica MapReduce, selecione a
opção que é responsável por consolidar os
resultados produzidos ao longo do
processamento.
Agregação
Mapeamento
Separação
Redução
Processamento
10/11/2025, 11:20 estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/
https://estacio.saladeavaliacoes.com.br/exercicio/6911f4a8c0f2a92cb2866b00/ 6/6