Questões Big Data Python

Prévia do material em texto

Aqui está um gabarito com algumas questões conhecidas e recorrentes em provas de
"Tópicos de Big Data em Python" (comuns em cursos como Estácio e similares), organizadas
por tema para facilitar o estudo.
🐍 Python e Bibliotecas
1. Qual constructo da linguagem Python representa o condicional simples?
Resposta: if .
Justificativa: O if é a estrutura fundamental para executar blocos de código com base
em uma condição booleana.
2. Qual biblioteca é a base para a implementação de redes neurais em Python, realizando
cálculos em paralelo baseados em grafos?
Resposta: TensorFlow .
Justificativa: O TensorFlow é amplamente utilizado para computação numérica e
treinamento de modelos de aprendizado profundo.
3. Sobre a biblioteca Pandas, quais afirmativas são verdadeiras? I. O nome Pandas refere-se
a "dados em painel" (panel data). II. O DataFrame é um coletivo de listas. III. É possível criar
DataFrames a partir de arquivos CSV, Excel e JSON.
Resposta: Apenas I e III .
Justificativa: O DataFrame é uma estrutura bidimensional (semelhante a uma tabela),
não apenas um coletivo de listas. Ele suporta a importação de diversos formatos de
arquivo.
⚡ Spark e PySpark
4. Qual componente do Spark é responsável por estabelecer a conexão com o Cluster?
Resposta: SparkContext (ou SparkSession em versões mais recentes, dependendo do
contexto da questão) .
Justificativa: O SparkContext é o ponto de entrada para a funcionalidade do Spark e é
usado para criar RDDs. Em versões 2.0+, o SparkSession encapsula o contexto, mas o
SparkContext ainda é o componente de conexão subjacente.
5. No PySpark, qual operação retorna um subconjunto aleatório dos dados de entrada?
Resposta: sample .
Justificativa: A função sample é uma transformação que retorna uma amostra dos
dados, podendo ser com ou sem reposição.
A
R
M
A
R
K
 W
A
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
6. Qual é o componente do ecossistema Spark especializado em aplicações de aprendizado
de máquina?
Resposta: MLlib .
Justificativa: O MLlib é a biblioteca de machine learning do Spark, projetada para ser
distribuída e escalável.
7. Observe o trecho de código:
query = "SELECT * FROM tabela_teste WHERE valor = " + str(str_valor)
registros = spark.sql(query)
Qual a finalidade deste código?
Resposta: Trata-se de um exemplo de utilização do Spark SQL .
Justificativa: O método .sql() permite executar consultas SQL diretamente em
DataFrames temporários ou tabelas registradas no Spark.
8. Quais são os pré-requisitos de instalação para a utilização do PySpark?
Resposta: Java e Python .
Justificativa: O Spark roda na JVM (Java Virtual Machine), por isso o Java é
necessário. O PySpark é a API Python para o Spark, obviamente exigindo o Python
instalado.
🐘 Hadoop e MapReduce
9. Qual é a linguagem de programação original utilizada para o desenvolvimento e
implementação do Hadoop?
Resposta: Java .
Justificativa: O núcleo do Hadoop (HDFS e YARN) foi escrito originalmente em Java.
10. No Hadoop, qual componente é o nó mestre responsável por gerenciar o namespace do
sistema de arquivos?
Resposta: NameNode .
Justificativa: O NameNode é o cérebro do HDFS, controlando a estrutura de diretórios e
a localização dos blocos de dados.
11. Em relação à técnica MapReduce, qual etapa é responsável por consolidar (agregar) os
resultados produzidos ao longo do processamento?
Resposta: Redução (Reduce) .
A
R
M
A
R
K
 W
A
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
Justificativa: A fase de Reduce recebe os pares chave-valor gerados e agrupados na
fase de Map/Shuffle e os combina para produzir um resultado sumarizado.
📊 Conceitos de Big Data e Data Lake
12. Qual nível do Data Lake é responsável por fornecer dados para a análise de negócios
(consumo)?
Resposta: Nível de consumo .
Justificativa: O Data Lake é geralmente organizado em zonas (ex: ingestão, preparação,
consumo). A zona de consumo é onde os dados estão prontos e otimizados para
ferramentas de BI e análise.
13. Qual é a definição resumida de Data Lake?
Resposta: É um repositório centralizado para armazenamento de dados (em seus
formatos nativos) .
Justificativa: Diferente de um Data Warehouse, o Data Lake armazena dados brutos,
estruturados ou não, sem a necessidade de esquema prévio (schema-on-read).
14. Dados secundários são assim definidos devido a qual fato?
Resposta: Ao fato de terem sido obtidos a partir de terceiros .
Justificativa: Dados primários são coletados diretamente pelo pesquisador (ex: um
sensor instalado por ele). Dados secundários já foram coletados por outra pessoa ou
organização (ex: dados públicos do IBGE ou de um SAP da empresa).
15. A qual técnica de Aprendizado de Máquina o Algoritmo de Árvore de Decisão
Classificadora pertence?
Resposta: Classificação .
Justificativa: A Árvore de Decisão pode ser usada para regressão e classificação.
Quando especificada como "Classificadora", ela pertence à técnica de classificação
supervisionada.
16. Qual é a principal plataforma de tecnologia de nuvem usada como referência para as
outras?
Resposta: Amazon AWS .
Justificativa: A AWS é historicamente a plataforma pioneira e líder de mercado em
serviços de nuvem, servindo frequentemente como referência em questões de
concursos e provas.
A
R
M
A
R
K
 W
A
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
Espero que este gabarito ajude nos seus estudos. Se precisar de mais alguma questão
específica ou explicação sobre algum desses tópicos,é só avisar.
A
R
M
A
R
K
 W
A
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W
A
T
E
R
M
A
R
K
 W