Logo Passei Direto
Buscar

Bases de Dados

Outros
Um dos componentes que estende a funcionalidade do MapReduce é o Pig. Ele consiste em uma plataforma para analisar grandes volumes de dados utilizando uma linguagem de scripts semelhante a SQL. Avalie as seguintes afirmações sobre o Pig:
I – O Pig tem por objetivo realizar o processamento dos dados de forma mais eficiente que o MapReduce
II – A camada de infraestrutura do Pig é baseada em um compilador que interpreta scripts escritos em Grunt e os converte em sequências de programas MapReduce
III – O Pig permite que o desenvolvedor crie suas próprias funções em Pig Script.
IV – Uma das maneiras de melhorar o desempenho do Pig é substituir o MapReduce com alternativas como Tez ou Spark
V – O interpretador de linha de comando Grunt permite executar comandos de forma interativa.
Dentre essas afirmações estão CORRETAS:
III, IV e V
A) I, II e IV.
B) II, III e V.
C) I, III e V.
User badge image
Aprendendo com Desafios

há 2 anos

User badge image
Aprendendo com Desafios

há 2 anos

Operações e Arquitetura de Big Data
7 pág.

Operações e Arquitetura de Big Data

Respostas

User badge image

Ed Verified user icon

ano passado

Vamos analisar cada uma das afirmações sobre o Pig: I – O Pig tem por objetivo realizar o processamento dos dados de forma mais eficiente que o MapReduce. Falso, o Pig não é necessariamente mais eficiente que o MapReduce; ele é uma camada que facilita a escrita de scripts que, por sua vez, são convertidos em MapReduce. A eficiência depende do contexto e da implementação. II – A camada de infraestrutura do Pig é baseada em um compilador que interpreta scripts escritos em Grunt e os converte em sequências de programas MapReduce. Verdadeiro, o Pig realmente utiliza um compilador para converter scripts em MapReduce. III – O Pig permite que o desenvolvedor crie suas próprias funções em Pig Script. Verdadeiro, o Pig permite a criação de funções personalizadas. IV – Uma das maneiras de melhorar o desempenho do Pig é substituir o MapReduce com alternativas como Tez ou Spark. Verdadeiro, o uso de frameworks alternativos como Tez ou Spark pode melhorar o desempenho em relação ao MapReduce. V – O interpretador de linha de comando Grunt permite executar comandos de forma interativa. Verdadeiro, o Grunt é um shell interativo para o Pig. Agora, vamos resumir as afirmações corretas: - II, III, IV e V são verdadeiras. - I é falsa. Dentre as alternativas apresentadas, a única que contém itens verdadeiros é: B) II, III e V.

Essa resposta te ajudou?

0
Dislike0

Ainda não achou a resposta?

  • Integrado com os principais modelos de IA do mercado
  • Respostas em segundos
  • IA treinada para estudantes brasileiros.
PasseIA logoEvolua sua forma de estudar

Cadastre-se ou realize login

User badge image

Ed Verified user icon

há 2 anos

Analisando as afirmações sobre o Pig: I - O Pig tem por objetivo realizar o processamento dos dados de forma mais eficiente que o MapReduce - INCORRETO. O Pig não é mais eficiente que o MapReduce, ele é uma abstração em cima do MapReduce. II - A camada de infraestrutura do Pig é baseada em um compilador que interpreta scripts escritos em Grunt e os converte em sequências de programas MapReduce - CORRETO. O Pig converte scripts em sequências de programas MapReduce. III - O Pig permite que o desenvolvedor crie suas próprias funções em Pig Script - CORRETO. O Pig permite a criação de funções personalizadas. IV - Uma das maneiras de melhorar o desempenho do Pig é substituir o MapReduce com alternativas como Tez ou Spark - INCORRETO. O Pig não substitui o MapReduce, mas pode ser executado em cima de outras plataformas como Tez ou Spark. V - O interpretador de linha de comando Grunt permite executar comandos de forma interativa - CORRETO. O Grunt permite a execução interativa de comandos. Portanto, as afirmações corretas são III, IV e V.

Essa resposta te ajudou?

0
Dislike0

Ainda com dúvidas?

Envie uma pergunta e tenha sua dúvida de estudo respondida!

Essa pergunta também está no material:

Operações e Arquitetura de Big Data
7 pág.

Operações e Arquitetura de Big Data

Mais perguntas desse material

Sobre a arquitetura do Hive avalie as seguintes afirmações:
I – Driver é o componente do Hive que recebe os comandos e consultas, compila a entrada, otimiza a computação necessária e executa os passos com tarefas MapReduce ou Tez.
II – O Hive utiliza Mappers e Reducers genéricos que são sequenciados por planos de trabalho escritos em XML.
III – A estratégia Scheme on Read é considerada muito restritiva, uma vez que uma quantidade considerável de esforços é investida ajustando os dados à estrutura definida.
IV – Os metadados que definem os esquemas e particionamentos do Hive são armazenados em um banco de dados relacional. Normalmente Derby ou MySQL.
V – É possível realizar consultas utilizando o Hive através de uma interface de linha de comando (CLI) ou através da Hive Web Interface (HWI).
Dentre essas afirmações estão CORRETAS:

C) Todas, exceto III

Um dos componentes que estende a funcionalidade do MapReduce é o Pig. Ele consiste em uma plataforma para analisar grandes volumes de dados utilizando uma linguagem de scripts semelhante a SQL. Avalie as seguintes afirmações sobre o Pig:
I – O Pig tem por objetivo realizar o processamento dos dados de forma mais eficiente que o MapReduce
II – A camada de infraestrutura do Pig é baseada em um compilador que interpreta scripts escritos em Grunt e os converte em sequências de programas MapReduce
III – O Pig permite que o desenvolvedor crie suas próprias funções em Pig Script.
IV – Uma das maneiras de melhorar o desempenho do Pig é substituir o MapReduce com alternativas como Tez ou Spark
V – O interpretador de linha de comando Grunt permite executar comandos de forma interativa.
Dentre essas afirmações estão CORRETAS:

D) III, IV e V

Avalie as seguintes afirmações sobre as operações de leitura e escrita no HDFS:
I – Durante a operação de leitura no HDFS, o Name Node informa ao cliente quais são os Data Nodes mais eficientes que possuem os blocos de dados desejados.
II – O cliente deve requisitar a operação de escrita ao Name Node que informa ao cliente quais são os Name Nodes mais eficientes. Em seguida o cliente deve comunicar com esses Name Nodes para armazenar os dados do arquivo dividido em blocos de 128MB.
III – A operação de escrita de dados deve ser realizada pelo servidor cliente que distribui o arquivo em blocos aos Name Nodes mais eficientes do cluster.
IV – A operação de escrita de dados deve ser realizada pelo servidor cliente que requisita a criação de um arquivo ao Name Node. Em seguida o cliente comunica com um único Data Node que irá distribuir os dados entre os outros Data Nodes. Por fim o Data Node retorna à localização dos blocos de dados ao cliente. E o cliente repassa a informação para ser armazenada no Name Node
Dentre essas afirmações estão INCORRETAS:

A) III e IV

Em relação aos aspectos que devemos levar em consideração ao definir o conceito de Big Data podemos afirmar que:
I – Tecnologias tradicionais não foram projetadas para suportar um grande volume de dados.
II – As tecnologias baseadas em Big Data são muito eficientes pois se utilizam exclusivamente de bancos de dados relacionais, que são projetados para armazenar dados previamente estruturados.
III – Serviços devem ser capazes de processar um volume imenso de dados no tempo necessário para que a informação seja útil e não perca o seu valor.
IV – A priorização e escolha dos dados corretos que devem ser processados permite entregar um valor mais adequado.
V – Avaliar a veracidade dos dados é importante, uma vez que pode afetar os resultados obtidos.
Dentre essas afirmações estão INCORRETAS:

B) Apenas a II.

Sobre a fase de análise de dados avalie as seguintes afirmações:
I – Durante a fase de análise de dados, o cientista de dados deve preparar os dados brutos para que possam ser utilizados na produção de informações úteis e padrões ocultos em conjuntos massivos de dados.
II – A partir do conjunto de dados inicial podemos aplicar análises estatísticas utilizando modelos estatísticos ou ainda aplicar modelos de predições baseados em aprendizado de máquina de forma que os dados sejam refinados.
III – Realizar análise exploratória e verificar a qualidade dos dados são atividades da análise de dados que fazem parte da fase de preparação dos dados
IV – A fase de modelagem dos dados é composta pelas seguintes tarefas: Selecionar técnicas de modelagem, projetar testes, definir e construir o modelo de dados, seus parâmetros e sua descrição, validar o modelo e definir os parâmetros a serem revisados, avaliar os resultados do modelo; revisar processos; e determinar os passos seguintes.
V – O aprendizado de máquina é uma das atividades necessárias na automatização da construção de modelos analíticos que é uma das tarefas da fase de compreensão dos dados.
Dentre essas afirmações estão CORRETAS:

A) I, II, III e IV – B) Todas

Sobre o Hadoop, avalie as seguintes afirmacoes:
I - O Hadoop é composto de um ecossistema de aplicações que incorporam as suas funcionalidades.
II - O MapReduce é o componente responsável pelo processamento distribuído no contexto do Hadoop. Portanto, é o componente que decide qual servidor irá executar determinada tarefa.
III - O HDFS é o componente do Hadoop responsável pelo armazenamento distribuído dos dados no Hadoop. Dessa forma, o componente atua como um imenso banco de dados.
IV - O HDFS mantém cópias redundantes dos dados armazenados, dessa forma é possível recuperar os dados automaticamente mesmo em caso de falha de alguns servidores do cluster.
V - O YARN é o componente responsável pelo balanceamento de carga entre os servidores do cluster.
C) II, III e V / D) II, III, IV e V

Ao criar uma aplicação capaz de processar e analisar seus dados de forma a extrair informações precisas que possam gerar o valor esperado, o analista de dados deve estar atento aos seguintes fatores:
I - Quão variados eles precisam ser.
II - Qual o seu nível de atualização.
III - Qual o seu nível de popularidade.
IV - A relevância dos dados.
V - A velocidade necessária para processá-los.
A) Todas as alternativas

Avalie as seguintes afirmacoes a respeito das operações definidas pelo MapReduce:
I – A função Mapper tem por objetivo mapear conjuntos de valores necessários pela aplicação a determinadas chaves que são geradas automaticamente pelo MapReduce.
II – A função Mapper tem por objetivo extrair e organizar os dados necessários para o processamento.
III – A função Reducer recebe o conjunto de dados no formato chave-valor que foi definido pela função Mapper.
IV – Na função Reducer, cada par chave-valor constitui uma tarefa a ser processada pelo servidor que estiver mais próximo dos dados.
V – A função Shuffle and sort transforma um conjunto de dados em formato chave-valor onde os valores devem ser embaralhados ou ordenados de acordo com a sua chave.
Dentre essas afirmações estão CORRETAS:
II e IV.
A) II e IV.
B) I e III.
C) III e V.

Sobre a arquitetura do Hive avalie as seguintes afirmações:
I – Driver é o componente do Hive que recebe os comandos e consultas, compila a entrada, otimiza a computação necessária e executa os passos com tarefas MapReduce ou Tez.
II – O Hive utiliza Mappers e Reducers genéricos que são sequenciados por planos de trabalho escritos em XML.
III – A estratégia Scheme on Read é considerada muito restritiva, uma vez que uma quantidade considerável de esforços é investida ajustando os dados à estrutura definida.
IV – Os metadados que definem os esquemas e particionamentos do Hive são armazenados em um banco de dados relacional. Normalmente Derby ou MySQL.
V – É possível realizar consultas utilizando o Hive através de uma interface de linha de comando (CLI) ou através da Hive Web Interface (HWI).
Dentre essas afirmações estão CORRETAS:
Todas, exceto III
A) I, II e IV.
B) II, III e V.
C) III, IV e V.

Mais conteúdos dessa disciplina