Big Data e suas fontes de dados

Prévia do material em texto

SISTEMAS DE INFORMAÇÕES
GERENCIAIS – SIG
AULA 5
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
1 of 22 23/07/2022 20:47
Profª Maristela Weinfurter Teixeira
CONVERSA INICIAL
A próxima década será marcada por um avanço bilionário no mercado global de Big Data.
Estamos falando em uma projeção de aproximadamente 243,3 bilhões de dólares americanos,
segundo o IDC (S.d.). O mercado mundial de software para Big Data representou em torno de
11,9% do mercado mundial total de software até 2019 e já tem uma previsão de crescer 2,5 pontos
percentuais na próxima década. Oportunamente, IDC (International Data Corporation) é um
fornecedor global de inteligência de mercado, serviços e eventos para mercados de TIC
(tecnologia da informação e comunicações). As análises e insights da IDC alavancam o trabalho de
planejamento e previsões dos executivos de negócios, profissionais de TI e investidores. Desde os
anos 1964 atua como subsidiária da IDG (International Data Group), a qual lidera globalmente
serviços de mídia, dados e serviços para a área de marketing. Ou seja, ambas empresas são
referências sempre importantes para profissionais de TI.
Algo bastante interessante é que com esse mercado expandindo, trará consigo muitas
oportunidades, especialmente para profissionais relacionados à área de inteligência de negócios e
TI (BI, DW, Big Data). Para tanto, esses profissionais deverão focar em conhecimento agregado ao
Big Data, como IoT, IA, realidade aumentada, sensores, computação em nuvem (Big Data as a
Service), drones, análises preditivas, prescritivas em dados híbridos, entre outros elementos que
criem um ambiente de mercado inovador e disruptivo.
Esse fabuloso termo (Big Data), dentro da área de sistemas de informações gerenciais, como o
próprio nome sugere, foi idealizado para o tratamento de grandes conjuntos de dados que
requerem como características principais a abordagem dos 3 V’s: velocidade, volume e variedade.
Assim como o Data Warehouse, não é uma ferramenta, mas um conceito constituído por
técnicas, ferramentas e métodos para análise de grandes quantidades de dados com o objetivo de
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
2 of 22 23/07/2022 20:47
gerarmos resultados que possibilitem organizações estarem à frente de seus concorrentes e de si
próprias. No entanto, não estamos apenas falando de um grande volume de dados, mas sim de
um volume com uma grande complexidade de análise.
Segundo Sharda (2019), o perigo é que o Big Data se torne apenas um chavão badalado
utilizado no marketing. Inicialmente, o Big Data era usado para descrever imensos volumes de
dados analisados por grandes corporações como por exemplo a Google ou projetos científicos da
Nasa.
Big Data de fato é constituído por dados que não estão armazenados num único lugar, mas
em diferentes lugares e em diferentes formatos. Dados estruturados e não estruturados,
provenientes de postagens de mídias sociais, de sensores que fazem medições meteorológicas, de
resultados de bilhões de buscas em páginas da internet, de clicks dos mais variados websites
(Sharda, 2019).
Para que um projeto de Big Data tenha sucesso, precisará contar com profissionais envolvidos
no processo que de fato extraiam o melhor conhecimento e gerem excelentes insights a partir de
uma gigantesca base de dados híbrida e global.
TEMA 1 – FONTES DE DADOS QUE ALIMENTAM O BIG DATA
Nosso Big Data, de forma bem genérica, é composto por um volume muito grande de dados
que não comporta o fato de serem armazenados da forma tradicional nem tampouco processado
como nossos sistemas transacionais. Segundo Sharda (2019), ele é utilizado para compreender
consumidores e clientes em operações comerciais para a promoção e crescimento da lucratividade
das empresas. Os dados estão disponíveis nos mais variados formatos, e o processamento disso
precisa ser ágil, e nas formas tradicionais, torna-se impraticável.
O grande desafio com um Big Data é a geração de insights para decisões estratégicas, e as
fontes podem vir de logs na web, identificadores de radiofrequência (RFID), sistemas de
posicionamento global (GPS), redes de sensores, redes sociais, textos na Internet, entre outros
(Sharda, 2019).
Ouvimos diariamente o termo Big Data, assim como de todos os demais avanços
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
3 of 22 23/07/2022 20:47
tecnológicos, mas precisamos romper com o estilo comercial e compreendermos o importante
sobre a menina dos olhos dos sistemas de informações gerenciais (Isaacson, 2015).
Segundo Isaacson, Big Data é compreendido como uma enorme e complexa coleção de
conjuntos de dados, tornando o processo de gerenciamento de banco de dados ou construção de
aplicativos algo desafiador. Dentro de um conjunto grande de dados, o que precisamos encontra-
se na análise e na separação de conjuntos menores com a mesma quantidade total de dados. Isso
permite que detectemos as tendências de negócios, determinemos a qualidade da pesquisa,
previnamos doenças, vinculemos citações legais, combatamos crimes e determinemos as
condições de tráfego essencial nas estradas em tempo real. São alguns dos inúmeros resultados
que podemos obter por meio de um Big Data. Há um consenso sobre a manipulação de Big Data,
que é a dificuldade de se trabalhar usando os sistemas de gerenciamento de bancos de dados
relacionais, exigindo com isso muitos servidores, rodando em paralelo para conseguirmos um
tamanho de dados com o resumo de tudo.
 O crescimento das mídias sociais gerou um conglomerado de usuários sem precedentes na
história da tecnologia da informação. Por exemplo, até 2013, havia mais de 600 milhões de
usuários ativos no Facebook, que, inclusive, é a empresa que se destaca no desenvolvimento e
adoção de Big Data, na tentativa de lidar com o imenso tráfego de informações. Em torno de 2.5
bilhões de conteúdos eram consolidados em 500 Terabytes por dia: é um desafio e tanto para
gerenciamento de dados. Enquanto isso, no mesmo período, o Twitter tinha acima de 600 milhões
de usuários e 135 milhões de usuários ativos gerando 58 milhões de tweets por dia. No mesmo
período, o Google tinha 300 milhões de usuários. Como se não bastassem as mídias sociais,
também temos a população que gosta de jogos eletrônicos em rede, um segmento que se tornou
um modelo viral. Além dos jogos em mídias sociais, também temos todo o conjunto de jogos para
dispositivos móveis (Isaacson, 2015).
E nossa contabilização de terabytes não para por aí: os dispositivos móveis estão gerando uma
grandiosa fonte de dados, pois são milhões de aplicativos para esse tipo de dispositivo que geram
dados e mais dados, o que se configura numa abundância de categorias, incluindo aplicativos de
mensagens, de gerenciamento de saúde, de gerenciamento de atividades, organização de
informações, entre tantos outros. Duas categorias de origem de coleta de dados, que vêm
crescendo muito, são os sistemas de monitoramento e para dados científicos (Isaacson, 2015).
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
4 of 22 23/07/2022 20:47
Não podemos desconsiderar a forma tradicional de alimentação dos Big Datas, por meio dos
sistemas gerenciadores de bancos de dados relacionais e seus sistemas transacionais. Por muitos
anos, foram as arquiteturas de extração, transformação e carregamento (ETL) que fizeram todo o
processo de criação e atualização das bases de dados do Data Warehouse (Isaacson, 2015).
Finalmente, o mais recente gerador de dados para nosso Big Data encontra-se na Internet das
Coisas (IoT). São dispositivos residenciais que estão medindo, monitorando e enviando dados para
um banco de dados. Assim como também emequipamentos de monitoramento de saúde, em
automóveis e em vários locais inimagináveis. A IoT, de fato, tem feito o crescimento de dados em
Big Datas explodir, e será a maior responsável pelo aumento na próxima década.
Falamos até aqui de forma genérica, mas a Tabela 1 detalha um pouco mais as fontes de
dados que alimentam um Big Data.
Tabela 1 – As maiores fontes de dados para criação de um Big Data
Fonte Alguns Exemplos
Perfis de redes sociais LinkedIn, Facebook, Twitter, Instagram
Influenciadores sociais Pessoas que possuem conhecimento sobre determinada área e influenciam seguidores
Dados gerados por
atividade
Arquivos de logs (IoT), Informações de rastreamento de websites, logs de aplicativos,
dados enviados por sensores (check-ins e rastreamento de localização – geolocalização),
jogos, eletrodomésticos inteligentes, dados gerados dentro veículos por processadores
empacotados.
SaaS e aplicativos na
nuvem
Dropbox, Google Drive, Google Analytics, Netflix, Paypal
Informação pública da
web
Mídias sociais, informações do governo, informações de empresas de capital aberto
Resultados de
MapReduce
Sumarização de fontes com volumes enormes de dados
Dispositivos de data
warehouse
Todo ambiente de Data Warehouse instalado com dados provenientes dos sistemas
transacionais
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
5 of 22 23/07/2022 20:47
Bancos de dados
colunares / NoSQL
MongoDB (NoSQL), Cassandra(colunar), Neo4j(Grafos)
Tecnologias de
monitoramento de rede e
in-stream
SolarWinds, Datadog, Atera
Documentos legados e-mails, intranet, gerenciadores de conteúdos, wikis
Fonte: Julio, 2010.
Os recursos e fontes de dados são vastos e amplamente distribuídos para que nossos Big
Datas sejam implementados. Por isso precisarmos de tantos profissionais especializados e
ferramentas, métodos e técnicas para conseguirmos planejar, implementar e testar nosso Big Data.
TEMA 2 – ESCALABILIDADE NA IMPLEMENTAÇÃO DE UM BIG
DATA
O que temos presenciado é uma explosão no volume de dados trafegando e sendo
armazenados no mundo virtual globalizado. Toda inovação, seja ela tecnológica ou não, sempre
vem amparada inicialmente por uma excelente campanha publicitária, e as promessas geralmente
são superestimadas. Quando vamos realmente conhecer a realidade que se estabelece é sempre
de um caminho de experimentos e melhorias até que o produto realmente fique como prometido.
Com o Big Data não foi e não é diferente.
Logo, ao se projetar uma aplicação de Big Data, deve-se ter em mente que ela precisa ser
escalonável. Muitos dizem que é uma plataforma elástica, pois conforme o volume de dados vai
aumentando, ela vai crescendo juntamente, sem interrupções. Imaginemos se uma mídia social, no
momento em que você vai criar um perfil ou incluir qualquer elemento, enviasse uma mensagem
de erro lhe dizendo que não é possível aquela operação por conta de falta de espaço no servidor
do desenvolvedor dela. Esse episódio geraria uma situação de desagrado por parte do
cliente/usuário, o qual poderia até abandonar a ideia de utilização da plataforma (Isaacson, 2015).
Uma infraestrutura em nuvem é a melhor aliada na implantação de um Big Data escalonável
sem dores de cabeça. Computação em nuvem (Cloud computing) é um excelente aliado quando
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
6 of 22 23/07/2022 20:47
falamos em Big Data. Quem está implementando-o deixa a administração de toda infraestrutura
por conta de centros de dados, os quais focam em grandes servidores, comunicação,
gerenciamento e monitoramento 24 horas por dia, 7 dias por semana. É um tipo de investimento
que fica caríssimo para uma empresa cujo foco não é vender serviços de infraestrutura. Em
especial, no caso do Big Data, a camada de banco de dados é o coração da aplicação, pois ela
tende ao crescimento exponencial.
Segundo Isaacson (2015), a chave para o dimensionamento de um aplicativo é a distribuição
adequada da carga em vários servidores, permitindo processamento em paralelo. Para o
escalonamento adequado precisamos inicialmente compreender qual é o ponto de
estrangulamento de nossa aplicação. Isso é muito importante porque a escolha errada gerará um
dimensionamento catastrófico para o aplicativo. O ideal é utilizarmos um data center comercial e
não um gratuito, pois um aplicativo pode explodir em usuários e registros em menos de 24 horas.
Na sequência, vamos pontuar cada um dos elementos importantes a serem analisados:
1. Uso de CPU implica diretamente o desempenho do aplicativo, porém é o problema mais
simples de resolvermos. Quando estivermos com 80% de uso, um alerta deve ser disparado para
que uma simples atualização de servidor evite problemas;
2. Espera de entrada e saída pode estar relacionada a algum problema de memória
insuficiente, e isso pode ser resolvido aumentando-se recursos de memória;
3. Alto uso de disco é um indicador importante que aponta para a necessidade de
escalabilidade, o que significa que será necessário então melhorar o desempenho de acesso.
Um fator importante para definição do escalonamento é o bom entendimento da arquitetura
do aplicativo. A camada mais relacionada com implementação de um Big Data é justamente a
camada de banco de dados.   É nela que podemos armazenar gigabytes a terabytes, ou até
petabytes. Este é o ponto principal: acomodar grandes conjuntos de dados surportando uma
variedade de alto volume de necessidades de um aplicativo (Isaacson, 2015).
Quem tem tomado parte como uma das habilidades de profissionais que atuam com Big
Datas é o Hadoop, que é um mecanismo semelhante a um gerenciador de banco de dados, porém
os dados chegam ao Hadoop numa forma de arquivos de logo de um servidor Apache. Na
sequência, o Hadoop MapReduce é aplicado aos logs para localização de informações úteis. E, no
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
7 of 22 23/07/2022 20:47
caso do uso de Hadoop, as entradas de dados não são provenientes de UI (User Interfaces), mas de
outros sistemas ou fontes automatizadas. Essa abordagem é totalmente centrada em
processamento de lote, que pode durar segundos ou até horas ou mais tempo, dependendo do
tamanho do conjunto de dados e da complexidade da solicitação.
Outro ponto importante a considerar é a distribuição dos dados em vários servidores, a qual
deve ser extremamente planejada, pois qualquer falha em tal implementação gerará problemas de
confiabilidade dos dados (Isaacson, 2015).
O tema relacionado ao escalonamento de um Big Data é essencial quando estamos pensando
na implementação deste. É um assunto vasto e que exige maior aprofundamento em conteúdos
relacionados especialmente a serviços de computação em nuvem.
TEMA 3 – TÉCNICAS DE ANÁLISE DE DADOS E CICLO DE VIDA DE
BIG DATA
Há várias abordagens para análise de dados estatísticos e computacionais. A amostragem
estatística de uma população, por exemplo, é ideal para conjuntos de dados disponíveis em
cenários tradicionais de processamento em lote, porém, quando falamos de Big Data, o
processamento em lote deixa espaço para o processamento em tempo real, pois há necessidade
de dar sentido aos dados (Isaacson, 2015).
Algumas técnicas que são utilizadas na implementação de um Big Data:
1. Análise quantitativa: técnica de análise de dados que se concentra na quantificação de
padrões e correlações encontrados nos dados. Baseada em práticas estatísticas, envolve a análise
de um grande volume de observações de um conjunto de dados, cujos resultados são usados para
comparações numéricas;
2. Análise qualitativa: técnica de análise de dados baseada em descritivos e envolve a análise
de uma amostra menor com maior profundidade em comparação com a análisede dados
quantitativos. Os resultados não são medidos numericamente, sendo que estes são descritivos;
3. Mineração de dados: Data Mining é uma forma especializada de análise de grandes
conjuntos de dados e constituída de técnicas automatizadas que vasculham conjuntos massivos
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
8 of 22 23/07/2022 20:47
para identificação de padrões e tendências;
4. Análise estatística: usa métodos estatísticos baseados em fórmulas matemáticas como
meio de análise de dados. Geralmente quantitativa, mas pode ser qualitativa. Descreve conjuntos
de dados por meio de sumarização, como fornecer a média, mediana ou modo de estatísticas
associadas ao conjunto de dados. Usada também para inferir padrões e relacionamentos dentro
do conjunto de dados, como regressão e correlação. Tipos de análise estatística: teste A/B,
correlação e regressão;
5. Aprendizagem de máquina (Machine Learning): os seres humanos são bons em detectar
padrões e relacionamentos de dados, mas não conseguimos fazer isso para um volume gigantesco
de dados. Nesse momento entra então o apoio automático de computadores e ferramentas de
software. Há 4 técnicas de aprendizagem de máquina: classificação, clustering, detecção de outlier e
filtragem;
6. Análise semântica: para que as máquinas extraiam informações valiosas, os dados de texto
e fala precisam ser compreendidos pelas máquinas da mesma forma que os humanos. Para isso, a
análise é subdividida em 4 tipos: processamento de linguagem natural, Text Analytics e análise de
sentimentos;
7. Análise visual: com base na premissa de que seres humanos entendem e tiram conclusões
sobre representações gráficas mais rapidamente do que textos, a análise visual atua como uma
ferramenta de descoberta na área de Big Data. Tipos de análise visual: mapas de calor, gráficos de
séries temporais, gráficos de rede e mapeamento de dados espaciais.
Percebe-se que a elaboração de um projeto de Big Datas não é algo simples, por vários
fatores, e a escolha das técnicas e métodos é uma delas. O conjunto destas para um projeto pode
ser completamente diferente de um projeto para outro. A opção de melhor combinação de
recursos técnicos sempre dependerá de todos os profissionais envolvidos no processo de
implementação decidirem em conjunto.
3.1 CICLO DE VIDA DE UM PROJETO DE BIG DATA
Segundo Dietrich (2015), o ciclo de vida de um Big Data baseia-se em métodos estabelecidos
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
9 of 22 23/07/2022 20:47
no domínio de análise de dados e ciência da decisão. A Figura 1 demonstra as 6 fases que
compõem o ciclo de vida. O cilo de vida de um projeto de Big Data, por exemplo, baseia-se em
métodos estabelecidos dentro de um domínio de análise de dados e ciência da decisão. Esse
processo inclui métodos científicos relacionados à formação de hipóteses e à descoberta de
maneiras para se testarem as ideias.
Figura 1 – Visão geral do ciclo de vida da análise de dados
Fonte: Dietrich, 2015.
Um desses métodos é o CRISP-DM (Cross Industry Standard Process for Data Mining), que é
um padrão inter-indústrias para mineração de dados. Ele descreve várias abordagens de
mineração de dados para resolução de problemas. O CRISP é constituído pelas etapas de
entendimento do negócio, entendimento dos dados, preparação dos dados, modelagem, avaliação
e implantação. Outro método, segundo Dietrich (2015), é a Estrutura Delta de Tom Davenport, a
qual oferece uma abordagem voltada para análise de dados que inclui o contexto das habilidades
da organização, o conjunto de dados e o engajamento da liderança. O método AIE (Applied
Information Economics) fornece uma estrutura para medidas intangíveis e orientação sobre o
desenvolvimento de modelos de decisão, calibração de estimativas de especialistas, além de
derivação do valor esperado de informações.
No momento da fase 1, a equipe de trabalho define sobre o domínio do negócio, relatando o
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
10 of 22 23/07/2022 20:47
histórico relevante sobre a organização e as unidades de negócio. É realizada a avaliação dos
recursos disponíveis no apoio ao projeto em termos de recursos pessoais, tecnológicos,
cronograma e dados. Nessa fase, os limites e as fronteiras do domínio do negócio são
devidamente definidos, formulando com isso as hipóteses iniciais para teste e início do
aprendizado dos dados. A Figura 2 assinala essa fase no ciclo de vida.
Figura 2 – Fase 1 do ciclo de vida da análise de dados
Fonte: Dietrich, 2015.
Para a fase 2 é necessária uma sandbox analítica, na qual a equipe trabalha os dados e realiza
análises durante o projeto. Procede-se à extração, transformação e atualização (ETL) dos dados no
sandbox. Inicialmente os dados são transformados para que a equipe possa trabalhar com a análise
dos dados, bem como para se familiarizarem completamente com os dados para o
condicionamento dos dados. A Figura 3 aponta o momento da preparação dos dados.
Figura 3 – Fase 2 do ciclo de vida da análise de dados
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
11 of 22 23/07/2022 20:47
Fonte: Dietrich, 2015.
Para a fase 3, planejamento do modelo, conforme a figura 4, a equipe de trabalho define quais
métodos, técnicas e todo o processo e fluxo de trabalho a ser seguido na fase de construção do
modelo de Big Data. Nesse momento, a equipe explora os dados para o aprendizado sobre suas
relações e variáveis, selecionando quais são as variáveis-chave e modelos mais adequados para
serem aplicados.
Figura 4 – Fase 3 do ciclo de vida da análise de dados
Fonte: Dietrich, 2015.
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
12 of 22 23/07/2022 20:47
A fase 4, conforme a Figura 5, é o momento em que a equipe desenvolve conjuntos de dados
para testes, treinamento e produção. Ainda nessa fase, a equipe constrói e executa modelos com
base no trabalho planejado na fase anterior. São consideradas se as ferramentas existentes são
suficientes ou se será necessária a idealização de um ambiente mais robusto para execução de
modelos e fluxos de trabalho, por exemplo, um hardware com processamento paralelo.
Figura 5 – Fase 4 do ciclo de vida da análise de dados
Fonte: Dietrich, 2015.
A comunicação dos resultados (fase 5, conforme Figura 6) é responsabilidade da equipe em
colaboração com os principais stakeholders (partes interessadas). Nessa fase, com base em todos
os critérios estabelecidos das fases anteriores, é determinado se os resultados do projeto foram
um sucesso ou uma falha. Além disso, é nesse momento em que são identificadas as principais
descobertas, quantificados os valores comerciais e desenvolvida uma narrativa (Stortytelling) para
resumir e transmitir as descobertas às partes interessadas.
Figura 6 – Fase 5 do ciclo de vida da análise de dados
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
13 of 22 23/07/2022 20:47
Fonte: Dietrich, 2015.
Finalmente, chegamos à última fase (Figura 7). A operacionalização consiste na entrega dos
relatórios finais, briefings, código computacional e documentação técnica.
Figura 7 – Fase 6 do ciclo de vida da análise de dados
Fonte: Dietrich, 2015.
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
14 of 22 23/07/2022 20:47
A equipe executa um projeto-piloto para implementação dos modelos dentro do ambiente de
produção. Cabe aos membros da equipe a execução dos modelos para produção de descobertas,
e é fundamental que se enquadrem esses resultados de forma adaptada ao público junto com a
equipe de implantação. Ao enquadrar os resultados de trabalho,a equipe demonstrará de forma
clara os resultados e o valor do projeto. Não importa se a equipe é altamente qualificada e
consegue montar um excelente. O que interessa é a tradução dos resultados para uma linguagem
que o público usuário compreenda. Muitas vezes, projetos enormes são descartados porque a
socialização dos resultados não atingiu o seu público-alvo.
TEMA 4 – DOMÍNIOS DE APLICAÇÕES BIG DATA POR SEGMENTO
DE MERCADO
Mas, afinal de contas, quais são as áreas que mais estão manifestando interesse por
implantação de Big Data? Esses são os domínios de aplicações mais comuns que conseguimos
identificar no mercado. Hoje, ele é importante para auxiliar as organizações na identificação de
novas oportunidades, de provocar inovações, de preferência disruptivas. Estamos falando de um
investimento grande, tanto em recursos humanos quanto em recursos tecnológicos, então os
resultados precisam ser de fato bem consolidados.
Decisões mais assertivas, custos mais reduzidos, redução de tempo para execução de
atividades, cadeia de fornecimento de produtos, clientes satisfeitos e principalmente aumento nos
lucros das empresas provisionam maior satisfação dos investidores.
De forma rápida, poderíamos dizer que os principais segmentos de mercado que buscam a
implementação de Big Data são marketing, financeiro, vendas e relacionamento com cliente.
Segundo Julio (2010), usos de aplicações Big Data consistem nos seguintes segmentos:
otimização de marketing digital (web analytics, attribution, golden path analysis);
descoberta e exploração de dados (identifying new data-driven products, new markets);
detecção e prevenção de fraudes (revenue protection, site integrity e uptime);
análise de relacionamentos e redes sociais (influencer marketing, outsourcing, attrition
prediction);
dados analíticos gerados por máquina (remote device insight, remote sensing, location-
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
15 of 22 23/07/2022 20:47
based intelligence); e
retenção de dados (long term conservation, data archiving).
Exemplificando e detalhando um pouco mais, a Tabela 2 nos traz alguns tipos de aplicações
por setores econômicos (Julio, 2010).
Tabela 2 – Utilização de Big Data em vários setores do mercado
Mercado Finalidade
Energia
• Análise de medição inteligente;
• Previsão e programação de carga de distribuição;
• Manutenção condicional.
Telecomunicações
• Desempenho de rede;
• Criação de novos produtos e serviços;
• Análise de registros de detalhes de chamadas (CDRs);
• CRM
Manufatura
• Gestão da cadeia de abastecimento;
• Centros de atendimento ao cliente;
• Manutenção preventiva e reparos;
• Gestão de relacionamento com o cliente.
Público
• Detecção de fraude;
• Combate à criminalidade;
• Detenção de ameaças;
• Cybersecurity.
Bancos
• Detecção de fraude;
• Vigilância comercial;
• Conformidade e regulamentação;
• CRM.
Meios de comunicação
• Análise de sequência de cliques em grande escala;
• Prevenção de abuso e fraude de cliques;
• Análise de gráfico social e segmentação de perfil;
• Gerenciamento de campanhas e programas de fidelidade.
Varejo
• Otimização dinâmica de preços;
• Variedade localizada;
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
16 of 22 23/07/2022 20:47
• Gestão da cadeia de abastecimento;
• Gestão de relacionamento com o cliente.
Seguros
• Modelagem de catástrofe;
• Reivindicações de fraude;
• Gestão de reputação;
• CRM.
Saúde
• Análise de dados de ensaios clínicos;
• Qualidade do atendimento ao paciente;
• Gestão da cadeia de abastecimento;
• Descoberta de drogas e análise de desenvolvimento.
Fonte: Julio, 2010.
Atualmente os segmentos de mercado são bastante amplos e para cada um deles há uma
tendência de aplicação para projeto de Big Data. A competição cada vez mais acirrada num
contexto globalizado acelera o planejamento e interesse em implantação de projetos de Big Data.
Normalmente, empresas que já ingressaram no mundo do BI, especialmente com base no Data
Warehouse, já reconhecem a importância de informações gerenciais e gestão do conhecimento.
Um Big Data é um conceito poderoso que deixa a empresa à frente de sua concorrência e com
excelente oportunidade de criação de novos produtos ou serviços inovadores.
TEMA 5 – STORYTELLING DE DADOS E VISUALIZAÇÃO DE DADOS
Percorremos vários pontos importantes para elaboração de um Big Data, e um dos momentos
extremamente importante para a implantação deste é justamente a socialização das informações.
A visualização de dados é tão importante quanto toda a construção do Big Data e é um tema
extremamente relevante porque há uma série de projetos que não obtiveram o resultado desejado
não porque os dados estavam errados ou fora do escopo, mas sim porque eles não foram
representados da forma adequada.
Então vamos aos fatos. Geralmente, pessoas mais técnicas não são treinadas para contarem
histórias com dados. Somos ainda muito cartesianos e a nossa linguagem muito técnica. De
acordo com Knaflic (2015), precisamos aprender como contar história considerando números.
Devemos visualizar os dados e contar histórias como chave para transformação da informação
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
17 of 22 23/07/2022 20:47
numa forma que conduza as pessoas que tomarão decisões.
Com o avanço da tecnologia, vários profissionais têm acesso às ferramentas que geram
gráficos, por exemplo, o Excel da Microsoft. Criarmos um gráfico é uma função muito simples, mas
a habilidade de combinar cores e estrutura do formato é que faz toda diferença, incluindo uma
maneira eficaz de contar histórias com os dados. Isso sim traz vantagens a qualquer função. Uma
visualização de dados eficaz pode significar a diferença entre o sucesso e o fracasso quando o
motivo é comunicar descobertas de um estudo, arrecadar dinheiro para organização sem fins
lucrativos, apresentar ao conselho ou transmitir uma opinião a um público (Knaflic, 2015).
A etapa de visualização dos dados tem se tornado cada vez mais importante no processo de
implantação de um Big Data. Profissionais experientes em métodos quantitativos são bons para
encontrar, reunir e analisar dados e posteriormente construir modelos. No entanto, quando chega
o momento de compartilhar os dados, faltam-lhes habilidades para contar histórias com base nos
resultados obtidos utilizando de gráficos (Knaflic, 2015).
Segundo Knaflic (2015), um dos elementos básicos é pensarmos como um profissional da área
de designer visual. E logo após, procedermos a algumas etapas:
1. Entender o contexto;
2. Escolher uma exibição apropriada;
3. Eliminar a desordem;
4. Concentrar a atenção no que desejamos;
5. Pensar como um designer;
6. Contar uma história.
O contexto se refere à compreensão de quem é o público e o que precisamos que ele saiba
ou faça. Precisamos desvendar a situação, o público, o mecanismo de comunicação e o tom
necessário. A compreensão deve ser robusta para reduzir as iterações no caminho antes da criação
do conteúdo visual.
Escolha do visual eficaz é buscar o uso apropriado de cada ilustração por meio de exemplos
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
18 of 22 23/07/2022 20:47
do mundo real. A ilustração pode ser um texto simples, uma tabela, um mapa de calor, um gráfico
de linha, um gráfico de barra vertical, um gráfico de barra vertical empilhado, um gráfico em
cascata, um gráfico de barra horizontal, um gráfico de barra horizontal empilhado ou um gráfico
de área quadrada. E por favor, evitemos gráficos de pizza, rosca e principalmente 3D. Eles não são
os melhores modelos para visualização de dados, pois confundem por vezes o público atendido.
Cada elemento que adicionamos em nosso Dashboard representamais um elemento que
aumenta a carga cognitiva. Identificar e eliminar desordem vem de encontro com os princípios da
Gestalt para percepção visual. Alinhamento, branco, espaço, contraste e componentes importantes
fazem parte de um design inteligente.
A visão e a memória das pessoas atuam para enfatizar a importância dos atributos pré-
atencionais, como tamanho, cor e posição na página. Precisamos direcionar estrategicamente a
atenção do nosso público para o local que desejamos, a fim de comunicarmos da maneira que
desejamos que eles processem a informação. A cor como ferramenta estratégica também é um
conceito importante nesse momento.
Pensarmos como um designer é tratarmos da forma e função de nossas visualizações de
dados. Primeiramente pensamos sobre o que queremos que nosso público seja capaz de fazer
com os dados (função) e criamos uma visualização (forma). Devemos explorar possibilidades,
acessibilidade e estética, recorrendo a uma série de conceitos vistos até aqui. Cores, espessura das
linhas, tamanho relativo, alinhamento e posicionamento dos componentes visuais para o uso
eficaz de palavras para título, rótulo e anotações são imprescindíveis. A Figura 8 esboça o
Storytelling da construção de um BI apenas como uma ilustração da ideia sobre Storytelling.
Figura 8 – Storytelling da construção de um BI – Contraste da arte com a ciência
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
19 of 22 23/07/2022 20:47
Crédito: Visual Generation/Shutterstock.
Histórias ressoam e ficam em nossa mente, porém dados não. Precisamos aprender os
conceitos de narrativa para comunicação dos dados. Toda história tem um começo, meio e fim
bem definidos. Devemos cobrir estratégias para uma narrativa eficaz, incluindo o poder da
repetição, fluxo narrativo, considerações com narrativas faladas e escritas e várias táticas que
garantam a qualidade do trabalho e seja uma comunicação clara.
A visualização de dados e a comunicação dos dados convivem na interseção entre a ciência e
a arte. Há componentes científicos importantíssimos para a construção das imagens, porém deve
haver um componente artístico para abrir o caminho do entendimento do público.
FINALIZANDO
Daqui até os próximos 10 anos a área de Big Data aliada a todos os outros segmentos da
computação buscarão mais e mais profissionais para conseguirem colocar seus projetos e
implementações para funcionamento. A competitividade global faz com que as empresas
busquem cada vez mais sofisticação em seus sistemas computacionais buscando maior agilidade
diante do volume de dados que se agigantam em seus repositórios de dados estruturados e não
estruturados.
Para tanto, há de se melhorar em muito nossos Data Warehouses, nossas conexões entre
sistemas legados e Big Data, bem como gerar insights e conhecimento dentro de uma capacidade
de decisão a poucos cliques dos executivos das empresas. Essa capacidade deverá levar a empresa
a inovações disruptivas escalares.
A IoT com seus sensores, os sistemas transacionais, os dados não estruturados circulando na
web, entre outras fontes, geram a cada segundo milhares de novos dados. Mas dados não auxiliam
nas decisões; auxiliam apenas na construção dos repositórios. A proposta de Big Data, aliada à
inteligência artificial, é que faz com que os repositórios fiquem abastecidos de conhecimento para
tomada de decisões.
O sucesso dos projetos de Big Data, além de todo o corpo técnico de profissionais envolvidos,
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
20 of 22 23/07/2022 20:47
necessita priorizar um método de trabalho com processos bem definidos. Um pouco diferente do
projeto de desenvolvimento de aplicativos e sistemas mais simples, o início do processo dá-se por
meio da descoberta de dados, seguido pela preparação destes, com um bom plano de modelo.
Somente após validadas essas três etapas é que de fato passa-se para construção do modelo, com
uma comunicação e operacionalização adequadas que façam valer todo o esforço das fases
anteriores.
Apesar de todas as ferramentas, técnicas e métodos aplicados nas fases iniciais exigirem
profissionais altamente qualificados, a visualização dos dados não é o momento menos
importante. Pelo contrário, é o momento no qual cientistas e engenheiros envolvidos no processo
precisam contar uma história da preciosidade de tais conhecimentos que conseguiram gerar.
Serão não apenas lindos Dashboards com KPIs sinalizando uma ideia, mas literalmente uma
contação da história de como se chegou a essas informações incríveis.
REFERÊNCIAS
DIETRICH, D. et al. Data science and big data analytics: discovering, analyzing, visualizing
and presenting data. Boston, EUA: O’Reilly Media, Inc. EMC Education, 2015.
IDC. Disponível em: <https://www.idc.com/>. Acesso em: 5 mar. 2021
ISAACSON, C. Understanding Big Data scalability. Boston, USA: Prentice Hall Pearson
Education, Inc.; O’Reilly Media, Inc., 2015. Big data Scalability Series, Part I.
JULIO, P. Big Data with not only SQL. Data Integration Solutions Review, 26 jun. 2010.
Disponível em: <https://solutionsreview.com/data-integration/hello-world/>. Acesso em: 5 mar.
2021.
KNAFLIC, C. N. Storytelling with data: a data visualization guide for business professionals.
New Jersey: John Wiley & Sons, Inc. Hoboken, 2015.
SHARDA, R. et al. Business Intelligence: análise de dados para gestão do negócio. Porto
Alegre: Bookman, 2019.
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
21 of 22 23/07/2022 20:47
UNINTER https://conteudosdigitais.uninter.com/libraries/newrota/?c=/gradNova...
22 of 22 23/07/2022 20:47