Prévia do material em texto
AULA 1 BI – BUSINESS INTELLIGENCE PARA TRANSFORMAÇÃO DIGITAL Prof. Roberson Cesar Alves de Araujo 2 INTRODUÇÃO Processo da inteligência para business No mundo contemporâneo está ocorrendo, a uma velocidade crescente, uma mutação dos conceitos de negócio. Nesse contexto, a expansão do volume de dados que transitam por meio de diferentes tecnologias vem ganhando destaque. As tendências efetivas do atual mercado mundial impulsionam as empresas a buscar novas soluções tecnológicas para que, além de evoluir em seu crescimento, consigam manter-se em funcionamento. Dessa forma, o diferencial para os negócios das empresas está diretamente associado à inteligência e à capacidade de um ou mais sistemas efetuarem a adaptação necessária em seu comportamento de modo a proporcionar o atendimento de seu objetivo. TEMA 1 – GERAÇÃO DE DADOS O século XXI está sendo marcado pela quantidade de dados que estão sendo produzidos a cada segundo. Sobre esse tema, diversos escritores e pesquisadores vêm apresentando os diferentes cenários possíveis para o futuro do mercado e as formas de negócios. A exemplo disso, temos James Gleick, jornalista e autor do livro A informação, que expõe como a sociedade saiu da pré- história, passando a utilizar a escrita, o que possibilitou a estruturação de ideias muito mais complexas. Até 1445 os escribas copiavam os livros, o que tomava muito tempo. A invenção da prensa móvel de Johannes Gensfleish, em 1449, proporcionou a impressão de livros em massa. Com ela, a Europa havia impresso milhões de cópias de livros por volta do final do século XV, chegando a 1 bilhão no século XVIII. Os escribas preocuparam-se com a popularização dos livros e a relevância dos títulos para a população, mas os livros impressos trouxeram uma disseminação de ideias, a ciência pôde debater seus resultados e os autores foram pagos por seus trabalhos. Mesmo com a impressão de livros em massa, a produção de dados não havia começado. Isso ocorreu apenas quando Alan Turing vislumbrou uma máquina capaz de modificar símbolos em um sistema de regras próprias. Com essa estrutura foi possível realizar códigos em torno de conjuntos cognitivos. 3 1.1 Formas de medição de dados Na tentativa de entendimento sobre os dados, vários conceitos são encontrados. Apesar de diversos autores divergirem entre si, algumas ideias persistem sobre o conceito. Com isso, podemos dizer que dado é tudo aquilo que pode ser registrado, em papel, em paredes ou mesmo em sistemas. Como exemplo disso temos o número de habitantes de uma cidade como sendo um dado, assim como a quantidade de veículos de transporte de uma cidade ou mesmo outras informações coletadas de cada morador de uma cidade como o nome, o sexo, o endereço, entre outras. Nos tempos atuais, ao se mencionar dados, de maneira automática subentende-se a ideia de informações armazenadas em computadores. Contudo, da mesma forma tudo o que pode ser coletado por meio de observação direta ou do preenchimento de questões de um questionário, além de anotações, é considerado, identicamente, dado. No momento em que os primeiros programas começaram a ser escritos, foi criado o byte, um caractere. Os primeiros computadores armazenavam 8.000 bits ou 1 kilobyte. Dessa forma, houve uma evolução na capacidade de armazenamento, com diminuição de tamanho e menor custo. Escala Ano Máquina 1 kilobyte 1932 Magnetic drum memory 1 megabyte 1950 RAMAC 350 1 gigabyte 1978 VAX 11/780, da Digital Equipment Corporation A partir do ano de 2003 teve início um crescimento exponencial na geração de dados digitais frente aos analógicos; mais informação, mais tecnologia e mais dados passaram a ser gerados. Escala 2.600 petabytes 255 exabytes 1.600 exabytes 1 kilobyte 1 megabyte 1 gigabyte 4 1 terabyte 2,6 exabytes 1,6 zettabytes 1 petabyte 1 exabyte 1 zettabyte Dados são criados a cada segundo. A revista estadunidense de negócios e economia Forbes apontou que, no ano de 2020, a quantidade de armazenamento de dados foi de 4,4 zettabytes. Um exemplo disso é que, só no Google, a humanidade faz cerca de quarenta mil consultas por segundo, o que significa 3,5 bilhões de buscas por dia e 1,2 trilhão por ano. Apenas no YouTube, mais de trezentas horas de vídeo são enviadas no canal por minuto. 1.2 Inteligência de negócios como um diferencial no uso de dados A inteligência de negócios pode ser entendida como um processo impulsionado pela tecnologia de análise de dados e apresentação de informações acionáveis aos executivos para a tomada de decisão. Ela combina uma variedade de ferramentas, tecnologias e métodos com a intenção de gerar mudanças positivas e impulsionar o desempenho da empresa. Engloba diversos processos analíticos, incluindo mineração de dados, análise preditiva, mineração de texto, análise estatística e análise de big data, bem como processos de relatórios e ferramentas de relatório, como software de visualização de dados, indicadores- chave de desempenho, benchmarking de desempenho e consultas. Quando se efetua um aperfeiçoamento no acesso de dados de uma empresa, a inteligência de negócios pode vir a aumentar a lucratividade geral por meio de tomada de decisões eficazes e otimizar processos internos, além de ajudar a empresa a descobrir novas receitas, identificar tendências de mercado e problemas de negócios. A inteligência de negócios é frequentemente usada de forma intercambiável com a análise de negócios, mas existem diferenças. Normalmente, a inteligência de mercado usa dados passados e atuais a fim de informar as decisões atuais para sucesso, enquanto a análise de mercado usa dados anteriores para explicar os dados atuais e prever o que acontecerá no futuro. A inteligência de negócios 5 aborda o que e como, enquanto a análise de negócios ocupa-se do porquê e do próximo. TEMA 2 – DIAGNÓSTICO DE DADOS Em virtude dos acontecimentos iniciados nos anos de 2020 referentes à pandemia gerada pela Covid-19, diversas empresas no cenário mundial migraram suas iniciativas para o ambiente digital. Por conta desse fato, houve um crescimento da tecnologia e os dados vêm aumentando exponencialmente. Essa grande quantidade de dados é uma escala difícil de compreender. Nesse ponto, entra a análise de dados, que examina os dados para criar a ordem da estrutura e o significado com base neles. Envolve coleta de muitos dados o tempo todo, mas em sua forma bruta esses dados não significam nada. O processo começa analisando os dados para que possam ser extraídos insights úteis para as empresas. Esses insights são muito importantes para conduzir decisões de negócios inteligentes. A análise de dados é um exemplo de uso da inteligência de negócios para resolver problemas e desafios que todas as empresa têm. Trata-se de encontrar padrões nos dados que possam dizer algo útil (ou que apresentem relevância) sobre as operações de negócios, por exemplo, como os clientes envolvem-se com um determinado produto ou como os funcionários envolvem-se com uma ferramenta específica. Dessa forma, tornam-se capazes de tomar melhores decisões sobre a empresa de seu público-alvo como um todo e o setor em que trabalham. A análise de dados é geralmente dividida em três áreas: • análise descritiva – descreve o que aconteceu no passado, mas não expõe por que isso aconteceu; • análise preditiva – usa esse conhecimento do caminho que obtivemos da análise descritiva para proferir o que acontecerá no futuro; • análise prescritiva – dá um passo adiante para estimar a maneira mais eficiente de operar as empresas, contratar uma organização e vender os produtos. 6 2.1 A análise de dados como uma importante ferramenta para conduzir as estratégiasNo atual cenário global, é quase impossível conseguir gerir uma empresa ou mesmo colaborar para a gestão sem algum modelo de análise de dados. Isso deve-se ao fato de que , no decorrer dos anos, as informações apuradas durante o processo comercial foram compreendidas como valiosas minas de informação a serem estratificadas, possibilitando orientar estratégias comerciais de venda e de abordagem aos clientes nos processos de negócio. A produção de dados está em toda parte. Assim, esses dados têm uma quantidade infinita de usos em todos os tipos de negócios e organizações globalmente, de forma ampla. A análise de dados é usada com a finalidade de agilizar e melhorar decisões de negócios para reduzir os custos gerais e desenvolver produtos e serviços novos e inovadores. Pode ser usada para prever vendas futuras ou comportamentos de compra, para fins de segurança, para ajudar e proteger contra fraudes, analisar a eficácia das campanhas de marketing, impulsionar a aquisição e a retenção de clientes ou para aumentar a eficiência da cadeia de abastecimento. Cientistas e analistas de dados são pessoas que usam essas informações para destilar percepções de todos os dados. Eles aproveitam as habilidades de programação matemática e visualização de dados para dar sentido aos dados e, em seguida, compartilhar esses aprendizados com o resto da organização para permitir as decisões que precisam ser realizadas. TEMA 3 – FORMATO DE ARMAZENAMENTO ANALÍTICO Em virtude do avanço tecnológico do mundo contemporâneo, os dados estão cada vez mais afetando nossa sociedade, principalmente nas formas de negócio, pela reformulação de modelos de gestão e mudanças das estratégias de negócios. Eles impactam diretamente grande parte da nossa vida. Contudo, a imersão das pessoas no atual cenário de realidade tecnológica faz com que às vezes não se perceba a quantidade de dados gerados mediante os mais diversos dispositivos. 7 Crédito: goungsill/Shutterstock. Surge então uma nova cultura denominada data-driven, que se baseia no formato estratégico da utilização desses dados gerados e cujo foco é auxiliar no processo de tomada de decisão. O volume de dados gerados é crescente e numeroso. Para um entendimento maior sobre grandes volumes de dados ou simplesmente big data, precisamos ter em mente que existe uma necessidade de armazenamento de dados analíticos que possibilitem a geração de dados estruturados e sua consulta deve ser capaz de ser realizada por ferramentas analíticas. Um ambiente de dados analíticos compreende uma trilha ou um caminho por onde trafegam os dados, originando-se na obtenção de um cenário de produção de um item como CRM (customer relationship management) ou aplicativos de celular, chegando nas visualizações ou nos modelos que são preditivos dentro de um meio digital. Esse ambiente analítico pode ser entendido como um local em que são armazenados dados que serão utilizados na realização das análises, que vão desde a busca simples por informações até o processo de aprendizado de máquina (machine learning). 3.1 Formas e modelos de armazenagem de dados Ao tratarmos de armazenamento de dados, não temos apenas uma solução para a gestão dos dados como sendo a melhor para todas as ações que impliquem 8 o armazenamento de dados. Diferentes ferramentas de gestão de dados são otimizadas para distintas opções de utilização. A vantagem que existe na geração de um ambiente desenvolvido em uma instituição está na otimização da capacidade de tomada de decisão com base nos dados armazenados. Ao entendermos que o ambiente analítico representa o percurso de dados, temos em sua origem, por exemplo, os serviços que operam esses dados de forma a movimentá-los e moldá-los com finalidade distinta para cada usuário. Nesse contexto, uma indexação de dados não é mais uma opção e, quando dados são gerados, sofrem a ação de gravação em diversos locais de maneira simultânea. Crédito: Gorodenkoff/Shutterstock. Conforme o que se busca, o armazenamento de dados pode ser realizado por modelos diferenciados de bancos de dados, cada qual com características específicas e critérios que auxiliam nos objetivos de consulta. 3.1.1 Bancos de dados orientados a documentos (documentais) Um banco de dados orientado a documentos, também denominado banco de dados de armazenamento por documentos (DS – document store), pode ser entendido como sendo um modelo de banco de dados elaborado para armazenagem, recuperação e gerenciamento de informações orientadas a documentos. Os dados nesse modelo podem ser denominados dados 9 semiestruturados. Os bancos de dados documentais utilizam conceitos de chave e valor, em que os valores são considerados documentos. Esses documentos, por sua vez, abrangem uma coletânea de campos e valores diversos. Esse tipo de banco de dados tem a capacidade de efetuar consultas em índices secundários, isto é, utilizando campos não determinados como chave. 3.1.2 Sistema de banco de dados de família de colunas Da mesma forma que os bancos de dados documentais, esse tipo de banco de dados opera com chave e valor, realizando o armazenamento de dados em grupos ou coleções de colunas que se relacionam em famílias de colunas. Cada uma dessas famílias pode ser guardada em uma partição diferenciada, ao mesmo tempo que retém as informações de uma pessoa relacionada a uma mesma chave. Dessa forma, uma aplicação pode realizar a leitura exclusiva de uma família de colunas sem acessar todas as informações armazenadas em uma entidade. 3.1.3 Sistema de banco de dados geográficos Esse formato de banco de dados armazena a relação entre diferentes objetos e cada objeto de forma isolada por meio de uma coleção. Seu objetivo está na manipulação de grafos, em que a análise se refere diretamente ao procedimento de análise de dados em formato de gráfico por meio do uso de pontos de dados que fazem referência a nós ou nodos e suas relações como arestas. Um sistema de banco de dados geográfico possui dados gráficos como pontos, linhas, símbolos, polígonos, observações e notas. Esse tipo de banco incorpora também dados não gráficos apresentando-se como propriedades, áreas de lotes, área construída, detalhes de relevo, entre outros, além de dados referenciados espacialmente, a exemplo das informações sobre proprietário, endereço de entrega e endereço de cobrança. TEMA 4 – ADVERSIDADES E ATUAÇÕES EM ANÁLISE DE DADOS As tecnologias atuais proporcionam ferramentas modernas e funcionais para a realização de uma análise de dados com simplicidade e eficiência, como a business intelligence (BI). 10 Por meio da análise de dados é possível antecipar movimentos do mercado e prever, por exemplo, o aumento da demanda por algum produto, o que permite que os estoques sejam abastecidos antecipadamente. Muitas empresas utilizam soluções de gestão que integram diferentes áreas, fazendo com que todas as etapas estejam em sincronia. Isso traz eficiência e redução de custo operacional em situações excepcionais, em que a demanda é maior do que o normal, nos quais a tomada de decisões com base em dados analisados em tempo real determina a superioridade sobre a concorrência. Os benefícios são efetivos e em grande proporção quando a empresa utiliza as ferramentas certas de forma adequada. Nesse sentido, é importante validar os diversos fatores que atuam sobre os dados a serem trabalhados para maximizar a assertividade. 4.1 Fator de qualidade de dados Primeiramente é imprescindível ter um entendimento amplo sobre o gerenciamento de qualidade de dados no que se refere à capacidade de usar um conjunto de dados para a finalidade pretendida. Dessa forma, tornando-o capaz de entender conceitos fundamentais de qualidade, como perfis de qualidade de dados e dimensões de qualidades de dados de avaliação da e assim pordiante, além de conceitos fundamentais de qualidade de dados são cobertos de processos de pessoas e aspecto de tecnologia. A qualidade de dados refere-se às políticas e aos processos de abordagem metódica pelos quais uma organização gerencia precisão, validade, pontualidade, completude, exclusividade e consistência de seus dados em sistemas e fluxos de dados. A qualidade dos dados é um elemento de dados críticos. Nesse contexto, podemos fazer algumas perguntas sobre o elemento de dados críticos. • É preciso? • É válido? • É fornecido a tempo? • É completo? • É único? Cada uma dessas questões consiste em abordar as dimensões de qualidade de dados (precisão, validade, pontualidade, completude e 11 exclusividade). Nem todas as dimensões de qualidade de dados são aplicáveis em cada dado crítico. 4.1.1 Fator dimensional da qualidade de dados Refere-se ao aspecto ou à característica da informação que pode ser avaliada e usada para determinar a qualidade dos dados. Como mencionamos, há seis dimensões-chave de qualidade dos dados: • precisão – os dados representam com precisão o mundo real; exemplo típico: grafia incorreta de nomes de pessoas, de produtos ou de endereços; • validade – os dados estão conformidade com a sintaxe de sua definição, como tipo de formato ou idade; exemplo típico: valores de classificação incorreta para gênero ou tipo de cliente; • pontualidade – os dados representam a realidade do ponto de tempo necessário, ou seja, a inserção do dado em relação a uma questão específica; exemplo típico: mudança de endereço de cliente que entra em vigor em 1º de julho é inserida no sistema em 15 de julho; • completude – os dados são completos em termos de potencial necessário de dados; exemplo típico: endereço do cliente sem CEP; • exclusividade – os dados são devidamente identificados e registrados apenas uma vez; exemplo típico: cliente único é registrado duas vezes no banco de dados com identificadores diferentes; • consistência – os dados são representados de forma consistente no conjunto de dados; exemplo típico: a conta do cliente está fechada, mas há um novo pedido associado a essa conta. 4.1.2 Fator de estabelecimento de regras na qualidade de dados Esse fator aplica-se a regras de negócios e destina-se a garantir a qualidade dos dados em termos de precisão, validade, pontualidade, integridade, exclusividade e consistência. O processo de qualidade de dados consiste em quatro atividades: 1. definir a qualidade dos dados; 2. determinar requisitos para conduzir a avaliação; 3. resolver problemas; 12 4. designar dados de monitoramento e controle de qualidade. TEMA 5 – RESPOSTA VERSUS COVARIÁVEIS EM ANÁLISE DE DADOS CATEGÓRICOS Os tipos de dados que podemos ter são: categóricos e numéricos. Os dados que se originam com base na observação de variáveis categóricas, aqueles que podem ser classificados como casos individuais em categorias, são denominados categóricos. Já os dados oriundos de uma metodologia de análise de dados quantitativos são dados numérico. Nesse caso, o foco está diretamente vinculado aos aspectos tangíveis acerca de um problema definido. Crédito: Roberson Cesar Alves de Araujo. Os dados categóricos descrevem categorias ou grupos. Um exemplo são marcas de automóveis como Mercedes, BMW e Audi – elas mostram categorias diferentes. Outra instância são as respostas a perguntas sim e não. Se eu fizer uma pergunta como: Você está matriculado em uma universidade? Ou: Você tem um carro? Sim e não seriam os dois grupos de respostas que podem ser obtidos. Esse é um dado categórico. Dados numéricos, por outro lado, como seu nome sugere, representam números. São divididos em dois subconjuntos: dados discretos e dados contínuos. 13 Os dados discretos geralmente podem ser contados em uma questão finita. Um bom exemplo seria o número de filhos que você deseja ter. Mesmo que você não saiba exatamente quantos, você tem certeza de que o valor será um número inteiro, como 0, 1, 2 ou mesmo 10. O importante para uma variável ser definida como discreta é que você pode imaginar cada membro do conjunto de dados. É mais fácil entender dados discretos dizendo que são o oposto de dados contínuos. Os dados contínuos são infinitos e impossíveis de contar. Por exemplo, seu peso pode assumir todos os valores em alguma faixa. Você sobe na balança e a tela mostra 68,0389 quilogramas. Mas essa é apenas uma aproximação. Se você ganhar 0,0045 gramas, é improvável que o valor na balança mude, mas seu novo peso será 68,0434 kg. Agora pense na transpiração. Cada gota de suor reduz seu peso com o peso dessa gota. Porém, mais uma vez, é improvável que a balança capte essa mudança. O processo de perder e ganhar peso ocorre o tempo todo. Seu peso exato é uma variável contínua – pode assumir uma quantidade infinita de valores, não importa quantos dígitos haja após o ponto. Para resumir, seu peso pode variar em quantidades incompreensivelmente pequenas e é contínuo, enquanto o número de filhos que você deseja ter é diretamente compreensível e discreto. Apenas para ter certeza, a seguir fornecemos alguns outros exemplos de dados discretos e contínuos. • As notas na universidade são discretas: A, B, C, D, E, F ou 0 a 100 por cento. • O número de objetos em geral. Não importa se são garrafas, copos, mesas ou carros. Eles só podem assumir valores inteiros • O dinheiro pode ser considerado ambos, mas o dinheiro físico, como notas e moedas, é definitivamente discreto. Você não pode pagar R$ 6,399. Você só pode pagar R$ 6,39. Isso porque a diferença entre duas somas de dinheiro pode ser de 1 centavo no máximo. O que mais é contínuo? Além do peso, outras medidas também são contínuas, por exemplo: • altura; • área; • distância; • tempo. 14 Tudo isso pode variar em montantes infinitamente menores, incompreensíveis para um ser humano. O tempo em um relógio é discreto, mas o tempo em geral não é! Pode ser qualquer coisa como 72.123456 segundos. Na medição de peso, altura, área, distância e tempo, somos limitados por nossa tecnologia. Mas, em geral, essas medições podem assumir qualquer valor. 5.1 Tipos de dados categóricos Os dados categóricos dividem-se em nominais e ordinais. Crédito: Roberson Cesar Alves de Araujo. Dados nominais são dados em que as categorias são apenas nomeadas – nominal refere-se a nomes. Exemplos: vermelho, verde, azul; maçãs, laranjas, bananas, kiwis. Dados ordinais são aqueles em que existem categorias, mas há algum tipo de ordem. Exemplos: grande, médio, pequeno; melhor, preferido, aceitável, talvez, de jeito nenhum! Embora sejam categorias, há uma ordem implícita. 15 Crédito: STEVEN CHIANG/Shutterstock. Ambos os tipos de dados estão em categorias. Dados são nominais quando são apenas nomeados e ordinais quando há algum tipo de ordem (implícita). 16 REFERÊNCIAS AMARAL, F. Introdução à ciência de dados. Rio de Janeiro: Alta Books, 2018. ARAUJO, R. C. A. Modelo de inteligência pública baseado em agente inteligente no contexto de serviços da cidade digital estratégica. Tese (Doutorado em Gestão Urbana) – Pontifícia Universidade Católica do Paraná, Curitiba, 2020. _______; REZENDE, D. A.; ALMEIDA, G. G. F. de. Public intelligence framework for strategic digital city services. Informação & Informação, v. 27, n. 2, p. 302– 327, 2022. Disponível em: . Acesso em: 30 mar. 2023. BERGAMO, F. Gestão da experiência e relacionamento com o cliente. São Paulo: Senac, 2022. FACELI, K. et al. Inteligência artificial: uma abordagem de aprendizado de máquina. Rio de Janeiro: LTC, 2011. FOREMAN, J. W. Data Smart. Rio de Janeiro: Alta Books, 2018. FRANCISCHINI, A. S. N.; FRANCISCHINI, P. G. Indicadores de desempenho. Rio de Janeiro: Alta Books,2017. GOMES, E.; BRAGA, F. Inteligência competitiva em temos de big data. Rio de Janeiro: Alta Books, 2017. HARRISON, M. Machine learning: guia de referência rápida: trabalhando com dados estruturados em Python. São Paulo: Novatec, 2019. MAGRANI, E. A internet das coisas. Rio de Janeiro: FGV, 2018. MUNIZ, A. et al. Jornada Transformação Digital no Brasil: unindo práticas e cases de experiências brasileiras que potencializam a economia digital no Brasil. Rio de Janeiro: Brasport. NEIVA, E. Dicionário Houaiss de comunicação e multimídia. São Paulo: Publifolha, 2013. 17 NORVIG, P. Inteligência artificial. Rio de Janeiro: GEN LTC, 2013. PROVOST, F.; FAWCETT, T. Data Science para negócios. Rio de Janeiro: Alta Books, 2016. ROGERS, D. L. Transformação digital: repensando o seu negócio para a era digital. Belo Horizonte: Autêntica Business, 2017. SINCLAIR, B. IoT: como usar a Internet das Coisas para alavancar o seu negócio. São Paulo: Autêntica Business, 2018.