8 - Verificação e validação de modelos de simulação

Prévia do material em texto

SIMULAÇÃO DE 
SISTEMAS 
PRODUTIVOS 
Gabriela Fonseca Parreira Gregorio
Verificação e validação de 
modelos de simulação
Objetivos de aprendizagem
Ao final deste texto, você deve apresentar os seguintes aprendizados:
  Diferenciar os conceitos de verificação e validação.
  Descrever as técnicas de verificação em modelos de simulação.
  Aplicar as técnicas de validação de modelos de simulação.
Introdução
Os resultados gerados pelos projetos de modelagem e simulação têm 
papel fundamental nas organizações, uma vez que constituem a base 
para a condução de novas deliberações. Assim, os modelos precisam ser 
devidamente elaborados e representar de forma adequada o compor-
tamento do sistema real.
Para saber o quão adequado é um modelo, algumas atividades são 
necessárias, como a verificação e a validação. Elas buscam identificar 
potenciais problemas com o modelo conceitual e com o modelo com-
putacional. Esses problemas podem estar relacionados a erros de mode-
lagem computacional ou à representação inadequada do sistema real.
Neste capítulo, você vai ver quais são as diferenças entre a verificação 
e a validação em simulação. Também vai conhecer algumas técnicas de 
verificação em modelos de simulação. Além disso, vai acompanhar a 
aplicação de técnicas de validação.
Conceitos de verificação e validação
O desenvolvimento de projetos de modelagem e simulação possibilita o teste 
de sistemas produtivos em vários cenários, o que contribui com o processo 
decisório das organizações. Conceber esses projetos por meio de etapas estrutu-
radas pode aumentar a confi abilidade e a assertividade dos resultados obtidos.
Chwif e Medina (2013) definem seis passos importantes para o desen-
volvimento de um projeto de simulação. São eles: formulação do problema e 
dos objetivos do projeto, representação do modelo conceitual, implantação do 
modelo computacional, verificação e validação do modelo, experimentação 
ou testes e análise dos resultados.
Como você pode notar, após elaborar o modelo e imputá-lo na ferramenta 
computacional selecionada pela empresa, duas atividades se destacam: a 
verificação e a validação do modelo. Segundo Chwif e Medina (2013), ve-
rificar consiste em confirmar se o modelo conceitual foi transformado em 
modelo computacional de forma adequada e assertiva. Já validar consiste em 
analisar se o modelo computacional representa o sistema real em relação ao 
seu comportamento e ao seu funcionamento.
De acordo com Pimentel (2015), a verificação tem início após a definição 
do modelo em um software de simulação. Para a autora, nessa etapa, deve-se 
observar se todas as entradas e saídas dos processamentos estão corretas. 
Segundo Gavira (2003), a verificação do programa computacional serve para a 
eliminação de erros. Deve-se questionar, nessa etapa, se o programa é adequado 
para o modelo e se este funciona de forma correta.
Para Correia (2010), verificar consiste em averiguar se as simplificações 
feitas ao representar o sistema real por meio de um modelo conceitual e os 
pressupostos foram implantados corretamente no modelo computacional. O 
autor compara a verificação com a retirada de bugs do programa e com a 
identificação de erros de sintaxe e/ou lógica.
Por outro lado, a validação é feita ao comparar o sistema real com o sistema 
simulado (PIMENTEL, 2015). Gavira (2003) propõe duas validações ao longo 
do processo de modelagem e simulação. Veja a seguir.
  Validação do modelo conceitual: promove uma análise estruturada do 
modelo conceitual. Objetiva avaliar que as suposições do modelo estão cor-
retas, possibilitar o domínio do modelo e evitar reprogramações posteriores.
  Validação do modelo programado: identifica que o modelo é uma 
representação adequada do sistema real. Consiste na calibração do 
modelo até que as divergências sejam identificadas e a confiabilidade 
aceitável seja alcançada. Trata-se de um processo interativo de com-
paração entre o modelo e o comportamento do sistema real (BANKS 
et al., 1996 apud GAVIRA, 2003).
A validação, segundo Correia (2010), deve envolver os analistas e clientes. 
Eles precisam avaliar se o modelo computacional pode ser utilizado. Assim, 
Verificação e validação de modelos de simulação2
validar implica avaliar o quão bem o modelo representa o sistema real. O 
modelo só é validado se tiver determinado grau de confiabilidade.
A seguir, veja a relação entre a validação do modelo conceitual, a verificação 
e a validação do modelo computacional (GAVIRA, 2003).
  Validação do modelo conceitual: avalia suposições, possibilita domínio 
do modelo, evita reprogramações.
  Verificação: elimina erros, compara modelo computacional com modelo 
conceitual.
  Validação do modelo programado: avalia se o modelo representa ade-
quadamente o sistema real.
Diante do modelo conceitual definido, é importante fazer a primeira va-
lidação. Ela serve para familiarizar a equipe com o modelo. Além disso, 
permite a identificação de potenciais problemas antes da inserção do modelo 
no software de simulação. Após a inserção no programa, ocorre a etapa de 
verificação, que objetiva eliminar erros ao comparar o modelo conceitual com 
o modelo computacional. Em seguida, parte-se para a validação do modelo já 
programado, que busca garantir que ele represente bem o sistema real. Após 
a validação, o sistema pode ser testado ou experimentado.
Diferentemente de Gavira (2003), a maior parte dos autores considera 
apenas uma etapa de validação. A grande diferença entre a verificação 
e a validação é que, enquanto a primeira busca identificar erros entre o 
modelo conceitual e o modelo programado, a segunda busca comparar o 
modelo programado com o sistema real, avaliando se o primeiro representa 
de forma confiável o segundo. A verificação ocorre antes da validação do 
modelo programado.
Técnicas de verificação
A etapa de verifi cação é fundamental. Ela busca garantir que o modelo com-
putacional não contém erros e pode ser utilizado para dar sequência às ativi-
dades de modelagem e simulação. Inúmeras são as vantagens da utilização 
de ferramentas computacionais para simulação. No entanto, caso o modelo 
computacional não seja isento de erros, as consequências atingirão a confi a-
bilidade dos resultados gerados.
Existem algumas formas distintas de verificar se existem erros no modelo 
computacional, considerando o modelo conceitual já elaborado. Cabe à equipe 
3Verificação e validação de modelos de simulação
avaliar as técnicas mais adequadas ao modelo conceitual. Chwif e Medina 
(2006) apresentam as técnicas de verificação listadas a seguir.
  Implementação modular ou verificação modular: divisão do mo-
delo em módulos para que cada um deles possa ser averiguado em 
relação aos erros. A modularização busca simplificar a análise das 
características.
  Valores constantes/simplificados e cálculos manuais: consideram-se 
os valores médios de cada distribuição como valores determinísticos.
  Utilização do debugger (trace): consiste em usar outras ferramentas 
computacionais a fim de encontrar erros no programa.
  Animação gráfica: consiste no uso de animação gráfica para verificar 
se existem erros.
  Revisão em grupo: implica constituir um grupo, de preferência mul-
tidisciplinar, para verificar se o modelo computacional está adequado.
Segundo Pimentel (2015), algumas técnicas de verificação são:
  utilizar indicadores no processo de simulação para verificar se a quanti-
dade de peças no processo tem relação com a realidade e para averiguar 
o caminho percorrido por elas;
  utilizar gráficos que representem as atividades das ferramentas e dos 
equipamentos do modelo;
  testar o modelo em velocidade reduzida a fim de visualizar as entidades 
ao longo dele.
Complementando as técnicas citadas, Freitas Filho (2001 apud FONTOURA 
JÚNIOR et al., 2010) apresenta outras três técnicas de verificação:
  variações nos dados de entrada;
  teste de degenerescência;
  teste de independência em relação às sementes geradorasde números 
aleatórios.
A técnica de provocar variações nos dados de entrada promove alterações 
nos dados imputados no modelo a fim de verificar se ele gera respostas 
adequadas. Afinal, alterações nos dados de entrada devem gerar alterações 
condizentes nas saídas. O uso do teste de degenerescência averigua o com-
portamento do modelo sob valores extremos, ou seja, maiores e menores 
Verificação e validação de modelos de simulação4
do que os permitidos. Por fim, o teste de independência em relação às 
sementes geradoras de números aleatórios verifica se os resultados foram 
impactados de forma significativa pelo uso de diferentes sementes, o que 
não deveria ocorrer.
Agora, veja uma síntese das principais técnicas para verificação de um 
modelo de simulação:
  revisão por duas ou mais pessoas;
  animação gráfica;
  variações de dados;
  verificação por meio de módulos;
  debug.
Diante de tantas técnicas de verificação, as empresas precisam selecionar aquela 
mais adequada ao seu problema, aos objetivos do projeto e aos dados e recursos 
disponíveis. Acesse o link a seguir para conhecer a técnica de verificação utilizada 
em um modelo de simulação aplicado à programação da produção de um frigorífico 
de peixe.
https://is.gd/xd9GBi
Aplicação das técnicas de validação
Após a verifi cação, é importante conferir se o modelo representa adequada-
mente o sistema real, ou seja, validar o modelo. Segundo Chwif e Medina 
(2006), não é possível validar um modelo na íntegra, no entanto é possível 
majorar a confi ança com que ele retrata a realidade. A seguir, veja algumas 
técnicas de validação (SARGENT, 2004 apud CHWIF; MEDINA, 2006). 
  Teste de Turing ou validação black-box: os dados gerados pelo mo-
delo e os dados do sistema real, após representados por meio de um 
mesmo padrão, são apresentados a especialistas. Se os profissionais 
não perceberem diferenças, considera-se que o modelo está validado.
  Comparação com modelos anteriores: avalia o comportamento do 
modelo atual em relação ao comportamento de modelos anteriores.
5Verificação e validação de modelos de simulação
  Análise de sensibilidade: avalia a sensibilidade dos dados de saída em 
função de alterações dos dados de entrada.
  Validação face a face: consiste em questionar pessoas com conheci-
mento aprofundado sobre o sistema se o modelo e o seu funcionamento 
encontram-se satisfatórios.
A existência de históricos que permitem comparações e de especialistas com 
profundo conhecimento sobre o funcionamento do sistema real é importante 
para o uso dessas técnicas de validação. Além das técnicas citadas, existem os 
testes estatísticos. A aplicação de testes estatísticos tem o objetivo de identificar 
se a hipótese de que o modelo computacional representa adequadamente o 
sistema real é verdadeira ou falsa. A escolha do teste depende do conhecimento 
da distribuição de probabilidade dos dados.
No Quadro 1, você pode ver a validação de um modelo por meio da comparação 
entre o sistema real e o simulado. O exemplo compara a quantidade de caixas 
produzidas ao longo de determinado período (FERROS, 2014 apud PIMENTEL, 
2015). Você pode ver a produção de caixas que realmente aconteceu no sistema 
(produção real) e a produção por meio do modelo elaborado (produção virtual). 
Foi feita também uma análise da aderência para avaliar quão adequado é o modelo.
Fonte: Adaptado de Ferros (2014 apud PIMENTEL, 2015).
Dias
Produção 
real (caixas)
Produção 
virtual (caixas)
Aderência (%)
Primeiro 3.272 3.180 97,2
Segundo 3.353 3.402 98,5
Terceiro 3.679 3.618 98,3
Quarto 2.723 2.815 96,7
Quinto 2.918 3.014 96,8
TOTAL 15.945 16.029 99,5
Quadro 1. Exemplo de validação: comparação sistema real × simulado
Montevechi et al. (2007) utilizaram várias técnicas para a validação do 
modelo de uma célula de manufatura numa indústria do setor automotivo: 
Verificação e validação de modelos de simulação6
teste de aderência à distribuição normal, teste de hipótese e validação face a 
face. Assim, foram utilizadas mais de uma técnica para a validação do modelo.
Primeiramente, eles utilizaram o teste de aderência para avaliar se a distri-
buição normal era adequada para representar os dados. Por meio desse teste, 
verificaram que a distribuição normal não era adequada. Assim, fizeram um 
teste de hipótese que constatou que o modelo estava validado para a variável 
total de peças produzidas por dia na célula. Em seguida, ainda utilizaram a 
técnica de validação face a face, apresentando o modelo a especialistas.
Muitas vezes, a validação de um modelo pode recorrer à aplicação de 
diversas técnicas. Existem técnicas mais subjetivas, como a validação face 
a face ou o teste de Turing, e outras quantitativas e objetivas, como os testes 
estatísticos. A escolha das técnicas é uma decisão situacional e depende dos 
dados disponíveis, do conhecimento da equipe, da disponibilidade de espe-
cialistas no sistema real, entre outros aspectos.
CHWIF, L.; MEDINA, A. C. Modelagem e simulação de eventos discretos: teoria e aplicações. 
São Paulo: Bravarte, 2006.
CHWIF, L.; MEDINA, A. C. Modelagem e simulação de eventos discretos: teoria e prática. 
3. ed. Rio de Janeiro: Elsevier, 2013.
CORREIA, A. R. Introdução à simulação. [2010]. Disponível em: www2.ita.br/~correia/
MB-761/aula_1.pptx. Acesso em: 25 abr. 2019.
FONTOURA JÚNIOR, J. A. S. et al. Verificação e calibração do modelo de simulação do 
desempenho reprodutivo de vacas de corte baseado no escore de condição corporal 
avaliação interna. Revista Brasileira de Zootecnia, Viçosa, v. 39, n. 12, p. 2769–2779, dez. 2010.
GAVIRA, M. O. Simulação computacional como ferramenta de aquisição de conhecimento. 
2003. Dissertação (Mestrado em Engenharia de Produção) – Escola de Engenharia, 
Universidade de São Paulo, São Carlos, 2003.
MONTEVECHI, J. A. B. et al. Application of design of experiments on the simulation of 
a process in an automotive industry. In: WINTER SIMULATION CONFERENCE, 1., 2007, 
Washington. Anais [...]. Washington: [s. n.], 2007.
PIMENTEL, C. A. Aplicação da simulação como ferramenta de apoio à tomada de decisão 
gerencial em uma célula de manufatura. 2015. Dissertação (Mestrado em Engenharia 
de Produção) – Programa de Pós-Graduação em Engenharia da Produção, Faculdade 
de Engenharia Arquitetura e Urbanismo, Universidade Metodista de Piracibaba, Santa 
Bárbara D’Oeste, 2015.
7Verificação e validação de modelos de simulação
Leituras recomendada
GUIMARÃES, A. M. C. Simulação computacional: um modelo de maturidade e de se-
leção para uso dos softwares em manufatura. 2015. Tese (Doutorado em Engenharia 
de Produção) – Programa de Pós-Graduação em Engenharia de Produção, Pontifícia 
Universidade Católica do Rio de Janeiro, Rio de Janeiro, 2015.
PEREIRA, C. R.; COSTA, M. A. B. Um modelo de simulação de sistemas aplicado à pro-
gramação da produção de um frigorífico de peixe. Produção Online, Piracicaba, v. 12, 
n. 4, p. 972–1001, out./dez. 2012.
Verificação e validação de modelos de simulação8