videoaula-13

Prévia do material em texto

<p>A arquitetura da rede RBF</p><p>e seu treinamento</p><p>REDES NEURAIS</p><p>TÓPICOS</p><p>1. Introdução e Histórico</p><p>2. Arquitetura da rede RBF</p><p>3. O neurônio de base radial</p><p>4. Treinamento</p><p>A REDE RBF</p><p> De forma similar à rede MLP, a RBF possui múltiplas</p><p>camadas, porém, utiliza funções de bases radiais</p><p>nas unidades ocultas</p><p> O campo local induzido é calculado a partir da</p><p>distância da RBF ao padrão</p><p> São utilizadas como ferramentas de interpolação,</p><p>aproximação de funções e classificação</p><p> As unidades ocultas representam campos</p><p>receptivos locais</p><p> Assim como as redes MLP, as RBF são</p><p>aproximadores universais</p><p>HISTÓRICO</p><p>IDEIA CENTRAL: CONSTRUIR FUNÇÕES</p><p>COMPLEXAS A PARTIR DA COMBINAÇÃO DE</p><p>FUNÇÕES SIMPLES</p><p>1. Os trabalhos com funções de base radial tiveram</p><p>início na década de 60 [Medgassy, 1961]</p><p>2. Diversos trabalhos, ao longo das décadas de 70 e</p><p>80, utilizaram as RBFs para a tarefa de</p><p>interpolação e aproximação de funções [Duda &</p><p>Hart, 1973, Powell, 1987, Poggio & Girosi, 1989]</p><p>Fonte: https://neuron.eng.wayne.edu/tarek/MITbook/chap6/6_1.html</p><p>https://neuron.eng.wayne.edu/tarek/MITbook/chap6/6_1.html</p><p>HISTÓRICO</p><p>3. Redes RBF foram propostas, independentemente,</p><p>por diversos autores: [Broomhead & Lowe, 1988,</p><p>Lee & Kil, 1988, Niranjan & Fallside, 1988, Moody</p><p>& Darken, 1989].</p><p>Fonte: https://neuron.eng.wayne.edu/tarek/MITbook/chap6/6_1.html</p><p>https://neuron.eng.wayne.edu/tarek/MITbook/chap6/6_1.html</p><p>ARQUITETURA</p><p>1. Comumente, com duas camadas ajustáveis:</p><p>1. Oculta: Neurônios de bases radiais</p><p>2. Saída: Neurônios lineares</p><p>Entrada Camada</p><p>Escondida</p><p>Camada de</p><p>Saída</p><p>FUNÇÕES DE BASES RADIAIS</p><p>1. Multiquadráticas</p><p>2. Multiquadráticas Inversas</p><p>3. Funções Gaussianas</p><p>FUNÇÕES DE BASES RADIAIS</p><p>1. Camadas de Saída:</p><p>Entrada Camada</p><p>Escondida</p><p>Camada de</p><p>Saída</p><p>FUNÇÕES DE BASES RADIAIS</p><p>• As funções de base radial representam campos</p><p>receptivos ancorados em seu centro de massa</p><p>• Neurônios respondem de forma ativa a exemplos</p><p>próximos aos centros (controlados pela abertura</p><p>da função)</p><p>• A precisão do modelo depende do número de</p><p>funções de base consideradas, das posições dos</p><p>centros e da largura do campo receptivo</p><p>FUNÇÃO GAUSSIANA</p><p>TREINAMENTO</p><p>1. O TREINAMENTO DEVE GARANTIR QUE O ERRO</p><p>DE SAÍDA SEJA REDUZIDO AO CONFIGURAR OS</p><p>PARÂMETROS DA REDE:</p><p>1. Parâmetros das funções de base radial</p><p>2. Pesos da camada linear de saída</p><p>TREINAMENTO</p><p> HÁ TRÊS FORMAS PRINCIPAIS PARA</p><p>TREINAMENTO DA REDE RBF:</p><p>1. Centros fixos selecionados ao acaso</p><p>2. Seleção auto-organizada dos centros</p><p>3. Ajuste supervisionado dos centros</p><p>• Os pesos da camada de saída são ajustados</p><p>via regra delta (treinamento supervisionado)</p><p>CENTROS FIXOS</p><p>1. Os centros das funções de base radial</p><p>são fixados em exemplos do conjunto de</p><p>treinamento</p><p>• Todo o conjunto (interpolação)</p><p>• Subconjunto selecionado aleatoriamente</p><p>CENTROS FIXOS</p><p>1. As aberturas são configuradas utilizando a</p><p>1. Distância média entre os centros</p><p>2. Distância entre os centros e as entradas</p><p>3. Distância média entre as entradas, etc.</p><p>2. dmedia representa a distância média entre</p><p>os exemplos e max a máxima, M é o</p><p>número de centros</p><p>ILUSTRAÇÃO DE INTERPOLAÇÃO</p><p>1. Para M=N e sigma=2dmedia</p><p>Fonte: Neural</p><p>Networks for Pattern</p><p>Recognition, C. Bishop,</p><p>Oxford University</p><p>Press, 1996</p><p>ILUSTRAÇÃO DE INTERPOLAÇÃO</p><p>1. Para M<<N e sigma<<2dmedia</p><p>Fonte: Neural</p><p>Networks for Pattern</p><p>Recognition, C. Bishop,</p><p>Oxford University</p><p>Press, 1996</p><p>ILUSTRAÇÃO DE INTERPOLAÇÃO</p><p>1. Para M<<N e sigma>>2dmedia</p><p>Fonte: Neural</p><p>Networks for Pattern</p><p>Recognition, C. Bishop,</p><p>Oxford University</p><p>Press, 1996</p><p>ILUSTRAÇÃO DE INTERPOLAÇÃO</p><p>1. Para M<<N e sigma=2dmedia</p><p>Fonte: Neural</p><p>Networks for Pattern</p><p>Recognition, C. Bishop,</p><p>Oxford University</p><p>Press, 1996</p><p>VIA AGRUPAMENTO DE</p><p>DADOS</p><p> Ao invés de selecionarmos os</p><p>centros ao acaso, podemos</p><p>usar um método de</p><p>agrupamento para selecioná-los</p><p>• i.e. K-Means</p><p>• Fase não-supervisionada</p><p>• Seleção de centros mais</p><p>representativos</p><p>Fonte: https://en.wikipedia.org/wiki/K-means_clustering</p><p>K-MEANS</p><p> O K-Means consiste em 3</p><p>passos básicos:</p><p>1. Definir o número de centros K</p><p>(centroides)</p><p>2. Obter a associação entre os</p><p>exemplos e os centroides</p><p>3. Reposicionar cada centroide</p><p>considerando a média (centro</p><p>de massa) dos exemplos</p><p>associados a ele</p><p>Fonte: https://en.wikipedia.org/wiki/K-means_clustering</p><p>OTIMIZAÇÃO SUPERVISIONADA</p><p>1. Semelhante à rede MLP via gradiente descendente</p><p>RBF VERSUS MLP</p><p>1. Normalmente a MLP pode conter diversas</p><p>camadas ocultas, a RBF apenas uma</p><p>2. Os neurônios ocultos da RBF usam funções de</p><p>base radial (distância entre entradas e o centro).</p><p>Os neurônios da MLP usam um combinador</p><p>linear (produto interno entre pesos e entradas)</p><p>3. As MLP constroem aproximações globais ao</p><p>mapear a entrada-saída, as RBF aproximações</p><p>locais</p><p>O QUE VIMOS?</p><p>• Conhecemos a arquitetura e o</p><p>processo de treinamento das redes de</p><p>Funções de Bases Radiais (RBF)</p><p>PRÓXIMA VIDEOAULA</p><p>ATÉ A PRÓXIMA!!</p><p>• Conheceremos um modelo de rede</p><p>competitivo não-supervisionado</p><p>denominado SOM (Self-Organizing Maps)</p>