Prévia do material em texto

1128 
Grupo de Trabalho: Indústrias Midiáticas 
 
 
FUNÇÕES E APLICAÇÕES DO SOM NA COMUNICAÇÃO AUDIOVISUAL 
 
Lawrence Rocha Shum1 
 
 
 O objetivo deste trabalho é discutir as funções e aplicações do som na comunicação 
audiovisual a partir da Teoria Cinematográfica de Produção Sonora (Film Sound), da 
Semiótica Peirceana e do conceito de “Paisagem Sonora”. Segundo Schafer (1977, p. 366), a 
expressão paisagem sonora representa “qualquer porção do ambiente sonoro vista como um 
campo de estudos. O termo pode referir-se a ambientes reais ou a construções abstratas, como 
composições musicais e montagem de fitas, em particular quando consideradas como um 
ambiente”. Assim, se paisagem sonora é “qualquer porção do ambiente sonoro vista como um 
campo de estudos” e “pode referir-se a ambientes reais ou a construções abstratas (...) em 
particular quando consideradas como um ambiente”, faz sentido afirmar que filmes, vídeos, 
hipermídias e jogos eletrônicos possuem paisagens sonoras próprias. Estas paisagens 
delimitam a extensão do ambiente sonoro e, na medida em que se dilatam ou contraem, 
definem o tamanho aparente do espaço sugerido pelos sons, além dos limites do campo visual 
da tela (cinema) ou do monitor (vídeo / hipermídia / games). Se apresentarmos, por exemplo, 
a imagem de uma sala ao som de um relógio de parede, o campo sonoro estará circunscrito ao 
ambiente imediato. O mesmo não irá ocorrer, se a mesma imagem for mostrada ao som de 
ondas distantes do mar. Neste caso, não apenas a extensão sonora será ampliada, como o 
áudio funcionará como índice de que aquela sala faz parte de uma casa próxima a uma praia. 
 As paisagens sonoras podem apresentar duas grandes áreas: on-track e off-track. On-
Track significa que o som está presente e pode ser ouvido; off-track, ao contrário, representa 
os “negativos sonoros”, isto é, sons sugeridos pelas imagens, mas que não estão presentes ou 
 
1 Lawrence Rocha Shum é Mestre em Comunicação e Semiótica pela PUC – SP, com pesquisa em produção de 
áudio para ambientes hipermidiáticos, professor no curso de Tecnologias e Mídias Digitais do Centro das 
Ciências Exatas e Tecnologia da PUC – SP, doutorando em Comunicação e Semiótica pela PUC – SP, com 
pesquisa em produção de áudio para jogos eletrônicos, radialista e publicitário. 
LISA
Highlight
 
 
 
 1129 
sons que não podem ser ouvidos em decorrência de mascaramento por outros sons de maior 
amplitude com espectro de freqüências similar. 
A área on-Track pode ser dividida em duas regiões: a diegética e a não-diegética. A 
não-diegética refere-se a tudo aquilo que é sobreposto ao plano da narrativa. Por exemplo, 
músicas incidentais e a narrações em off. A região não-diegética é freqüentemente planejada 
para criar “climas” específicos, causar impacto, surpreender, criar “tensão e relaxamento”. Já 
a diegética está relacionada diretamente aos acontecimentos apresentados e subdivide-se em 
visível e acusmática. A visível contém os sons onscreen, isto é aqueles cujas fontes (seres, 
objetos, máquinas ou pessoas) podem ser vistas na tela. A região acusmática, por outro lado, 
reúne os sons offscreen, responsáveis pela delimitação da extensão do ambiente sonoro. O 
pesquisador, compositor, crítico e diretor de curtas-metragens Michel Chion (1994, p. 85) 
classifica os sons offscreen em dois tipos: ativos e passivos. Ativos são todos aqueles que 
instigam, deixam dúvidas, causam inquietações como “o que será isso?”, ou “quem será?", ou 
ainda “como será?”. Podem funcionar como keyframes sonoros, isto é, sons que ocorrem em 
sincronia com transições ou cortes de imagens. Os passivos, por sua vez, são responsáveis 
pela criação de uma “atmosfera” ou de um “ambiente sonoro” (ambient sounds). Eles são 
elementos sonoros que envolvem e estabilizam as imagens, como ruídos de tráfego, de vento 
ou do ambiente. Ao contrário dos ativos, não exercem papel importante na edição das 
imagens (no caso de filmes e vídeos) e se subdividem, conforme Chion (1994, p. 85), em 
“sons do lugar” (territory sounds) e “elementos discretos da paisagem sonora” (elements of 
auditory setting). 
“Sons do lugar” são ambientações sonoras contínuas, como ruídos de máquinas em uma 
fábrica. Configuram-se na forma de massas ou texturas sonoras; já os “elementos discretos da 
paisagem sonora” são sons pontuais que oferecem pistas acerca do espaço existente no 
entorno da imagem apresentada. Por exemplo, o canto de um pássaro ou as badaladas do sino 
de uma igreja. No cinema, esses sons podem também funcionar como keyframes sonoros. 
Dentro das categorias onscreen e offscreen de sons diegéticos podem ocorrer também 
sons internos (objetivos e subjetivos) e sons “on the air”. Sons internos objetivos estão 
relacionados a processos biológicos como respiração, batimentos cardíacos, etc. Caso o 
personagem não seja humano, pode-se criar sons internos específicos a partir das suas 
características morfológicas, mecânicas, eletrônicas e/ou físico-químicas. Sons “on the air” 
LISA
Highlight
LISA
Highlight
 
 
 
 1130 
são emitidos por dispositivos como receptores de rádio, TV, intercomunicadores, celulares, 
computadores conectados a websites, etc. Observe os gráficos a seguir: 
 
 
 
 
 
 
 
 1131 
 
 
 
 
 
 1132 
Podemos esquematizar o sistema classificatório de Chion da seguinte forma: 
 
OFF-TRACK – Negativos Sonoros (sons sugeridos, porém ausentes) 
 
ON-TRACK – Diegéticos / Não-Diegéticos 
• Diegéticos (fazem parte do espaço da narrativa) 
o Onscreen (suas fontes sonoras são visíveis) 
o Offscreen (suas fontes sonoras não são visíveis) 
 Ativos (instigantes, chamam a atenção, keyframes sonoros) 
 Passivos (ambient sounds ou sons-ambiente) 
• “Sons do lugar”, sons contínuos, massas ou texturas sonoras 
(territory sounds) 
• “Elementos discretos da paisagem sonora” (elements of auditory 
setting). Também podem atuar como keyframes sonoros 
 
 Dentro das categorias onscreen e offscreen de sons diegéticos há: 
• Sons internos: 
o Objetivos (respiração, batimento cardíaco, etc.) 
o Subjetivos (sonhos, devaneios, delírios, etc.) 
• Sons “on the air” 
 
• Não-diegéticos (são sobrepostos ao espaço da narrativa) 
 
Funções do Som 
 
 Uma das questões que podemos fazer é “para que serve o som?”. Chion afirma que o 
som é um elemento unificador das imagens em vários aspectos: primeiro, em termos 
temporais, permitindo que imagens editadas sejam apreendidas como um fluxo contínuo; 
segundo, estabelecendo uma atmosfera que envolva, englobe as imagens, por meio de 
“cenários” sonoros como ondas do mar ou ruídos de trânsito; terceiro, criando coesão no fluxo 
de imagens por meio do uso de músicas não-diegéticas. Mas, como os sons são percebidos em 
 
 
 
 1133 
relação às imagens? Christian Metz lembra que os elementos sonoros, que para ele têm 
autonomia e status equivalente ao das imagens, são percebidos pela maioria das pessoas não 
como "coisas" em si, mas como características de outros objetos. Ou seja, a percepção do som 
está vinculada ao conhecimento do mundo e é, portanto, construída socialmente. Assim, o 
som de um carro não é, em geral, considerado em si mesmo, mas como atributo, índice, de 
outro objeto; o carro. 
 Curiosamente, o som não é mais efetivo ou verossímil quando representa com fidelidade 
a sua fonte causadora. Quem, entre nós, já esteve em um submarino a centenas de metros 
debaixo d' água, para saber como é o som "natural" de um submarino? Quantas explosões já 
presenciamos no espaço? A propósito, na ausência de ar, não haveria qualquer percepção 
sonora. Como é o som do caminhar sobre a neve,o ruído de ossos humanos sendo quebrados 
e triturados ou o roçar em um corpo alienígena? E o que dizer dos sons de golpes nos filmes 
de ação? Isso nos leva a duas constatações evidentes: primeiro, com muita freqüência, o som 
construído, montado, é mais convincente do que o som real proveniente de sua fonte; 
segundo, "aprendemos" no próprio cinema e em outras mídias o que é que soa "natural". 
Chion argumenta que o cinema, a televisão e o teatro criaram convenções tão fortemente 
estabelecidas que o som representado é mais "fiel" do que o som literal. 
 No filme The Bride Wore Black, de Truffaut, o personagem Claude Rich mostra a seu 
amigo Jean-Claude uma gravação de um som periódico e não identificável de algo que parece 
estar sendo friccionado. Jean-Claude demonstra não reconhecer a fonte sonora. Então, Rich 
conta que gravou o movimento de uma mulher cruzando as pernas, sem que ela soubesse. Ele 
diz ainda que a mulher usava meias de nylon e que uma outra tentativa de gravação, em que a 
mulher trajava meias de seda, não havia soado bem. Isso sugere que Rich não estava 
interessado em evocar o reconhecimento da fonte sonora em si, mas em seu efeito simbólico 
de erotismo, sensualidade, contato e intimidade. Assim, é possível afirmar que em 
determinadas situações o foco de um som em um filme, vídeo, hipermídia ou game não é sua 
fonte sonora, mas um efeito ou qualidade que esta fonte sonora esteja apta a apresentar, ou 
seja, o signo sonoro parece representar não o objeto, mas o seu significante. O filme de 
Truffaut também põe em cheque duas crenças comuns sobre a natureza dos signos sonoros: a 
de que um som possui um vínculo "objetivo" com sua fonte causadora e a de que este som 
tem a capacidade de evocar impressões precisas a respeito da natureza de sua fonte. Nem 
 
 
 
 1134 
sempre isso é verdadeiro. Normalmente, o que faz com que identifiquemos um determinado 
som com sua provável fonte sonora são suas qualidades internas (forma de onda e timbre) e o 
contexto em que ocorre. Chion (1994, p. 114) chama de índices de materialidade sonora as 
qualidades que denotam a natureza de um determinado som: 
 
Os índices de materialidade sonora são detalhes dos sons que fazem com que "sintamos" as 
condições materiais da fonte sonora e dizem respeito ao processo concreto de produção do som. 
Esses índices nos dão informações acerca da substância de que é feita a fonte sonora - madeira, 
metal, papel, tecido - assim como o som é produzido - por fricção, impacto, oscilações não 
uniformes, movimentos periódicos, etc. Entre os ruídos mais comuns que nos cercam, há aqueles 
que são pobres em índices de materialidade e, ao serem ouvidos apartados de suas fontes sonoras 
(acusmatizados), se transformam em enigmas: o som de um motor, por exemplo, pode adquirir 
uma qualidade abstrata, privada de referencialidade. 
 
 Por esta razão, facilmente conseguimos discriminar sonoridades próprias de materiais 
como metal e vidro. Mas o que dizer a respeito de algo que ainda não existe (objetos de filmes 
de ficção científica, por exemplo) ou de um crânio sendo esmagado? Neste caso específico, 
costuma-se esmagar um melão para o registro do som que será sincronizado na cena. Outra 
questão interessante é o fato de que com muita freqüência um signo sonoro só adquire 
significado quando associado a signos verbais. No exemplo do filme, o som apresentado a 
Jean-Claude não faria qualquer sentido sem o relato verbal do amigo a respeito da natureza da 
fonte sonora (as pernas de uma mulher). 
 
Os três modos de escuta 
 
 Para podermos analisar os diversos tipos de som e seus graus de independência (ou 
dependência) em relação às suas fontes sonoras, precisamos, primeiro, educar, aguçar e 
conceitualizar nossa escuta. Chion (1994, p. 25-34) propõe um modelo de análise que 
apresenta uma correspondência muito evidente com as categorias peirceanas de primeiridade, 
secundidade e terceiridade. Trata-se dos três modos de escuta: a escuta causal (secundidade), 
a escuta semântica (terceiridade) e a escuta reduzida (primeiridade). 
 
 
 
 
 1135 
Escuta causal 
 
 A escuta causal é aquela em que o foco de nosso interesse é a identificação da causa ou 
origem de um determinado som. É a que ocorre com maior freqüência no dia a dia e a que 
mais está vinculada aos índices de materialidade sonora. Ela é muito útil quando, por 
qualquer razão, não é possível enxergar a fonte sonora e oferece pistas (índices) das condições 
e características desta mesma fonte. Por exemplo, o som de um recipiente sendo sacudido 
pode indicar se ele está cheio ou não. Além disso, quando não se pode ver a fonte sonora, o 
som passa a ser a sua principal referência de informação. 
 Com exceção da voz humana que pode ser identificada com facilidade entre diversos 
indivíduos, raramente reconhecemos os sons com precisão, se ocorrerem fora de seus 
contextos habituais. Por exemplo, se você estiver em uma garagem e ligar o motor do seu 
carro, associará imediatamente o ruído ao seu próprio veículo. No entanto, se estiver em uma 
oficina mecânica, onde haja vários outros carros da mesma marca e modelo, não identificará o 
ruído do motor do seu carro tão facilmente. Isso significa que, na maioria das vezes, 
conseguimos reconhecer categorias de sons ao invés de sons específicos: sons de miados, de 
vozes humanas, de motores, etc. Além disso, com muito mais freqüência do que supomos, 
percebemos apenas a "natureza geral" da fonte causadora. Podemos dizer: "parece ser um 
animal feroz"; ou "deve ser algo mecânico" (identificando características como ritmo e 
periodicidade tipicamente "mecânica"); ou ainda "aparentemente é de madeira" (em 
decorrência dos índices de materialidade sonora típicos da madeira). 
 Também podemos acompanhar um determinado som ao longo do tempo e traçar sua 
evolução (ataque, sustentação, andamento, pausas, decaimento, etc.), bem como mudanças de 
níveis de pressão, amplitude, aspereza, suavidade, resposta de freqüências, etc., sem ter a 
menor idéia do que é a fonte sonora ou, ainda, do que ela é feita. 
 Habitualmente, um som não é composto por uma única fonte sonora, mas por várias 
delas sobrepostas. Por exemplo, o som de uma caneta sobre uma superfície qualquer. As 
fontes sonoras deste som são a ponta da caneta, a superfície, o gesto (movimento da mão) e 
própria pessoa que escreve. 
 No cinema e principalmente nos games, na maioria das vezes, não vemos as fontes 
sonoras reais dos sons que ouvimos, mas o que os diretores nos fazem crer serem as fontes 
 
 
 
 1136 
sonoras. Como veremos daqui a pouco, isso é possível através da Synchresis e do Pacto 
Audiovisual (Audiovision Contract). 
 
Escuta semântica 
 
 A escuta semântica está vinculada ao aspecto simbólico, ao significado de sons 
codificados como os da linguagem falada, do código Morse ou de qualquer outro código. 
Chion (1994, p. 25-34) afirma que: 
 
 Este modo de escuta, que funciona de maneira extremamente complexa, tem sido objeto de 
 pesquisas lingüísticas e é o mais amplamente estudado. Um aspecto fundamental é o fato de que 
 opera de forma puramente diferencial. Um fonema não é ouvido estritamente baseado em suas 
 propriedades acústicas, mas, também, no contexto de um sistema maior de diferenças e oposições. 
 
 Em uma hipermídia ou jogo eletrônico também podemos criar determinados códigos 
que proporcionem uma escuta semântica. Por exemplo, através de sons que caracterizem 
ações específicas (acesso ao help, menus, páginas, botões, etc.), eventos (pontuação extra, 
descoberta de algo escondido, superação de um oponente, etc.), mudanças de estado (mais 
energia, “vidas”, invisibilidade, imortalidade, etc.), entradaem um determinado modo (de 
dificuldade, treinamento, velocidade, etc.) ou qualquer outra coisa que o usuário ou jogador 
possa "aprender". 
 As escutas semântica e causal se sobrepõem. Nós ouvimos simultaneamente o que 
alguém nos diz e o modo como é dito. 
 
Escuta reduzida 
 
 Pierre Schaeffer (apud Chion 1994, p. 29) deu o nome de escuta reduzida para o modo 
de escuta onde o foco de interesse é o som em si mesmo, independentemente de sua(s) 
causa(s) e significado(s). Santaella (2001, p. 85) esclarece que “o termo reduzida foi 
emprestado da noção fenomenológica de redução em Husserl”. Na escuta reduzida, o som 
(verbal, musical, um ruído, etc.) é o objeto de estudo, ao invés de ser um veículo para 
 
 
 
 1137 
qualquer outra coisa. Embora, alguém possa afirmar que o som é algo subjetivo, percebido de 
maneira distinta por cada indivíduo, a percepção em si não é um fenômeno puramente 
individual. Ela possui uma carga de objetividade que se configura a partir das intersecções das 
múltiplas e diferentes subjetividades. É sob este pano de fundo que, segundo Chion, a noção 
de escuta reduzida, como foi postulada por Schaeffer, deve ser entendida. 
 A escuta reduzida pressupõe obrigatoriamente o registro (gravação) de um som 
qualquer, já que o inventário descritivo deste som não pode ser feito através de uma única 
audição. Santaella (2001a: 85) complementa: 
 
 É necessário reescutar e para isso o som precisa ser gravado em um suporte. Um instrumentista ou 
um cantor não podem repetir exatamente o mesmo som em duas ocasiões diferentes. Só podem 
reproduzir a altura e seu perfil geral, não as qualidades concretas que particularizam um evento 
sonoro e o tornam único. A escuta reduzida implica a fixação dos sons que ascendem, assim, ao 
estatuto de verdadeiros objetos, os objetos sonoros. 
 
 Na escuta reduzida, os sons são tratados como objetos reais; o que se busca é a 
microscopia, a "dissecação" dos sons em decorrência de suas características intrínsecas 
(forma de onda, timbre, etc.). No Traité des objets musicaux, Schaeffer provou que um 
sistema descritivo de sons pode ser elaborado de forma independente de suas causas. Chion 
(1994, p. 25-34) afirma que: 
 
Certamente, é impossível desenvolver um sistema como este, a não ser que sejam criados novos 
conceitos e critérios de análise. A linguagem do dia a dia, bem como a terminologia musical, são 
totalmente inadequadas para descrever as características ou qualidades sonoras que são reveladas, 
ao se praticar a escuta reduzida, a partir de sons gravados. 
 
 E continua: 
 
A escuta reduzida oferece a enorme vantagem de abrir nossos ouvidos e aguçar o poder de nossa 
audição. Produtores de cinema e de vídeo, pesquisadores e técnicos podem conhecer melhor os 
sons e obter melhores resultados em suas experiências e trabalhos. O valor emocional, físico e 
estético de um som está vinculado não apenas à(s) causa(s) que nós atribuímos a ele, mas, 
também, às suas próprias qualidades de timbre e textura, à sua própria vibração. Assim como 
 
 
 
 1138 
diretores e cineastas - mesmo aqueles que jamais farão trabalhos abstratos - têm tudo a ganhar 
quando refinam seus conhecimentos sobre materiais e texturas visuais, de maneira similar, nós 
somos beneficiados pela atenção disciplinada às qualidades intrínsecas dos sons. 
 
 A escuta reduzida requer uma audição acusmática, isto é, desvinculada de sua(s) 
fonte(s) sonora(s). O termo acusmático, conforme descreve Santaella (2001a: 138)... 
 
... foi originalmente empregado no contexto dos iniciados no culto pitagórico que passavam cinco 
anos ouvindo, sentados em completo silêncio, as palestras do mestre que eram realizadas atrás de 
uma cortina, de modo que o palestrante não pudesse ser visto pelos ouvintes. Termo recuperado 
por Jerónimo Peignot e teorizado por Schaeffer, a escuta acusmática define-se como a apreensão 
ou apreciação do objeto sonoro independentemente e destacado de sua fonte. 
 
 A idéia é romper a associação "natural" entre o som e sua fonte(s) sonora(s), 
transformando este som em um objeto autônomo. Isso é possível a partir de inúmeras 
repetições de um som gravado, até que deixemos de prestar atenção em sua(s) possível(eis) 
causa(s) e consigamos apreender suas qualidades intrínsecas. 
 Assim como ocorre com as categorias da Gramática Especulativa ou Teoria Geral dos 
Signos de Peirce, os modos de escuta se sobrepõem e se combinam em diferentes contextos e 
níveis de complexidade. Como produtores de áudio para filmes, vídeos, hipermídias ou 
games, podemos estabelecer graus diversos em que os sons estejam mais ou menos 
vinculados a cada um dos três modos de escuta (causal, semântica e reduzida). Chion (1994, 
p. 25-34) aponta ainda o fato de que a escuta não pode ser interrompida com a mesma 
facilidade com que é possível, por exemplo, fechar os olhos para não enxergar. Não 
conseguimos "fechar" os ouvidos. O som é omnidirecional. Enquanto a luz, pelo menos 
aparentemente, se propaga em linha reta, o som parece se espalhar como um gás. Chion 
(1994, p. 144) afirma que “o equivalente do raio de luz é a onda sonora. A imagem é 
delimitada no espaço, mas o som não o é. O som é mental, não pode ser tocado. A imagem 
pode e é isso o que acontece nas cerimônias religiosas. Você pode tocar a tela”. 
 O autor faz uma analogia com o cinema e diz que se a imagem é projetada, o som é o 
"projetor", no sentido de que ele projeta significados e valores às imagens. O som funciona 
como um elemento de manipulação emocional e semântica dos signos visuais. Por um lado, 
 
 
 
 1139 
nos afeta diretamente (ruídos de respiração em um filme podem afetar nossa própria 
respiração, por exemplo). Por outro, o som tem influência em nossa percepção: através da 
Synchresis, como veremos a seguir, o som revela o significado de uma imagem e faz com que 
vejamos o que de outra maneira não veríamos ou veríamos de forma diferente. Além disso, o 
som não é analisado ou pode ser localizado como fazemos com as imagens. 
 A escuta reduzida é um instrumento muito sofisticado não apenas para a análise, 
dissecação, de um determinado som, mas, também, para a criação de sonoridades 
desvinculadas de suas fontes causadoras que, associadas a imagens, criem o efeito de Valor 
Agregado, provocando o que Chion define como Pacto Audiovisual. 
 
Synchresis e o Pacto Audiovisual (Audiovision Contract) 
 
 A intersecção entre os territórios do cinema, do vídeo, da hipermídia e dos jogos 
eletrônicos na relação entre os signos sonoros e os signos visuais é o conceito, proposto por 
Chion (1994, Prefácio), de Pacto Audiovisual. Ele parte da premissa de que não existe 
qualquer relação natural entre signos sonoros e signos visuais que seja resultante de alguma 
espécie de harmonia preexistente entre nossas percepções. Ao contrário, a idéia é a de que em 
um filme, vídeo, hipermídia ou game, o espectador, usuário ou jogador participa de um pacto 
simbólico, no qual os elementos sonoros e os elementos visuais passam a integrar ou fazer 
parte de um mesmo objeto, ser, entidade, ambiente ou universo. Trata-se de uma espécie de 
"faz-de-conta" estético. O produtor (de cinema, vídeo, hipermídia ou game) cria uma 
determinada "realidade" e nós "acreditamos" nela. Isto não quer dizer que sejamos ingênuos 
ou alienados. O que possibilita o Pacto Audiovisual (Audiovision Contract) é o que Chion 
chama de Synchresis, uma contração das palavras synchronism e synthesis. Por exemplo, a 
voz intencionalmente afetada de Borges de Barros, dublador brasileiro do Dr. Zachary Smith, 
da série televisiva da década de 1960 Perdidos no Espaço, é mais "adequada" ao caráter 
ambíguo do personagem do que a voz do próprioator Jonathan Harris. É também a Synchresis 
que viabiliza a criação de vozes e de efeitos sonoros onomatopaicos para desenhos animados, 
animações em computação gráfica e jogos eletrônicos. Chion (1994, p. 63) afirma que: 
 
 
 
 
 1140 
Synchresis é algo pavloviano. Mas não acontece de forma totalmente automática. Possui também 
uma função de representação, e é organizada de acordo com as leis de gestalt e determinações do 
contexto em que ocorre. Sincronize trechos de áudio aleatórios e eventos visuais e você perceberá 
que em certas ocasiões a Synchresis ocorrerá; em outras não. 
 
 A Synchresis é estruturada através da determinação de pontos de sincronização. Um 
ponto de sincronização é um momento de destaque no qual um evento sonoro e um evento 
visual estão em sincronia. Um ponto de sincronização pode ser: 
• Uma ruptura inesperada no fluxo de sons e imagens. Um corte simultâneo tanto dos 
signos sonoros quanto dos visuais. 
• Uma forma de pontuação ao fim de uma seqüência, onde os signos sonoros e os signos 
visuais são sincronizados. Neste caso, o ponto de sincronização funciona como um 
ponto de convergência onde os fluxos sígnicos de sons e imagens se encontram. 
• Um momento de ênfase seja no fluxo de signos visuais, através de um close em uma 
determinada imagem, por exemplo, seja no fluxo de signos sonoros para destacar um 
ponto de maior amplitude ou de mudança brusca de resposta harmônica, entre outras 
possibilidades. 
• Um local ou instante no fluxo de signos de quaisquer espécies, onde haja interesse em se 
chamar atenção. Este local pode ser ocupado por uma palavra, uma imagem, um som ou 
qualquer outro tipo de signo. 
 São os pontos de sincronia que governam o ritmo geral do fluxo sígnico entre sons e 
imagens. Chion (1994, p. 59) estabelece um paralelo entre os pontos de sincronia em projetos 
audiovisuais e os acordes (que também são encontros verticais de diferentes elementos) na 
música. Ele fala ainda de falsos pontos de sincronia que ocorrem a partir de progressões de 
signos que não se concluem como se poderia prever de antemão; algo que quebra uma 
expectativa ou sai de um padrão esperado. Um ponto falso de sincronia também é aquele em 
que a sincronia é sugerida a partir de uma relação indicial entre um som e uma imagem. 
Assim, o elo entre o signo sonoro e o signo visual é previamente estabelecido na mente do 
espectador, usuário ou jogador. Um exemplo é a cena tradicional de suicídio na qual se ouve o 
tiro, mas não se vê a imagem. Os pontos de sincronia permitem também flexibilizar a relação 
temporal em torno si mesmos, através de manipulações de velocidade das imagens (câmera 
 
 
 
 1141 
lenta ou acelerada) e dos sons (time stretch e pitch shift). No caso específico dos games, os 
pontos de sincronia são gerados em tempo real a partir das ações do(s) jogador(es). 
 Ritmo e significado também desempenham um papel muito importante para que a 
Synchresis ocorra. Um exemplo é uma imagem de alguém caminhando. Qualquer que seja o 
som sincronizado com os passos, a Synchresis vai acontecer, ainda que desperte um efeito 
cômico. Outro aspecto curioso é a magnetização do som pela imagem. Teremos a sensação de 
que os sons são provenientes dos passos, ainda que a fonte sonora seja mono, enquanto a 
imagem se desloca de um lado a outro da tela. Hábitos culturais e de escuta também 
influenciam. A possibilidade de Synchresis aponta o fato de que uma vez que um determinado 
signo sonoro se desprenda de sua relação indicial com algum signo visual, ele (o signo 
sonoro) pode estabelecer novos vínculos com uma grande variedade de signos visuais. Além 
disso, as ferramentas e técnicas de manipulação e edição de sons contribuem para a libertação 
dos signos sonoros de suas fontes causadoras, tornando-os matéria-prima maleável para 
nossas criações audiovisuais. Chion justifica seu argumento através de um estudo conduzido 
por François Delalande e Bernadette Céleste (apud Chion 1994, p. 120-121) sobre as 
vocalizações emitidas por crianças para representar e pontuar movimentos de objetos, 
bonecas, carrinhos e outros brinquedos. Uma das constatações da pesquisa é a de que as 
crianças não imitam o(s) ruído(s) produzido(s) pela(s) coisa(s) em si, mas, evocam o 
movimento da(s) coisa(s), através do isomorfismo entre o som produzido e o movimento que 
é representado. No caso de um carrinho, por exemplo, o som emitido pela criança está mais 
relacionado à trajetória do brinquedo do que ao timbre do que supostamente seria o som de 
um carro. Isso quer dizer que a materialidade sonora (forma de onda e timbre) tem, neste caso, 
menos importância do que o movimento. Além disso, há outra questão importante: a própria 
evolução do som ao longo do tempo é determinada não apenas por sua trajetória, mas, 
também, por suas variações espaciais, morfológicas, espectrais e energéticas. É o que 
justifica, entre outros procedimentos, o uso de sons musicais ascendentes para representar os 
passos de uma personagem subindo uma escada, ainda que não haja qualquer associação 
literal entre sons de passos e escalas musicais. Este tipo de técnica de sincronização de 
imagens com figuras musicais (ascendentes, descendentes, em zig-zag, etc.) e de pontuações 
musicais de eventos como quedas, batidas e socos, entre outros, ficou conhecida como 
Mikeymousing. Chion (1994, p. 120-121) afirma que, embora às vezes possa parecer 
 
 
 
 1142 
redundante, o emprego do som em animações velozes facilita a própria apreensão das 
imagens, já que se considerando a "relativa inércia e lentidão dos olhos, comparada à 
agilidade dos ouvidos para identificar figuras em movimento, o som ajuda a imprimir, na 
memória, sensações visuais fugazes". Enquanto para os olhos, vinte e quatro quadros por 
segundo são suficientes para "enganar" a visão, criando a ilusão de movimento, para os 
ouvidos a taxa de amostras de um som tem que ser muito mais elevada. Alguns equipamentos 
reproduzem o áudio a uma taxa de 192 kHz, ou seja, 192.000 amostras por segundo. Nossos 
olhos, comparados aos ouvidos, são tão "preguiçosos" que, às vezes, as imagens ocorrem tão 
rapidamente, que são os elementos sonoros pontuais como ruídos de socos, por exemplo, que 
nos permitem “enxergar” o que de outra forma não conseguiríamos ver. 
 Podemos dizer que embora a Synchresis seja responsável pelo Pacto Audiovisual, e que 
este último contribui para nossa imersão em uma determinada obra, uma coisa é o mundo tal o 
percebemos; outra é a sua representação, seja através de um vídeo, filme, hipermídia ou game. 
Em todos esses contextos, a realidade representada estará reduzida à bidimensionalidade da 
tela (do televisor, do cinema ou do monitor) e o áudio será reproduzido com maior ou menor 
definição, de acordo com a qualidade do equipamento utilizado. De qualquer maneira, ainda 
há uma redução sensorial (visual e auditiva), mesmo nos sistemas hi-end. É provável, no 
entanto, que em um futuro não muito distante, sejam desenvolvidos sistemas de alta definição 
de realidade expandida que diluam os limites entre ficção e “realidade”. 
 Assim, para que o Pacto Audiovisual proposto por Chion seja efetivo, muita técnica tem 
que ser empregada. Mary Ann Doane destaca o fato de que a escola hollywoodiana 
desenvolveu, ao longo dos anos, um padrão, segundo o qual, "quanto menos perceptível for o 
uso da técnica na criação da trilha de áudio, melhor será o resultado". Segundo ela, a retórica 
do som no cinema é conseqüência de uma técnica, cujo objetivo, é ocultar a enorme 
quantidade de trabalho necessário para se criar algo que pareça espontâneo e natural. Nos 
jogos eletrônicos, estas técnicas são empregadas dentro do conceito de áudio adaptável 
(AdaptiveAudio). 
 Contrário a esta tendência quase onipresente, Godard (apud Chion, 1994, p. 42) é um dos 
poucos cineastas que denunciam o trabalho de edição do som, através de cortes bruscos, saltos e 
descontinuidade intencional. Em alguns de seus filmes, Godard chegou mesmo a limitar as pistas de 
áudio simultâneas a duas. A estratégia de Godard é a que mais se aproxima da idéia de se criar 
 
 
 
 1143 
"unidades" sonoras a partir de segmentos de áudio claramente demarcados. Mas, Chion contesta esta 
tese ao afirmar que a percepção do som, que acontece ao longo do tempo, simplesmente ignora os 
cortes e obstáculos, e prossegue, saltando para outro(s) elemento(s) sonoro(s), esquecendo-se do som 
ouvido anteriormente. Isso quer dizer que uma ruptura no continuum do áudio não representa, 
necessariamente, a "fronteira" ou limite de uma "unidade" sonora. Embora o autor acredite que possam 
ser identificadas, ao longo do fluxo do som, "células" ou "unidades" sonoras, essas "unidades"–
sentenças, ruídos, trechos de músicas, etc. – são percebidas da mesma forma como ocorre na 
experiência cotidiana. 
 
Se houver diálogo, nossa escuta analisará o fluxo vocal através de sentenças, palavras - unidades lingüísticas. 
Nossa percepção dos limites dos ruídos distinguirá eventos sonoros mais facilmente, à medida que forem 
compostos por sons isolados. No caso de uma peça musical, nós identificamos melodias, temas e unidades 
rítmicas de acordo com nosso treino e conhecimento de música. 
 
O som como elemento definidor da percepção do tempo 
 
 Um dos aspectos mais relevantes do fenômeno Valor Agregado é a percepção do tempo 
em uma imagem a partir da influência do som. Chion (1994, p. 13-21) propõe que isso pode 
ocorrer de três maneiras: 
 
• A primeira é a animação temporal de uma imagem, isto é, a maneira, através da qual, o 
som estimula nossa percepção da passagem do tempo em uma imagem, seja de forma 
precisa (concreta) ou vaga (flutuante, ampla). 
• A segunda é a linearização temporal. Se apresentarmos uma seqüência de imagens sob 
uma trilha de áudio comum, elas parecerão configurar uma sucessão de imagens, quer 
estejam conectadas ou não. O som funciona, neste caso, como elemento unificador, uma 
espécie de "cola" capaz de juntar diferentes imagens. 
• A terceira é a "vetorização" da imagem pelo som em direção a um evento ou situação 
eminente, criando expectativa. 
 
 Vejamos dois exemplos práticos: no primeiro caso, em que as imagens são estáticas, ou 
seja, não há movimento, o som imprime às imagens seu ritmo próprio. No segundo, no qual as 
 
 
 
 1144 
imagens têm movimento (vídeos, animações, filmes e games, por exemplo), a temporalidade 
do som interage com a da imagem. A temporalização da imagem pelo som também depende 
da natureza e das qualidades do som como densidade, textura, características tonais, dinâmica 
e progressão, entre outras. Este fenômeno pode ocorrer com maior ou menor intensidade, com 
maior ou menor condução ou restrição rítmica, e depende de fatores como: 
 
• Tipo de sustentação do som: quanto maiores as flutuações no som, mais intensa será a 
temporalização; quanto mais estáveis e contínuos os sons, menor será seu efeito rítmico 
sobre as imagens. Quanto maior a variação no som, maior será a tensão e o foco no 
movimento. Quanto mais imprevisível o som, maior também será o senso de movimento 
nas imagens. Sons irregulares nos colocam em estado de alerta. 
• Grau de previsibilidade da progressão do som: sons mais regulares e previsíveis tendem 
a temporalizar menos as imagens do que os sons irregulares e imprevisíveis. Um ritmo 
em loop extremamente regular costuma causar monotonia, mas também pode criar um 
efeito de tensão, se o espectador, usuário ou jogador estiver com expectativa de ruptura 
da regularidade. Isto vai depender do contexto. 
• Tempo: quanto maior a irregularidade do tempo no som, maior será a percepção de 
velocidade nas imagens, a despeito do andamento real do som (mais rápido ou mais 
lento). 
• Definição do som: um som rico em médias e altas freqüências é percebido com maior 
acuidade, aumentando o poder de temporalização das imagens. 
• Grau de previsibilidade dos pontos de sincronia: quanto maior a irregularidade, maior 
será a temporalização. O controle sobre as expectativas do espectador, usuário ou 
jogador exerce um papel importante na temporalização das imagens pelos sons. 
• Presença ou ausência de micro-ritmos visuais: micro-ritmos visuais são movimentos 
rápidos que ocorrem na superfície das imagens por causa de elementos como chuva, 
flocos de neve, ondulações da água em um lago, fumaça de cigarro e qualquer tipo de 
micro-variações intermitentes como granulações, chuviscos, etc. Quanto maior a 
incidência de micro-ritmos, mais intensa será também a temporalização das imagens. 
 
 
 
 1145 
• Grau de diegese do som: sons diegéticos impõem um tempo linear, cronológico, às 
imagens. Sons não diegéticos, ao contrário, permitem criar a sensação de simultaneidade 
nas imagens, ainda que elas sejam apresentadas seqüencialmente. 
• Utilização de música: gênero, ritmo, melodia, harmonia, dinâmica e outras qualidades 
sonoras de uma música também contribuem para a temporalização das imagens. Livre 
de qualquer barreira do espaço-tempo, a música transita livremente entre os planos 
diegético e não-diegético, além de permitir a contração ou a distensão do tempo nas 
imagens. 
 
Aplicações do som – imersão, interação e conceituação 
 
 Podemos estabelecer uma estreita correlação entre aplicações do som e as categorias 
peirceanas: primeiridade (imersão), secundidade (interação) e terceiridade (conceituação). A 
imersão costuma estar associada a “atmosferas”, “climas”, emoções e impressões, às vezes 
vagas e imprecisas, e se consolida pela associação subjetiva entre sons e imagens. A interação 
encontra seu estado da arte nos games, onde predomina a “ação-reação”, de modo que o som 
assume um caráter fortemente indicial. Na conceituação, o som é utilizado para criar ou fixar 
conceitos, definições, formulações, julgamentos e avaliações. É o que está subjacente à 
publicidade e à comunicação empresarial e o que tona possível a identificação de marcas 
através de “logos” sonoros como o “Plim-Plim” da Globo e a assinatura dos comerciais da 
Intel. 
 Dentro de uma perspectiva peirceana, o som como signo pode ser assim esquematizado: 
• Quali-signo: qualidade, sensação, atmosfera (predomínio da subjetividade). 
Potencialidades não necessariamente manifestas. Exemplos: 
o Alturas (respostas de freqüências) 
o Níveis de amplitude 
o Formas e propriedades físico-acústicas 
o Lugares 
o Seres 
o Timbres 
 
 
 
 1146 
• Sin-Signo (aquele que se atualiza): índice de algo, alguém ou acontecimento 
(predomínio da objetividade, reatividade, estado de alerta). Exemplos: 
o Alturas (respostas de freqüências) 
o Níveis de amplitude 
o Formas e propriedades físico-acústicas 
o Lugares 
o Seres 
o Timbres 
o Leitmotivs 
• Legi-Signo: o som como símbolo, código, representação, construção de sentido, 
significado (predomínio da objetividade, dos códigos culturais). Exemplos: 
o O toque de recolher 
o A sirene (seus diversos tipos) 
o O "plim-plim" da Globo 
o A vinheta da Twenty Century Fox no cinema 
o O sino da igreja 
o A corneta do quartel 
o O canto litúrgico 
o As palavras 
 
 Enfim, no processo de construção de paisagens sonoras de filmes, vídeos, hipermídias e 
jogos eletrônicos, o som unifica as imagens, atua como índices de espacialidade e de 
materialidade sonora (uma “assinatura” da fonte sonora – lugar, ser, objeto, máquina, etc.), 
influencia a percepção das características físicas de um objeto, “projeta”significados às 
imagens (da mesma forma como também é influenciado por elas), define a percepção de 
tempo e ritmo nas imagens, demarca um território, dilata ou contrai a extensão do ambiente 
sonoro, cria “realidades” e cenários (como saloons em filmes de cowboy), identifica 
personagens (leitmotivs) e contextos (amor, mistério, drama, terror, etc.), funciona como 
“logotipo” sonoro, altera o modo como interpretamos as imagens, assume função narrativa, 
antecipa pistas sobre um acontecimento, direciona a atenção para algum aspecto da imagem 
como brilho, contraste, cor, profundidade e proporção, entre outros (através de manipulações 
 
 
 
 1147 
de freqüências, dinâmica, timbre, etc.), esclarece, contradiz ou torna ambíguo um evento 
visual, representa ambientes silenciosos, estimula a imersão, confere “perspectiva” a imagens 
estáticas, funciona como feedback em interações, faz com que algo pareça “real”, atribui 
características humanas a objetos e muitas outras coisas ainda a serem inventadas e 
experimentadas através dos acoplamentos entre os signos sonoros e os signos visuais. 
 
Referências Bibliográficas: 
 
BAIRON, Sérgio. Multimídia. São Paulo: Global Editora, 1995. 
_____________ e PETRY, Luis Carlos. Hipermídia, Psicanálise e História da Cultura. Caxias 
 do Sul: EDUCS; São Paulo: Editora Mackenzie, 2000 (Edição em CD ROM). 
_____________ . Tendências da linguagem científica contemporânea em expressividade 
 digital: uma problematização. Artigo redigido na Alemanha no primeiro semestre de 
 2003 graças à bolsa de pesquisa do Programa CAPES/DAAD - Probal. 
_____________ . Texturas Sonoras. Áudio na Hipermídia. São Paulo: Hacker Editores, 2005. 
CHION, Michel. Audio-Vision. Sound on Screen. New York: Columbia University Press, 
 1994. [Translated by Claudia Gorbman. Original title: L' Audio-Vision. Paris: 
 Editions Nathan, 1990] 
COOLEY, Millicent. Sound + Image in Computer-Based Design: Learning from Sound in the Arts. In: 
 Congresso Anual do ICAD (International Community for Auditory Display), 1998. 
SANTAELLA, Lúcia. A Percepção. Uma Teoria Semiótica. 2ª edição. São Paulo: Editora 
 Experimento, 1998. 
________________ . A Teoria Geral dos Signos. Como as Linguagens Significam as Coisas. 
 São Paulo: Editora Pioneira, 2000. 
________________ . Matrizes da Linguagem e Pensamento - Sonora, Visual, Verbal. São 
 Paulo: Iluminuras, 2001. 
SCHAFER, Murray. A Afinação do Mundo. São Paulo: Fundação Editora da UNESP (FEU), 
 1977. [Tradução de Marisa Trenc de O. Fonterrada. Título original: The Tuning of the 
 World. ISBN: 85-7139-353-2]. 
SHUM, Lawrence R. Pesquisa e Produção de Áudio para Sistemas Hipermidiáticos. 
 A Criação e a Sistematização de Elementos Sonoros em Estruturas de Navegação Não- 
 Lineares. Dissertação de mestrado em Comunicação e Semiótica defendida na PUC-SP. 
 Orientador: Prof. Dr. Sérgio Bairon, 2003.