Aula Pratica 02

Prévia do material em texto

Universidade Eduardo Mondlane 
Faculdade de Engenharia - DEEL 
Engenharia Electrónica 
Processamento de Informação 
Aula Nº02 - Teoria da Informação e 
Aula Prática – Exercícios Relacionados com Calculo de Entropia 
 
Problema 1: Medida da Informação 
▪ Definir os conceitos de informação media, informação mútua e autoinformação 
▪ Explicar o conceito de quantidade de informação associado com mensagem 
▪ O que significa informação nula 
Problema 2: Supondo que o alfabeto da língua portuguesa e formado por 23 caracteres, e tomando os mesmos 
como sendo equiprováveis, determinar a informação media nesta condição. 
Determinar a informação media, para o caso em que os símbolos do alfabeto anterior, são tomados aleatoriamente, 
com as ocorrências abaixo. Fazer uma análise comparativa e conclusiva dos dois casos. 
 
Problema 3: 
A saída de uma fonte de informação é composta por 128 símbolos, 16 dos quais ocorrem com probabilidade de 
1/32 e os restantes 112 a ocorrer com uma probabilidade de 1/224. A fonte emite 1000 símbolos / seg. Assumindo 
que os símbolos são escolhidos de forma independente, encontrar a taxa de informação da fonte. 
Problema 4: 
Um sinal analógico é limitado na banda B Hz, amostrado à taxa de Nyquist, e as amostras são quantificadas em 4 
- níveis. Os níveis de quantificação Q1, Q2, Q3 e Q4 (mensagens) são assumidos independentemente ocorrendo 
com probabilidades: P1 = P2=1/8 e P3=4 =3/8. Encontre a taxa de informações da fonte. 
Problema 5: 
Demostre que: 
 
Problema 6: 
Uma fonte digital emite 200 símbolos/s. Os possíveis símbolos com a respetiva probabilidade de ocorrência são 
mostrados nas tabelas abaixo: 
Calcular: 
a) A medida de informação de cada símbolo 
b) A entropia da fonte 
 
 
 
 
Problema 7: 
Uma dada fonte de informação X produz símbolos ternários {A, B, C} com as 
probabilidades de ocorrência {9/27, 16/27, 2/27}, respetivamente. Calcule a medida 
de informação e entropia da fonte. 
Problema 8: 
Duas fontes de informação X e Y produzem símbolos quaternários {x0, x1, x2, x3} 
e {y0, y1, y2, y3}, com probabilidades de ocorrência {1/2, 1/4, 1/8, 1/8} e {1/4, 1/4, 
1/4, 1/4}, respetivamente. Calcule a medida de informação de cada símbolo e entropia 
da fonte combinada. 
 
Problema 9: 
Uma fonte X produz símbolos com probabilidades {1/2, 1/3, 1/6}, os quais atravessam um canal com a matriz de 
probabilidades de transição: 
 
Calcule: 
a) H(X); 
b) H(Y) sabendo que as probabilidades são dadas por 𝑃(𝑦𝑗) = ∑ 𝑃(𝑥𝑖)𝑃(𝑦𝑗 𝑥𝑖⁄ )𝑖 ; 
c) 𝐻(𝑋,𝑌); 
d) 𝐻(𝑌|𝑋); 
e) 𝐼(𝑋;𝑌). 
Problema 10. 
Uma fonte de entrada aleatória X de um canal de comunicação ruidoso produz símbolos a, b, c, d com 
probabilidades {1/4, 1/4, 1/4, 1/4}, os quais atravessam um canal com a matriz de distribuição conjunta: 
1 8⁄ 1 16⁄ 1 16⁄ 1 4⁄
1 16⁄ 1 8⁄ 1 16⁄ 0
1 32⁄
1 32⁄
1 32⁄
1 32⁄
1 16⁄
1 16⁄
0
0
 
A saída desse canal é uma variável aleatória Y sobre esses mesmos quatro símbolos. Calcule: 
a) H(X); 
f) H(Y) sabendo que as probabilidades são dadas por 𝑃(𝑦𝑗) = ∑ 𝑃(𝑥𝑖)𝑃(𝑦𝑗 𝑥𝑖⁄ )𝑖 ; 
b) 𝐻(𝑋,𝑌); 
c) 𝐻(𝑌|𝑋); 
d) 𝐼(𝑋;𝑌). 
Problema 11. 
A matriz de probabilidade conjunta para um canal é dada abaixo. Calcular H (X), H (Y), H (X, Y), H (X / Y) & H 
(Y / X) 
𝑝(𝑋, 𝑌) =
0.05 0
0
0
0.05
0.1
0
0.05
0.2 0.05
0.1
0.2
0
0
0.1
0.1
 
 
Problema 12. 
 Dada probabilidade conjunta em matriz para um canal aleatório, calcular as várias entropias para as variáveis de 
entrada e de saída do canal. Determine também a informação mútua contida entre a entrada e a saída. 
0.2
0.1
0
0.01
0
0
0.01
0.02
0.01
0.06
0.2
0.01
0.02
0.01
0.02
0
0.01
0
0.06
0.2
 
Problema 13. 
Uma fonte proporciona os dígitos binários 0 e 1, com igual probabilidade em um canal ruidoso, a uma taxa de 
1000 dígitos / segundo. Devido ao ruído no canal a probabilidade de receber uma palavra transmitida '0' como um 
"1" é de 1/16, enquanto a probabilidade de transmissão de um '1' e que recebe um '0' é 1/32. Determinar a taxa à 
qual a informação é recebida. 
Problema 13. 
Para um canal de comunicação, cuja fonte de entrada é o alfabeto X = {0, 1} com probabilidades {0,5, 0,5} e cujo 
alfabeto de saída é Y = {0, 1}, tendo a seguinte matriz de canal onde є é a probabilidade de erro de transmissão: 
{
1 − 𝜀 𝜀
𝜀 1 − 𝜀
} 
 
 
i Quanta incerteza existe sobre o símbolo de entrada uma vez que um símbolo de saída foi recebido? 
ii Qual é a informação mútua I (X, Y) deste canal? 
iii Qual o valor de є que maximiza a incerteza H (X | Y) sobre o símbolo de entrada determinado um símbolo 
de saída?