Guia de Elaboração de Itens ENADE

Prévia do material em texto

<p>Ministério da Educação</p><p>Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira</p><p>Diretoria de Avaliação da Educação Superior</p><p>Coordenação-Geral do Enade</p><p>Guia de Elaboração e Revisão de Itens</p><p>Banco Nacional de Itens – Enade</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE.</p><p>NÃO É PERMITIDA SUA REPRODUÇÃO E DIVULGAÇÃO</p><p>SEM AUTORIZAÇÃO PRÉVIA DO INEP/DAES/CGENADE.</p><p>Brasília - DF</p><p>Maio/2015</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>1</p><p>Presidência</p><p>José Francisco Soares</p><p>Diretoria de Avaliação da Educação Superior</p><p>Cláudia Maffini Griboski</p><p>Coordenação-Geral do Exame Nacional de Desempenho dos Estudantes</p><p>Fernanda Cristina dos Santos Campos</p><p>Equipe técnica</p><p>André Luiz Santos de Oliveira</p><p>Camylla Portela de Araújo</p><p>Johanes Severo Santos</p><p>Leandro de Castro Fiuza</p><p>Letícia Terri Serra Lima</p><p>Marina Nunes Teixeira Soares</p><p>Paola Matos da Hora</p><p>Rodrigo Salustiano Lima</p><p>Rubens Campos de Lacerda Junior</p><p>Thiago Diniz Magno Pinto</p><p>Vanessa Cardoso Tomaz</p><p>Elaboração e revisão técnica</p><p>Claisy Maria Marinho Araújo</p><p>Mauro Luiz Rabelo</p><p>Webster Spiguel Cassiano</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>2</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>3</p><p>1. APRESENTAÇÃO 5</p><p>2. A prova do ENADE 6</p><p>2.1 Estrutura da Prova ..................................................................................................................... 6</p><p>2.2 Diretrizes para as provas do Enade .......................................................................................... 6</p><p>2.3 Matriz de referência ................................................................................................................... 7</p><p>2.4 Encomenda .................................................................................................................................. 8</p><p>2.5 Itens que compõem as provas – aspectos essenciais ............................................................... 9</p><p>3. Estrutura do item de múltipla escolha do BNI/ENADE 10</p><p>3.1 Texto-base ................................................................................................................................. 11</p><p>3.2 Enunciado/comando ................................................................................................................ 11</p><p>3.3 Opções/alternativas .................................................................................................................. 11</p><p>3.4 Gabarito ..................................................................................................................................... 11</p><p>3.5 Distratores ................................................................................................................................. 12</p><p>3.6 Justificativas das respostas ...................................................................................................... 12</p><p>4. Tipos de itens de múltipla escolha 12</p><p>4.1 Itens de interpretação ............................................................................................................... 13</p><p>4.2 Itens de resposta múltipla ........................................................................................................ 16</p><p>4.3 Itens do tipo asserção-razão .................................................................................................... 18</p><p>5. Itens discursivos ou de resposta construída 19</p><p>6. Orientações para elaboração dos itens do BNI/ENADE 22</p><p>6.1 Recomendações gerais ............................................................................................................. 23</p><p>6.2 Recomendações específicas para itens de múltipla escolha ................................................. 24</p><p>6.3 Recomendações específicas para itens discursivos ............................................................... 27</p><p>6.4 Especificações para elaboração do padrão de resposta para avaliação dos itens discursivos 28</p><p>6.5 Recomendações para o uso de imagens ................................................................................. 29</p><p>7. Inclusão das referências de textos, gráficos ou imagens 30</p><p>8. Padrões específicos adotados pelo INEP 30</p><p>8.1 O uso da pontuação nas alternativas ...................................................................................... 30</p><p>8.2 Outras marcações gráficas ...................................................................................................... 31</p><p>9. Etapas de validação do item 31</p><p>10. Revisão do item 31</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>4</p><p>10.1 Check-list de revisão técnico-pedagógica ............................................................................ 31</p><p>11. Atribuições dos elaboradores e revisores técnico-pedagógicos do BNI/ENADE 32</p><p>12. Referências e bibliografia consultada 33</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>5</p><p>1. APRESENTAÇÃO</p><p>O Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – Inep tem a missão de</p><p>promover estudos, pesquisas e avaliações sobre o Sistema Educacional Brasileiro, com o objetivo de</p><p>subsidiar a formulação e implantação de políticas públicas para a área educacional, a partir de parâmetros</p><p>de qualidade e equidade.</p><p>No âmbito da educação superior, a avaliação é regulamentada pela Lei no 10.861, de 14 de abril de</p><p>2004, que institui o Sistema Nacional de Avaliação da Educação Superior (Sinaes), nos termos do art. 9o,</p><p>incisos VI, VIII e IX, da Lei no 9.394, de 20 de dezembro de 1996 (Lei de Diretrizes e Bases da Educação</p><p>Nacional – LDB).</p><p>O Sinaes tem por objetivo assegurar o processo nacional de avaliação das instituições de educação</p><p>superior (IES), dos cursos de graduação e do desempenho acadêmico dos seus estudantes.</p><p>A avaliação dos estudantes visa aferir o desempenho dos estudantes em relação aos conteúdos</p><p>programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades e</p><p>competências para compreender temas exteriores ao âmbito específico de sua profissão, relacionados à</p><p>realidade brasileira e mundial e a outras áreas do conhecimento. A avaliação do desempenho dos</p><p>estudantes é realizada por meio da aplicação do Exame Nacional de Desempenho dos Estudantes – Enade.</p><p>Considerando os efeitos diretos e indiretos dos resultados do Enade para as IES, em articulação com</p><p>as avaliações no âmbito do Sinaes e as políticas de regulação e supervisão do MEC, o Exame tem se</p><p>revestido de grande importância para a Educação Superior. A relevância, complexidade e especificidade do</p><p>Enade apontam para a importância da construção de instrumentos de avaliação de alta qualidade técnica,</p><p>cada vez mais adequados aos objetivos do Exame.</p><p>Nesse sentido, o Inep criou, em 2010, o Banco Nacional de Itens para o Enade (BNI-Enade), cujo</p><p>objetivo é reunir itens de forma organizada, classificada e ordenada, com informações sobre sua qualidade</p><p>técnica e pedagógica. Para atender a essa demanda e, ao mesmo tempo, ampliar a participação da</p><p>comunidade acadêmica nos processos de avaliação da educação superior, o Inep convocou publicamente</p><p>docentes interessados em participar do BNI-Enade na condição de elaboradores ou revisores de itens.</p><p>O presente Guia de Elaboração de Itens tem por objetivo orientar a elaboração e a revisão de itens</p><p>visando à consolidação do BNI-Enade, de forma que se obtenha, por meio do trabalho desenvolvido pelos</p><p>docentes cadastrados,</p><p>uma quantidade expressiva de itens aprovados que poderão ser usados na</p><p>composição das provas do Exame.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>6</p><p>2. A prova do ENADE</p><p>2.1 Estrutura da Prova</p><p>A prova do Enade é constituída de duas partes, totalizando 40 itens:</p><p>1ª parte – Formação Geral: contém 10 (dez) itens comuns a todas as áreas ou cursos superiores de</p><p>bacharelado, licenciatura e tecnológicos avaliados pelo Enade. Os itens da Formação Geral buscam aferir a</p><p>aquisição de competências, habilidades e conhecimentos essenciais à formação do estudante de</p><p>graduação, abordando situações-problema, estudos de caso, simulações e interpretação de textos,</p><p>imagens, diagramas, gráficos e tabelas.</p><p>2ª parte – Componente Específico: contém 30 (trinta) itens abrangendo os componentes específicos</p><p>das áreas ou cursos avaliados pelo Enade. Os itens do Componente Específico da prova têm como objetivo</p><p>básico aferir a aquisição de conhecimentos e competências esperadas para o perfil profissional do curso,</p><p>em níveis diversificados de complexidade.</p><p>2.2 Diretrizes para as provas do Enade</p><p>As provas do Enade são elaboradas a partir das Diretrizes Curriculares Nacionais dos cursos de</p><p>graduação aprovados ou em fase de aprovação pelo Conselho Nacional de Educação (CNE) e contemplam</p><p>os objetivos, o perfil do estudante, as competências, as habilidades e os conteúdos a serem avaliados.</p><p>A elaboração das diretrizes para as provas e das matrizes de referência, instrumentos norteadores do</p><p>processo de construção de itens que compõem as provas, são de competência das Comissões Assessoras</p><p>do Enade, a saber, Comissão Assessora de Formação Geral e Comissões Assessoras de Área. Nomeadas pelo</p><p>Presidente do Inep, essas comissões são formadas por professores de Instituições de Ensino Superior (IES)</p><p>públicas e privadas e sua composição busca contemplar todas as regiões do País.</p><p>As diretrizes do Enade são publicadas anualmente por meio de Portarias específicas e constituem</p><p>documentos de referência que orientam as IES e os estudantes que serão avaliados no Exame.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>7</p><p>2.3 Matriz de referência</p><p>A matriz de referência é o instrumento norteador para a elaboração de itens que irão fazer parte do</p><p>BNI-Enade e que poderão ser usados na composição da prova. As matrizes, formuladas pelas Comissões</p><p>Assessoras do Enade, são documentos sigilosos e de uso restrito ao Inep, pois indicam detalhadamente</p><p>conteúdo, objetivo e formato dos itens que serão encomendados aos elaboradores de cada área.</p><p>A matriz, fundamentada pelo perfil esperado, tem concepção tridimensional, formada por colunas</p><p>verticais e linhas horizontais que se cruzam em quadrículas denominadas de células. Nas linhas, distribuem-</p><p>se as características condizentes ao perfil de formação esperado; nas colunas, disponibilizam-se os diversos</p><p>recursos a serem avaliados que, mediados por processos educacionais e de formação profissional,</p><p>compõem as competências, entendidas como mobilização de conhecimentos, saberes, escolhas éticas e</p><p>estéticas, habilidades, posturas etc. Tais recursos podem ser categorizados em grandes blocos, que</p><p>poderão sinalizar aspectos do contexto, das relações, das metas institucionais, orientados pelas</p><p>características do perfil profissional a ser formado. As células de interligação são preenchidas pelos objetos</p><p>de conhecimento (a terceira dimensão da matriz), permitindo o cruzamento das características do perfil</p><p>com os diversos recursos mobilizados (Rabelo, 2011).</p><p>A matriz constitui referência para as análises de desempenho e elaboração de feedbacks, pois</p><p>permite inferir indicadores de desenvolvimento das características de perfil profissional elencadas, além de</p><p>possibilitar a professores e gestores das instituições uma visão ampla do desempenho de determinado</p><p>grupo de indivíduos avaliados, como forma de se proceder a uma análise global para promover a regulação</p><p>do ensino e das aprendizagens. Para os especialistas elaboradores de itens, as análises levam à reflexão</p><p>sobre o processo de construção de itens, servindo como validação da própria matriz e também como meta-</p><p>avaliação (Rabelo, 2011).</p><p>A Tabela I a seguir apresenta um modelo de matriz de referência. Como se pode depreender do</p><p>exemplo, para cada item a ser elaborado (uma célula da matriz), apresenta-se a descrição do perfil, dos</p><p>recursos e dos objetos de conhecimento (conteúdos) a serem abordados. Até três objetos de</p><p>conhecimento (OC) podem estar relacionados a um único item, como pode ser observado nos cruzamento</p><p>P1-R1 e P2-R3 da Tabela I. A matriz traz ainda o nível de dificuldade, tipos de itens e informações</p><p>complementares, como a recomendação para utilização de tabelas, gráficos, figuras, desenhos, citações,</p><p>textos e outros elementos que deverão compor cada item elaborado.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>8</p><p>Tabela I - Modelo de matriz de referência para o Enade</p><p>CARACTERÍSTICAS</p><p>DO PERFIL</p><p>RECURSOS</p><p>R1 R2 R3 R4 R5</p><p>P1 OC2, OC3</p><p>(D)</p><p>OC7 (M)</p><p>P2 OC4, OC5,</p><p>OC6 (M)</p><p>P3 OC1, G (M)</p><p>P4 OC5 (F) OC2 (F) OC3, T (D)</p><p>*ORIENTAÇÕES PARA INTERPRETAÇÃO DA MATRIZ: OC – objeto de conhecimento; entre parênteses, o nível de</p><p>dificuldade dos itens, F – fácil, M – médio, D – difícil; G – gráfico; T – tabela; células verdes indicam itens discursivos ou</p><p>de resposta livre.</p><p>As informações relacionadas a cada célula dessa matriz compõem a encomenda, que corresponde a</p><p>orientação oferecida aos elaboradores/revisores para a construção/revisão dos itens.</p><p>2.4 Encomenda</p><p>Cada elaborador terá acesso somente à(s) encomenda(s) a si destinada(s) e não à matriz completa.</p><p>Além da descrição do perfil, dos recursos e dos objetos de conhecimento, a encomenda traz ainda o nível</p><p>de dificuldade do item, o tipo de item (se múltipla escolha ou discursivo) e demais informações</p><p>complementares que a Comissão Assessora de Área julgar necessárias.</p><p>A encomenda é, portanto, o instrumento que orienta elaboradores e revisores técnico-pedagógicos.</p><p>No processo de construção de itens, esses especialistas deverão interpretar a encomenda e idealizar o tipo</p><p>de elaboração mais adequado à aferição das características propostas.</p><p>DETALHANDO A ENCOMENDA</p><p>A encomenda contém as seguintes informações</p><p>PERFIL</p><p>Conjunto de características do egresso do curso.</p><p>RECURSO</p><p>São as competências, entendidas como mobilização de conhecimentos, saberes, escolhas éticas e estéticas, habilidades, posturas</p><p>etc., a serem avaliadas em cada item.</p><p>A competência é uma capacidade de agir eficazmente em um determinado tipo de situação, apoiado em conhecimentos, mas sem</p><p>limitar-se a eles (Perrenoud, 1997).</p><p>OBJETO DE CONHECIMENTO</p><p>São os conteúdos que devem ser mobilizados por meio dos recursos (competências e habilidades) pelo profissional dotado do</p><p>perfil esperado.</p><p>Algumas vezes a encomenda solicita a utilização de dois ou três objetos de conhecimento. Neste caso, o elaborador deve construir</p><p>um item que seja capaz de articular todos os conteúdos.</p><p>NÍVEL DE DIFICULDADE</p><p>Informa se o item deve ser elaborado de forma a ser fácil, médio ou difícil para o estudante que irá respondê-lo.</p><p>TIPO DE ITEM</p><p>Informa se o item é de múltipla escolha ou discursivo.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>9</p><p>INFORMAÇÃO COMPLEMENTAR</p><p>Informação adicional para a elaboração do item, por exemplo, uma especificidade relacionada ao conteúdo a ser abordado.</p><p>Também pode conter solicitação ao elaborador referente à utilização de tabela, gráfico, figura, desenho, citação, texto etc. Pode</p><p>ainda especificar o tipo de item de múltipla escolha</p><p>a ser construído, por exemplo, item de interpretação, resposta múltipla ou</p><p>asserção-razão.</p><p>As informações complementares são requisitos necessários para o atendimento da encomenda.</p><p>2.5 Itens que compõem as provas – aspectos essenciais</p><p>Nos exames educacionais, item pode ser considerado sinônimo de questão, termo mais popular e</p><p>utilizado com frequência na educação. Os itens podem ser de dois tipos: (i) de resposta livre ou discursivo e</p><p>(ii) de resposta orientada ou múltipla escolha. Um único exame pode conter itens de ambos os tipos, como</p><p>é o caso do Enade, ou de apenas um deles. Aos propósitos deste guia, interessam os dois tipos de itens.</p><p>A construção adequada de itens para o BNI-Enade requer a observação de alguns aspectos</p><p>essenciais. Para facilitar a identificação desses aspectos estão descritas abaixo algumas características que</p><p>o elaborador deve observar para melhor adequar o item à proposta do exame.</p><p>1 Objetividade: vá direto ao assunto. Use frases curtas, termos exatos, sem demonstração de erudição.</p><p>Períodos e parágrafos curtos são mais fáceis de serem redigidos e compreendidos, além de tornarem</p><p>a leitura mais agradável e menos cansativa.</p><p>2 Originalidade: construa itens inéditos. Não é permitido o aproveitamento de questões de provas,</p><p>livros ou apostilas, questões retiradas da Internet ou que já tenham sido aplicadas em sala de aula,</p><p>em vestibulares, concursos ou em outras provas do Enade.</p><p>3 Concisão: apresente apenas as informações necessárias para a solução do problema proposto, isto é,</p><p>elimine os excessos linguísticos que nada lhe acrescentam. Um texto conciso é aquele que consegue</p><p>transmitir um máximo de informações com um mínimo de palavras.</p><p>4 Ordem direta: use os termos essenciais das orações na sua ordem natural: sujeito, verbo,</p><p>complemento.</p><p>5 Adequação: procure adequar o item ao nível de dificuldade, ao perfil profissional, ao recurso e ao(s)</p><p>objeto(s) de conhecimento(s) especificados na encomenda. Muitas vezes, o elaborador, na tentativa</p><p>de tornar o item mais difícil, utiliza informações irrelevantes ou obscuras, ou palavras rebuscadas ou</p><p>semanticamente fora da capacidade de compreensão dos respondentes, o que pode dificultar a</p><p>análise da real proficiência do indivíduo na competência investigada.</p><p>6 Simplicidade: escolha cada palavra. Evite preciosismos, palavras rebuscadas, termos técnicos</p><p>desnecessários.</p><p>7 Correção da linguagem: adote o padrão culto, redigido de forma apropriada e correta.</p><p>8 Clareza: seja explícito, transmita o conteúdo do texto ao interlocutor de maneira que ele</p><p>compreenda a mensagem. Esclareça os conceitos que não são objetos da avaliação. Precise os</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>10</p><p>termos técnicos. Evite as expressões ou palavras de uso restrito à sua área de especialização e que</p><p>não são de domínio dos estudantes.</p><p>9 Precisão: seja preciso na redação e não deixe dúvidas quanto à sua interpretação. Um bom item é</p><p>aquele que admite uma única interpretação e uma só resposta.</p><p>10 Impessoalidade: a linguagem deve ser despersonalizada. Por isso, evite impressões e expressões</p><p>pessoais, próprias do gênero literário ou da fala informal. Evite ainda chavões e gírias.</p><p>11 Adjetivos e advérbios: tenha cuidado especial com o uso de adjetivos e advérbios, principalmente</p><p>para tornarem as frases verdadeiras ou falsas, pois eles podem apresentar forte carga de</p><p>subjetividade ou imprecisão e criar ambiguidade para o julgamento.</p><p>3. Estrutura do item de múltipla escolha do BNI/ENADE</p><p>Em um texto, o significado de uma parte não costuma ser autônomo, mas depende das outras com</p><p>que se relaciona. O seu significado global não é simplesmente</p><p>uma soma do que representa cada parte, mas de uma</p><p>combinação geradora de sentido. Cada uma deve manter</p><p>relação com as demais, inter-relacionando-se e formando um</p><p>todo organizado. Desse modo, o texto deve apresentar</p><p>coerência entre as partes, não evidenciando contradições.</p><p>O item de múltipla escolha utilizado nos exames do</p><p>Inep divide-se em três partes: texto-base, enunciado/comando e opções/alternativas. Assim como qualquer</p><p>texto, o item deve ser estruturado de modo que se configure uma unidade de proposição e que contemple</p><p>as orientações da matriz de referência. Para tanto, devem ser observadas a coerência e a coesão entre suas</p><p>partes, apresentando uma articulação entre elas, explicitando uma única situação-problema e uma</p><p>abordagem homogênea do conteúdo selecionado. O esquema a seguir ilustra essa estrutura.</p><p>Texto-base</p><p>•Texto, gráfico, tabela, figura, esquema, simulacro,</p><p>estudo de caso</p><p>enunciado</p><p>•Comando – explicitação do desafio proposto para</p><p>evidenciar o desenvolvimento da competência</p><p>alternativas</p><p>•Gabarito – opção correta (concretização do desafio</p><p>proposto)</p><p>•Distratores – opções incorretas</p><p>Opções/Alternativas</p><p>Enunciado</p><p>coerência e coesão</p><p>Texto-base</p><p>coerência e coesão</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>11</p><p>3.1 Texto-base</p><p>O texto-base motiva ou compõe a situação-problema que será objeto de avaliação no item,</p><p>formulada a partir da utilização de um ou mais textos (verbais ou não verbais ― imagens, figuras, tabelas,</p><p>gráficos ou infográficos, esquemas, quadros, experimentos, entre outros), que poderão ser de dois tipos: (i)</p><p>criados pelo próprio elaborador para o contexto do item, ou (ii) referenciados por publicações de</p><p>apropriação pública.</p><p>No caso de textos referenciados por publicações de apropriação pública, é imprescindível a citação</p><p>da respectiva fonte, conforme normas da Associação Brasileira de Normas Técnicas (ABNT). Além disso,</p><p>recomenda-se que as publicações citadas não sejam de autoria do próprio elaborador.</p><p>3.2 Enunciado/comando</p><p>O enunciado constitui-se de uma ou mais orações e não deve apresentar informações adicionais ou</p><p>complementares aos textos-base; ao contrário, deverá considerar exatamente a totalidade das informações</p><p>previamente oferecidas. No enunciado, inclui-se uma instrução clara e objetiva da tarefa a ser realizada</p><p>pelo estudante. Essa instrução poderá ser expressa como pergunta ou frase a ser completada ou</p><p>respondida pela alternativa correta.</p><p>É no enunciado que, fundamentalmente, se determina o nível de habilidade cognitiva que será</p><p>avaliado, desde a simples identificação de informações explícitas até níveis mais complexos como a</p><p>capacidade de síntese do estudante. Desse modo, a sua formulação adequada contribui diretamente para a</p><p>validade da medida de desempenho.</p><p>3.3 Opções/alternativas</p><p>As opções/alternativas são possibilidades de respostas para a situação-problema apresentada,</p><p>dividindo-se em gabarito (a alternativa que contempla a resposta correta) e em distratores (alternativas</p><p>que contemplam respostas incorretas). A construção das alternativas, principalmente dos distratores, é</p><p>uma tarefa complexa e exige grande domínio técnico na sua elaboração.</p><p>3.4 Gabarito</p><p>O gabarito indica, inquestionavelmente, a única opção/alternativa correta que responde à situação-</p><p>problema proposta.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>12</p><p>3.5 Distratores</p><p>Os distratores indicam as alternativas incorretas à resolução da situação-problema proposta. Devem</p><p>ser redigidos com aparência de resposta correta, mas sendo inquestionavelmente incorretos. Eles devem</p><p>atender à característica de plausibilidade e, além disso, devem parecer corretas para aqueles participantes</p><p>do exame que não desenvolveram a competência avaliada. Isso significa que o distrator plausível deve</p><p>retratar hipóteses de raciocínio utilizadas na busca da solução da situação-problema apresentada. Como</p><p>consequência, se esse distrator retrata uma dificuldade real do participante com relação à competência</p><p>avaliada,</p><p>não devem ser criadas situações capazes de induzi-lo ao erro.</p><p>A utilização das hipóteses ou respostas equivocadas observadas em situação de ensino-</p><p>aprendizagem costuma aumentar a plausibilidade dos distratores. Por outro lado, respostas que retratam</p><p>erros grosseiros ou alternativas absurdas, dentro ou não do contexto do item, tendem a induzir a</p><p>identificação imediata da alternativa correta, o que não é desejável.</p><p>3.6 Justificativas das respostas</p><p>As justificativas fazem parte do item, devendo ser formuladas separadamente para cada uma das</p><p>alternativas. Visam não somente indicar qual a resposta correta e quais incorretas, como também oferecer</p><p>elementos que permitam compreender o acerto ou o equívoco implícito na resolução da situação-</p><p>problema abordada no item. No que se refere à revisão técnico-pedagógica do item, a apresentação das</p><p>justificativas deverá oferecer elementos que permitam ao revisor verificar a plausibilidade dos distratores.</p><p>As justificativas deverão informar exatamente os motivos pelos quais cada uma das alternativas</p><p>representa ou não a opção correta de resposta, de modo que não serão aceitas justificativas tautológicas.</p><p>Cada uma delas deverá começar com a palavra CERTA ou ERRADA, seguidas de ponto final, e da explicação</p><p>devida.</p><p>Exemplo:</p><p>(A) ERRADA. O estudante não compreende a situação proposta e considera que blau blau blau blau ...</p><p>(B) ERRADA. O estudante blau blau blau blau ...</p><p>(C) CERTA. O estudante raciocina corretamente e conclui que blau blau blau blau ...</p><p>(D) ERRADA. O estudante blau blau blau blau ...</p><p>(E) ERRADA. O estudante blau blau blau blau ...</p><p>4. Tipos de itens de múltipla escolha</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>13</p><p>São adotados no Enade os seguintes tipos de itens de múltipla escolha: interpretação, resposta</p><p>múltipla e asserção-razão.</p><p>4.1 Itens de interpretação</p><p>O item de múltipla escolha do tipo interpretação é formulado a partir de uma situação-estímulo que</p><p>compõe o enunciado. A situação-estímulo faz parte de um problema e, a partir dela, o estudante organiza</p><p>as ideias, dados ou informações para resolvê-lo. É nesse momento que ele identifica, mobiliza, gerencia e</p><p>utiliza diversos recursos, articulados a habilidades, saberes, conhecimentos e outras características</p><p>pertinentes, que vão oportunizar a visibilidade de determinada competência ou característica do perfil</p><p>profissional esperado.</p><p>São exemplos de situação-estímulo: texto, estudo de caso, tabela, quadro, diagrama, gráfico, figura,</p><p>mapa, esquema ou ilustração (extraídos de fonte fidedigna, com as devidas referências).</p><p>O enunciado/comando pode ser apresentado tanto como frase incompleta, a ser finalizada pelas</p><p>opções/alternativas, quanto em forma de pergunta. A opção por uma ou outra está mais relacionada à</p><p>clareza do desafio proposto.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>14</p><p>Exemplos de itens de interpretação</p><p>Exemplo 1</p><p>Exemplo 2</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>15</p><p>Exemplo 3 Exemplo 4</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>16</p><p>4.2 Itens de resposta múltipla</p><p>O item do tipo resposta múltipla é também conhecido como complementação múltipla ou múltipla</p><p>escolha complexa. A composição desse tipo de item consiste de três a cinco afirmações, relacionadas com o</p><p>tema explicitado no enunciado, e de uma chave de respostas, em que são apresentadas as alternativas de</p><p>resposta propriamente ditas, sendo que em cada uma delas consta(m) qual(is) afirmação(ões) entre as</p><p>apresentadas é(são) verdadeira(s) em relação à proposta do item.</p><p>Para responder a esse item, o estudante deve analisar as afirmações com relação ao tema proposto</p><p>no enunciado, se verdadeiras ou falsas, e identificar na chave de resposta aquela que corresponde ao</p><p>resultado da análise efetuada.</p><p>Exemplos de itens de resposta múltipla</p><p>Exemplo 1 Exemplo 2</p><p>É correto apenas o que se afirma em</p><p>(A) I.</p><p>(B) II.</p><p>(C) I e III.</p><p>(D) II e IV.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>17</p><p>(E) III e IV.</p><p>Exemplo 3 Exemplo 4</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>18</p><p>4.3 Itens do tipo asserção-razão</p><p>O item de múltipla escolha do tipo asserção-razão, também conhecido como análise de relações,</p><p>constitui-se de duas proposições ligadas pela palavra PORQUE, sendo que a segunda proposição deve ser</p><p>avaliada se constitui razão ou justificativa da primeira. Compõe o item, ainda, uma chave de respostas padrão,</p><p>em que são descritas as opções/alternativas de resposta propriamente ditas, e cada uma delas contém uma</p><p>afirmação sobre a veracidade ou falsidade de cada uma das proposições e também da existência ou não de</p><p>relação de causalidade entre elas.</p><p>Exemplos de itens do tipo asserção-razão</p><p>Exemplo 1</p><p>QUESTÃO 4</p><p>Com o advento da República, a discussão sobre a questão educacional torna-se pauta significativa nas esferas dos</p><p>Poderes Executivo e Legislativo, tanto no âmbito Federal quanto no Estadual. Já na Primeira República, a expansão da</p><p>demanda social se propaga com o movimento da escolanovista; no período getulista, encontram-se as reformas de</p><p>Francisco Campos e Gustavo Capanema; no momento de crítica e balanço do pós-1946, ocorre a promulgação da</p><p>primeira Lei de Diretrizes e Bases da Educação Nacional, em 1961. É somente com a Constituição de 1988, no entanto,</p><p>que os brasileiros têm assegurada a educação de forma universal, como um direito de todos, tendo em vista o pleno</p><p>desenvolvimento da pessoa no que se refere a sua preparação para o exercício da cidadania e sua qualificação para o</p><p>trabalho. O artigo 208 do texto constitucional prevê como dever do Estado a oferta da educação tanto à crianças como</p><p>àqueles que não tiveram acesso ao ensino em idade própria à escolarização cabida.</p><p>Nesse contexto, avalie as seguintes asserções e a relação proposta entre elas.</p><p>I - A relação entre educação e cidadania se estabelece na busca da universalização da educação como uma das</p><p>condições necessárias para a consolidação da democracia no Brasil.</p><p>PORQUE</p><p>II - Por meio da atuação de seus representantes nos Poderes Executivos e Legislativo, no decorrer do século XX,</p><p>passou a ser garantido no Brasil o direito de acesso à educação, inclusive aos jovens e adultos que já estavam fora da</p><p>idade escolar.</p><p>A respeito dessas asserções, assinale a opção correta.</p><p>(A) As asserções I e II são proposições verdadeiras, e a segunda é uma justificativa correta da primeira.</p><p>(B) As asserções I e II são proposições verdadeiras, mas a segunda não é uma justificativa correta da primeira.</p><p>(C) A asserção I é uma proposição verdadeira, e a asserção II é uma proposição falsa.</p><p>(D) A asserção I é uma proposição falsa, e a asserção II é uma proposição verdadeira.</p><p>(E) As asserções I e II são proposições falsas.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>19</p><p>Exemplo 2</p><p>Exemplo 3</p><p>5. Itens discursivos ou de resposta construída</p><p>Os itens discursivos são conhecidos também como dissertativos, abertos, descritivos, tipo ensaio ou</p><p>de resposta livre. Além do domínio de conhecimentos, os itens discursivos avaliam aspectos como a</p><p>capacidade de exposição de ideias com clareza, coerência e coesão, construção de argumentações</p><p>consistentes, domínio da norma culta, estabelecimento de relações,</p><p>entre outros.</p><p>Para o BNI/Enade, os itens discursivos deverão ser respondidos em, no máximo, 15 linhas.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>20</p><p>A estruturação desses itens deve dar oportunidade para que o estudante, no desenvolvimento da resposta,</p><p>possa:</p><p>• propor explicações e soluções para os problemas apresentados;</p><p>• aplicar o que aprendeu às situações novas;</p><p>• fazer comparações ou classificações de dados e informações;</p><p>• estabelecer relações entre fatos e princípios, por exemplo, relações de causa e efeito;</p><p>• analisar e criticar a veracidade de afirmações;</p><p>• analisar o valor de procedimentos;</p><p>• assumir posição favorável ou contrária a alguma conduta, apresentando a devida argumentação;</p><p>• demonstrar capacidade de síntese, originalidade e(ou) julgamento de valor;</p><p>• formular conclusões a partir de elementos fornecidos;</p><p>• demonstrar capacidade de organizar as ideias, expressando-as na forma escrita, de maneira coerente</p><p>e lógica.</p><p>Exemplos de itens discursivos</p><p>Exemplo 1</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>21</p><p>Exemplo 2</p><p>QUESTÃO DISCURSIVA 1</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>22</p><p>Exemplo 3</p><p>6. Orientações para elaboração dos itens do BNI/ENADE</p><p>A confiabilidade nos resultados de um processo de avaliação depende diretamente da qualidade</p><p>dos instrumentos produzidos. Inicialmente, é preciso ter clareza do que se deseja avaliar, o que implica a</p><p>necessidade de definir com precisão e objetividade os perfis, os recursos (competências/habilidades) e os</p><p>objetos de conhecimento a serem avaliados para se alcançar o rigor no planejamento e na execução da</p><p>avaliação. O banco de itens construído para uma avaliação educacional de larga escala é o elemento chave</p><p>para a análise de desempenho dos participantes. Como a qualidade do instrumento de avaliação (itens que</p><p>compõem o teste) reflete a clareza teórica, conceitual e metodológica adotada (Rabelo, 2010), faz-se</p><p>necessário tecer alguns comentários acerca dos cuidados básicos que devem ser observados no processo</p><p>de elaboração dos itens.</p><p>A elaboração de itens requer o domínio da área de conhecimento a ser avaliada e o atendimento aos</p><p>procedimentos técnicos que envolvem a construção de itens. O processo de elaboração do item</p><p>desenvolve-se “artesanalmente” e a versão final será alcançada após várias revisões. Costuma-se dizer que</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>23</p><p>se inicia com a “pedra bruta” ― a primeira versão do item ―, que vai sendo “lapidada” a cada revisão,</p><p>obtendo-se a “joia preciosa”, a versão final do item. Tanto elaboradores quanto revisores devem confirmar</p><p>se os itens elaborados atendem integralmente as diretrizes e as condições estabelecidas nas matrizes de</p><p>referência de suas áreas ou cursos.</p><p>6.1 Recomendações gerais</p><p>Antes de se iniciar o trabalho, devem ser verificados alguns aspectos essenciais para a elaboração</p><p>dos itens, considerando a concepção da avaliação do exame e a finalidade a que se destina. O foco não é se</p><p>o avaliando domina determinado objeto de conhecimento, mas se consegue utilizá-lo no processo de</p><p>tomada de decisão frente a uma situação-problema proposta, que foi especialmente construída para</p><p>avaliar o desenvolvimento do recurso (competência/habilidade) selecionado como objeto da avaliação.</p><p>Desse modo, a primeira ação do elaborador do item é escolher um recurso (competência/habilidade) na</p><p>matriz de referência e analisar suas possibilidades de relações com as demais dimensões que integram a</p><p>matriz, focando a avaliação em apenas uma dessas relações. Tentar enquadrar um item depois de pronto</p><p>em uma competência da matriz torna-se completamente inviável, pois, na construção do item, é preciso</p><p>contemplar os diversos aspectos que compõem a competência, o que não será possível se isso já não tiver</p><p>sido levado em conta desde o início do processo de elaboração.</p><p>Abaixo estão listados alguns procedimentos fundamentais para a elaboração, de forma adequada, de</p><p>itens para o BNI-Enade:</p><p>• Identifique a encomenda a ser elaborada, onde estão previstos os recurso (competência/habilidade),</p><p>perfil a ela associada e objeto(s) de conhecimento(s) que serão abordados. Essa escolha é direcionada</p><p>previamente pela Comissão Assessora.</p><p>• Utilize os objetos de conhecimento (conteúdos) como meio no processo de avaliação; as questões</p><p>deverão avaliar o desenvolvimento de determinados recursos (competências/habilidades) que</p><p>contribuem para o alcance de alguma característica do perfil de formação esperado.</p><p>• Os itens deverão ser embasados em situações-problema, estudos de caso ou simulacros. Quanto mais</p><p>próximos do cotidiano dos estudantes, melhor será a qualidade do item.</p><p>• Pesquise diferentes fontes antes de decidir qual a melhor forma de abordar o assunto. A escolha de um</p><p>contexto adequado, que servirá de texto-base, é fundamental para a construção de um item de bom</p><p>nível. Deve-se dar preferência a textos de fonte primária, de autoria explícita, que sejam curtos e</p><p>integrais, de fácil compreensão, com linguagem apropriada ao nível dos estudantes, que sejam</p><p>adequados aos objetivos da questão e possibilitem a criação das opções de resposta: uma correta e as</p><p>demais incorretas, mas plausíveis. São permitidos recortes no texto, desde que sejam mantidas as</p><p>ideias principais e se indique que houve adaptação. É obrigatória a apresentação da fonte de</p><p>referência, seguindo o padrão estabelecido nas normas técnicas.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>24</p><p>6.2 Recomendações específicas para itens de múltipla escolha</p><p>Na elaboração de itens de múltipla escolha para o Enade, em qualquer de suas formas, permite-se</p><p>apenas uma única resposta correta, ou seja, apenas uma alternativa deverá ser indubitavelmente a correta.</p><p>Seguem algumas recomendações a serem observadas durante o processo de criação do item.</p><p>• Elabore primeiro a situação-estímulo (texto-base), depois o enunciado/comando e, em seguida, as</p><p>opções/alternativas. O texto-base não pode ser utilizado simplesmente como pretexto. Uma maneira</p><p>de verificar isso é ocultar o texto-base, ler o comando e analisar se a resposta correta pode ser</p><p>encontrada sem as informações do texto-base. Caso isso ocorra, há um erro grave de elaboração e o</p><p>comando e as opções precisam ser refeitos.</p><p>• Ao elaborar um item de múltipla escolha, considere que o gabarito deve ser a única resposta correta,</p><p>sem deixar dúvidas para o respondente que desenvolveu aquele nível de competência. Alternativas</p><p>erradas que atraem bons alunos podem ser consideradas “pegadinhas”, que não se enquadram nos</p><p>propósitos de uma avaliação educacional de qualidade.</p><p>• Cada opção errada (distrator) deve ser plausível, isto é, fazer parte do contexto do item e ser uma</p><p>resposta possível para o estudante que não desenvolveu a competência que está sendo avaliada. Os</p><p>distratores não podem fugir do tema proposto nem se constituir em afirmação evidentemente</p><p>descabida até para quem não domina o assunto. É desejável que cada distrator esteja vinculado a um</p><p>nível de desenvolvimento adequado da aprendizagem e ensejar um possível raciocínio que um</p><p>estudante de baixo desempenho faria para escolhê-lo como resposta. Nesse caso, seria possível</p><p>identificar, na fase de análise de desempenho, os erros mais comuns nos diversos níveis de</p><p>proficiência e, assim, fornecer indícios sobre o processo cognitivo dos respondentes (Rabelo, 2011).</p><p>Há um limite tênue entre o que se considera um distrator plausível e uma “pegadinha”. Nesse caso,</p><p>basta lembrar que um distrator</p><p>plausível é uma possibilidade de resposta a ser dada por um</p><p>estudante que não sabe resolver a situação proposta, enquanto a “pegadinha” é uma resposta que</p><p>atrai um bom estudante.</p><p>• Siga a ordem crescente ou decrescente nas opções/alternativas numéricas, sem discrepâncias</p><p>exageradas que possam atrair para a resposta correta estudantes de baixo desempenho, fazendo</p><p>com que estes acertam simplesmente pela observação das opções de respostas apresentadas.</p><p>• Siga uma sequência lógica nas opções/alternativas, seja a ordem crescente ou decrescente</p><p>mencionada anteriormente, seja a ordem alfabética no caso de palavras ou expressões, seja a ordem</p><p>cronológica dos eventos. No entanto, a ordem de tamanho das alternativas é a de preferência.</p><p>• Redija as opções/alternativas com extensão e estrutura semelhantes, mas, caso não seja possível,</p><p>utilize o formato trapezoidal na apresentação. Eventuais diferenças de extensão podem induzir a</p><p>escolha da resposta pelos estudantes.</p><p>• Redija as opções/alternativas de modo a completar de forma gramaticalmente correta o enunciado.</p><p>• Mantenha o paralelismo sintático na apresentação das opções/alternativas, por exemplo: todas</p><p>começando por verbo, ou por substantivo, ou por artigo.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>25</p><p>• Redija as opções/alternativas de forma relativamente homogênea, isto é, elas devem formar um</p><p>conjunto equilibrado (de sinais, de sintomas, de métodos, de exemplos, de quantidade de termos ou</p><p>fatores, de figuras etc.).</p><p>• Considere o balanceamento das respostas (quantidade de respostas corretas para cada</p><p>alternativa/opção) em relação ao total de itens elaborados.</p><p>• Redija, preferencialmente, enunciados/comandos e opções/alternativas na forma afirmativa. Os</p><p>itens com enunciados negativos devem ser evitados, pois os bons estudantes podem,</p><p>inadvertidamente, escolher uma opção que traz uma ideia correta, mas que não se ajusta ao</p><p>comando, que, nesse caso, solicitaria a opção incorreta.</p><p>• Nos itens de interpretação, evite formulações do tipo “assinale a opção correta” ou “é correto</p><p>afirmar que”, pois, frequentemente, levam a cinco problemas diferentes nas alternativas e não</p><p>deixam claro para o estudante o escopo da avaliação que se pretende, o desafio proposto, e que</p><p>deveria estar explícito no enunciado.</p><p>• Não use comando/enunciado do tipo “Em relação ao tema XXX, pode-se afirmar que”.</p><p>• Utilize comando/enunciado na forma impessoal, não utilizando a primeira pessoal do plural.</p><p>• Selecione os tópicos mais significativos para a avaliação, de acordo com o número de itens previstos,</p><p>respeitando a matriz de referência.</p><p>• Os itens devem ser discriminativos: os examinandos que apresentam melhor desempenho na prova</p><p>devem ser mais bem-sucedidos, em cada item, do que aqueles que apresentam baixo desempenho.</p><p>Itens de média complexidade apresentam, em geral, bons índices de discriminação. Itens</p><p>extremamente fáceis ou extremamente difíceis não discriminam.</p><p>• Considere o tempo disponível para a resposta de cada item. No caso de múltipla escolha, em torno</p><p>de 4 minutos para um estudante de desempenho mediano.</p><p>• Construa itens independentes, de modo que o acerto de um não fica subordinado ao acerto do</p><p>outro.</p><p>• Não formule itens com opções/alternativas encadeadas em que haja referência à alternativa</p><p>anterior. As informações necessárias para julgar cada alternativa devem estar presentes no texto-</p><p>base ou no enunciado/comando.</p><p>• Mencione a interpretação utilizada na formulação do comando/enunciado, quando o item elaborado</p><p>ensejar controvérsias oriundas de interpretações diversas ou de referenciais teóricos específicos.</p><p>• Leve em consideração as condições em que será aplicada e respondida a prova. Por exemplo, sem</p><p>consulta a qualquer tipo de material e sem uso da calculadora.</p><p>Observe também que os itens do BNI-Enade devem:</p><p>• atender rigorosamente às Portarias que estabelecem as diretrizes para as respectivas áreas e ser</p><p>concebidos seguindo as orientações das matrizes de referência;</p><p>• apresentar enunciado com todas as informações técnicas necessárias para a sua resolução e</p><p>formulado de forma clara, direta e precisa, evitando-se construções complicadas que possam induzir</p><p>os estudantes ao erro;</p><p>• basear-se em informações de fontes confiáveis e de autores reconhecidos, priorizando-se as</p><p>primárias, originais e que não precisem de adaptação;</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>26</p><p>• explorar textos que abordem, de preferência, temas atuais que sejam relevantes para o propósito da</p><p>avaliação e adequados ao público-alvo;</p><p>• referenciar fontes de tabelas, figuras, gráficos, quadros, textos ou fragmento de texto de acordo com</p><p>as normas da ABNT;</p><p>• conter, sempre, as justificativas das respostas, no caso de item de múltipla escolha, e o padrão de</p><p>resposta esperado, para os itens de resposta construída pelo estudante.</p><p>Além disso, os itens do BNI-Enade não devem:</p><p>• avaliar simples memorização, tampouco exigir mera recordação de conceitos e(ou) fórmulas;</p><p>• abordar aspectos regionais e muito específicos (fatos, terminologia, usos etc.);</p><p>• conter situações, exemplos ou informações que possam se caracterizar como viés político, cultural,</p><p>discriminação ou preconceito segundo raça, gênero, religião, origem, cultura ou outros;</p><p>• privilegiar abordagens, autores, teorias específicas ou mesmo editoras;</p><p>• utilizar textos da Internet sem que seja feita a devida conferência de sua originalidade e autoria;</p><p>• citar nomes fictícios jocosos ou usar em situações hipotéticas nomes que se referem a pessoas</p><p>públicas;</p><p>• fazer qualquer tipo de propaganda comercial (marca de produto) ou política (apologias a programas</p><p>de governo);</p><p>• propiciar pistas que facilitem a resposta do estudante;</p><p>• utilizar subterfúgios que dificultem a resposta do estudante;</p><p>• apresentar redação muito semelhante entre o enunciado/comando e a resposta correta;</p><p>• apresentar a opção correta com extensão bem diferente das demais, atraindo os estudantes para a</p><p>resposta;</p><p>• apresentar enunciados/comandos vagos, que transformem as alternativas em um conjunto de frases</p><p>soltas;</p><p>• fazer uso no enunciado/comando de termos negativos como: “falso”, “exceto”, “incorreto”, “não”,</p><p>“errado”;</p><p>• fazer uso no enunciado/comando dos termos “assinale”, “indique”, “aponte” e outros correlatos;</p><p>(Exceto na questão do tipo asserção-razão, que já contempla uma chave de respostas específicas.)</p><p>• ter como elemento caracterizador os termos “somente”, “apenas”, “nunca”, “jamais”, “raramente”,</p><p>“exclusivamente”, “unicamente”, “sempre”, “totalmente”, “todo”, “pode ser”, “tudo”, “ninguém”,</p><p>“nenhum”, “nada”, “algum”, “pode acontecer”, “pode haver”, “pouco”, “às vezes”, “qualquer”, entre</p><p>outros. O estudante pode descartar uma opção de resposta apenas por conter um desses termos.</p><p>• conter opções do tipo: “Nenhuma das respostas anteriores” ou “Todas as respostas anteriores”;</p><p>(Exceto nas questões do tipo resposta múltipla, que apresentam uma chave de respostas</p><p>diferenciada.)</p><p>• apresentar opções/alternativas longas demais e(ou) repetitivas, que podem levar o estudante a ter</p><p>dificuldade em compreender o que se pretende avaliar;</p><p>• incluir erros grosseiros ou flagrantes absurdos que levem, de imediato, à resposta correta ou</p><p>induzam a respostas incorretas, pois isso compromete a validade do processo de avaliação;</p><p>• induzir o estudante a selecionar a melhor alternativa, uma vez que isso pode ser contestado de</p><p>acordo com outros pontos de vista;</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>27</p><p>• tornar falsa uma afirmação simplesmente pela inclusão da palavra “não” na frase, pelo uso do</p><p>prefixo “in” em algum termo ou por outros artifícios similares, o que pode prejudicar a</p><p>plausibilidade.</p><p>No caso</p><p>de itens do tipo resposta múltipla, os seguintes cuidados adicionais devem ser observados:</p><p>• não formular o comando na forma negativa, ou seja, nunca solicitar que sejam avaliadas quais</p><p>afirmações estão incorretas, mas sempre as corretas;</p><p>• apresentar as afirmações a serem julgadas com estrutura simples, não construindo frases longas</p><p>demais, que dificultem o entendimento pelos estudantes e demandem muito tempo de leitura e</p><p>interpretação;</p><p>• não transformar afirmações de verdadeiras em falsas simplesmente pela inserção da palavra “não”</p><p>ou pelo uso do prefixo “–in”;</p><p>• construir a chave de respostas de tal forma que as combinações não forneçam pistas quanto à opção</p><p>correta ― balancear a quan�dade de vezes que o número de cada afirmação aparece nas</p><p>alternativas.</p><p>Para itens do tipo asserção-razão, as seguintes recomendações extras precisam ser observadas:</p><p>• construir as duas proposições a serem julgadas de modo vinculado ao contexto e aos objetos de</p><p>conhecimento avaliados no item;</p><p>• construir cada proposição como frase com sentido completo, sem apoio na outra proposição;</p><p>• considerar que cada proposição deve ser analisada pelo estudante independentemente uma da</p><p>outra;</p><p>• redigir proposições sem ambiguidade de interpretação;</p><p>• considerar que a relação de causa e consequência pode existir ou não entre as duas proposições.</p><p>Seguindo essas breves recomendações no processo de construção de um item de múltipla escolha, do</p><p>ponto de vista técnico, o item terá uma estrutura isenta de vícios que poderiam comprometer as</p><p>inferências de desempenho que são feitas a partir das respostas dos estudantes.</p><p>6.3 Recomendações específicas para itens discursivos</p><p>A elaboração de itens discursivos requer cuidados para garantir a validade e a confiabilidade dos</p><p>resultados. Um item discursivo bem elaborado deve possibilitar uma avaliação criteriosa pela banca de</p><p>corretores. Em geral, a prova contém poucos itens discursivos, o que acaba por influenciar as escolhas da</p><p>abordagem proposta. Selecione cuidadosamente o contexto, não busque avaliar detalhes muito</p><p>específicos, centre a avaliação nos temas essenciais da área, não crie item discursivo que poderia ser</p><p>facilmente substituído por um ou mais itens objetivos.</p><p>Muitas das recomendações apresentadas anteriormente para itens objetivos também se aplicam aos</p><p>discursivos, principalmente as que se referem à linguagem utilizada e à pertinência dos textos escolhidos.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>28</p><p>No Enade, espera-se que o estudante leia a proposta apresentada no item discursivo, elabore um rascunho</p><p>de sua resposta e transcreva-o para o Caderno de Respostas em, no máximo, 15 minutos. Esse parâmetro</p><p>deve balizar a proposta apresentada. Ao redigir o padrão de resposta esperado, o elaborador tem também</p><p>a oportunidade de estimar esse tempo.</p><p>As seguintes recomendações precisam ser consideradas por elaboradores e revisores de itens:</p><p>• apresentar comando/enunciado com linguagem simples, clara e sem ambiguidade, evitando-se</p><p>respostas que não seriam esperadas, mas que traduzem interpretações diferentes da proposta</p><p>apresentada;</p><p>• definir claramente a(s) tarefa(s) a realizar, indicando a abrangência da resposta esperada e os aspectos</p><p>a abordar. O estudante precisa ter clareza dos aspectos que serão objeto de avaliação e dos valores</p><p>máximos de pontuação atribuídos;</p><p>• formular enunciados de modo preciso, de forma a possibilitar que o estudante compreenda o que se</p><p>pede e saiba como proceder para estruturar e desenvolver a sua resposta;</p><p>• incluir todas as informações necessárias para a resolução do item e que não serão objeto de avaliação,</p><p>fornecendo textos motivadores, informações técnicas específicas, tabelas com dados a serem</p><p>considerados, figuras e fórmulas que sejam necessárias para a resolução da proposta apresentada;</p><p>• não empregar perguntas do tipo “Que”, “Quem”, “Quando” e “Onde”, pois, possivelmente, não</p><p>avaliam a mobilização de recursos complexas para a construção da resposta;</p><p>• não empregar perguntas que simplesmente admitem a resposta “sim” ou “não”.</p><p>Quando possível, recomenda-se dividir o item discursivo em subitens, pois isso ajuda o estudante a</p><p>organizar melhor a sua resposta e possibilita uma avaliação parcial da produção escrita dele. Cada item será</p><p>avaliado na escala de 0 a 10 pontos e o elaborador deverá indicar o valor correspondente a cada subitem.</p><p>6.4 Especificações para elaboração do padrão de resposta para avaliação dos itens discursivos</p><p>Para a correção de itens discursivos, será adotado o método analítico, o que exige do elaborador do</p><p>item a redação de um padrão de resposta esperado e que contemple os seguintes aspectos:</p><p>• estabelecer a resposta esperada ou resposta padrão para o item discursivo, identificando as partes</p><p>essenciais que devem ser usadas como referência no processo de correção;</p><p>• prever diferentes opções de respostas a serem consideradas como corretas e válidas;</p><p>• prever o critério de atribuição de pontos (quesitos de avaliação), considerando a indicação do valor</p><p>atribuído aos diferentes níveis de resposta de cada parte do item discursivo, dependendo da</p><p>abrangência e do desenvolvimento da resposta padrão;</p><p>• considerar que o padrão de resposta pode ajudar o revisor a verificar eventuais falhas de redação do</p><p>próprio item, bem como a ausência de dados importantes e ou mesmo fazer julgamento acerca do grau</p><p>de dificuldade ou de complexidade;</p><p>• considerar que o padrão de respostas é divulgado pelo Inep após a aplicação do Exame;</p><p>• avaliar o tempo necessário para o estudante produzir sua resposta, considerando o tempo que o</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>29</p><p>próprio elaborador gastou para produzir o padrão de resposta esperado.</p><p>Exemplo de padrão de resposta</p><p>6.5 Recomendações para o uso de imagens</p><p>O uso de imagens na elaboração de itens requer a observação de alguns aspectos e recomendações</p><p>importantes citados a seguir.</p><p>• É imprescindível observar a precisão conceitual das imagens usadas. Em geral, a preocupação com a</p><p>precisão conceitual recai apenas sobre o texto escrito. Eventuais imprecisões ou erros conceituais</p><p>presentes nas imagens usadas nas provas do Enade levam, invariavelmente, à anulação do item.</p><p>• Devem ser usadas imagens que não deixem dúvidas com relação ao conceito, objeto ou fenômeno que</p><p>se quer ilustrar, descrever ou explicar. Imagens mal elaboradas podem gerar interpretações</p><p>equivocadas e induzir o estudante ao erro.</p><p>• Recomenda-se cautela no uso de imagens que possam gerar múltiplas interpretações (charges, tirinhas,</p><p>anúncios).</p><p>• É importante garantir que a inserção de imagens esteja articulada com o texto do item. O diálogo entre</p><p>o texto e a imagem deve ser garantido por meio de remissões claras e objetivas. Imagens “ilhadas”</p><p>reduzem o grau de informação que se deseja extrair delas.</p><p>• Na elaboração do item, devem ser inseridas imagens que contribuam para a resolução do desafio</p><p>proposto. Imagens ilustrativas são descartadas na montagem da prova.</p><p>• As imagens anexadas no sistema BNI devem atender limites de tamanho, resolução e extensão de</p><p>arquivo, de acordo com padrões estabelecidos pelo INEP.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>30</p><p>7. Inclusão das referências de textos, gráficos ou imagens</p><p>Respeite as seguintes recomendações ao inserir as referências de textos, gráficos e imagens:</p><p>• Utilize o padrão: ABNT;</p><p>• Coloque o máximo de informações na referência. Não se esqueça de inserir: data, local, edição,</p><p>volume, ano, editora, autor, título do artigo/livro, páginas, título do capítulo de livro, quando estes</p><p>forem necessários. Algumas vezes, o revisor precisa consultar a referência para</p><p>conferir o texto e se</p><p>ela estiver incompleta, fica difícil encontrar o original;</p><p>• Para destacar o elemento título da referência, use negrito;</p><p>• Caso haja figuras no texto, coloque também a referência delas;</p><p>• Caso tenha construído o texto do item, escreva “Texto do elaborador”;</p><p>• Textos ou figuras retirados da Internet devem ser mencionados na forma: Disponível em:</p><p><http://www.foiaqui.com.br >. Acesso em: 25 jun. 2012.;</p><p>• Nunca deixe em branco o campo da referência.</p><p>8. Padrões específicos adotados pelo INEP</p><p>Deve ser dada atenção especial a alguns aspectos gráficos do item, principalmente no que refere à</p><p>pontuação final das opções/alternativas, adotados pelo Inep.</p><p>8.1 O uso da pontuação nas alternativas</p><p>O uso da pontuação na elaboração das opções/alternativas deve observar as regras descritas a</p><p>seguir.</p><p>• Nas alternativas que complementam a sentença do enunciado, iniciar cada sentença com letra</p><p>minúscula e usar ponto final em cada alternativa.</p><p>o Exemplo em: palavra, oração, número inteiro, número decimal, número acompanhado de</p><p>unidade de medida, potência, porcentagem, equação química ou matemática, fórmula.</p><p>o Exceção em: quando se tratar de fração, sistema de equações, figura.</p><p>• Nas alternativas que respondem a uma interrogação, iniciar com maiúscula e usar ponto final em</p><p>cada alternativa.</p><p>o Exemplo em: palavra, oração ou citação.</p><p>o Exceção em: não usar ponto final na alternativa quando se tratar de número inteiro, número</p><p>acompanhado de unidade de medida, fração, sistema de equações, equação química ou</p><p>matemática, fórmula, figura.</p><p>• Nas alternativas que são precedidas por dois-pontos, iniciar cada sentença com letra minúscula e</p><p>usar ponto final em cada alternativa.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>31</p><p>o Exemplo em: palavra, oração, citação.</p><p>o Exceção em: quando se tratar de fração, sistema de equações, figura.</p><p>8.2 Outras marcações gráficas</p><p>Observe os padrões gráficos adotados pelo Inep, listados a seguir:</p><p>• Todo termo estrangeiro deve vir registrado em itálico.</p><p>• Imagens, figuras, tabelas, gráficos e textos, quando numerados, receberão números romanos: I, II, III,</p><p>IV, V etc.</p><p>• Em escrita de unidades de milhar (1 000 / 10 000 / 3 000 000), não se separa por ponto, deixa-se um</p><p>espaço. Exceção para números de leis, normas, decretos e portarias: Lei n.o 8.112/1990.</p><p>• Texto adaptado ou fragmento de texto deverá ter essa informação registrada ao final da referência</p><p>bibliográfica, iniciada por minúscula, entre parênteses, de acordo com os seguintes exemplos:</p><p>BAGNO, M. A língua de Eulália: Novela Sociolinguística. São Paulo:</p><p>Contexto, 2003 (adaptado).</p><p>ANDRADE, C. D. Reunião. Rio de Janeiro: José Olympio, 1971 (fragmento).</p><p>9. Etapas de validação do item</p><p>Os itens elaborados para o BNI/Enade serão submetidos à seguinte sequência de revisões:</p><p>1 Revisão técnico-pedagógica e de forma.</p><p>2 Revisão de Comissão.</p><p>3 Revisão de sensibilidade.</p><p>4 Revisão Final-Inep.</p><p>5 Aceite Inep.</p><p>6 Inserção no BNI-Enade.</p><p>10. Revisão do item</p><p>10.1 Check-list de revisão técnico-pedagógica</p><p>O check-list de revisão de itens, destinado ao revisor técnico-pedagógico de cada área têm o objetivo</p><p>de orientar a análise, registrar os resultados e fundamentar a revisão final do item apresentado para</p><p>compor o BNI-Enade.</p><p>O check-list do revisor técnico-pedagógico permite uma análise ao mesmo tempo global e detalhada.</p><p>Há campos a partir dos quais podem ser feitas observações que o revisor julgar necessárias para justificar,</p><p>documentar e, finalmente, qualificar o destino dado ao item. A proposta do check-list do revisor técnico-</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>32</p><p>pedagógico é a de oferecer, após seu completo preenchimento, o encaminhamento a ser dado ao item, ou</p><p>seja, aprovação, aprovação com ajustes ou reprovação final.</p><p>A revisão deve ser identificada em formulário específico, o que permitirá a rápida recuperação de</p><p>informações sobre o item revisado. Se necessário, será possível resgatar todas as observações registradas</p><p>durante o processo de construção do item, desde a sua elaboração até a aprovação final ou reprovação.</p><p>O check-list de revisor técnico-pedagógico estará disponível no Sistema BNI. O revisor deverá</p><p>identificar os seguintes aspectos atribuídos ao item e suas partes:</p><p>§ O item atende a todas as especificidades da encomenda (Tipo de item, Perfil, Recurso, Objeto</p><p>(s) de Conhecimento, Informações Complementares e Dificuldade)?</p><p>§ O Texto-base é necessário à resolução do item e se articula com o Enunciado, apresentando de</p><p>forma clara o problema a ser solucionado, sem induzir o estudante ao erro?</p><p>§ As imagens, gráficos ou desenhos são pertinentes e de boa qualidade?</p><p>§ A situação-problema e o vocabulário propostos são adequados à área avaliada?</p><p>§ As alternativas completam ou respondem adequadamente o enunciado?</p><p>§ O gabarito é único e não apresenta elementos atrativos que induzam a escolha pelo</p><p>estudante?</p><p>§ Os distratores são plausíveis e não induzem ao erro?</p><p>§ As justificativas dos distratores e do gabarito esclarecem adequadamente cada uma das</p><p>alternativas?</p><p>§ O item é isento de erros conceituais e de falhas técnicas?</p><p>§ O Texto-base, ou qualquer outro elemento do item de apropriação pública, traz referência</p><p>bibliográfica completa, de acordo com as normas da ABNT?</p><p>11. Atribuições dos elaboradores e revisores técnico-pedagógicos do BNI/ENADE</p><p>Os elaboradores de itens deverão criar itens de avaliação para educação superior inéditos,</p><p>considerando as matrizes de referência e seguindo critérios estabelecidos para a construção do item, tais</p><p>como: formato do item (múltipla escolha ou discursivo), escolha temática, adequação de conteúdos,</p><p>correspondência clara com a matriz de referência, elaboração de alternativas plausíveis e gabarito único</p><p>(múltipla escolha) e padrão de resposta (discursivo), citação das fontes dos textos utilizados e demais</p><p>orientações específicas contidas neste guia.</p><p>Os revisores técnico-pedagógicos deverão revisar os itens avaliando e atestando a qualidade</p><p>técnico-pedagógica de acordo com as orientações do presente guia, verificando se:</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>33</p><p>• o conteúdo está adequado ao formato a que o item se destina;</p><p>• há correspondência direta com as características de perfil e os recursos (competências/habilidades)</p><p>especificados na matriz de referência;</p><p>• a contextualização é adequada e efetiva, não se constituindo mero pretexto;</p><p>• há coerência e coesão entre as partes que constituem o item;</p><p>• as alternativas são plausíveis, com gabarito claro e único (múltipla escolha), ou o padrão de resposta</p><p>está adequadamente redigido (discursivo);</p><p>• há paralelismo sintático na estrutura do item;</p><p>• não há erros conceituais;</p><p>• o enunciado é claro;</p><p>• o grau de dificuldade estimado é adequado;</p><p>• o tempo estimado para a resolução do item é adequado;</p><p>• as justificativas das alternativas estão coerentes e esclarecem o gabarito e as alternativas;</p><p>• os textos utilizados são adequados e necessários para a resolução do item;</p><p>• os textos utilizados apresentam referência completa e fidedigna;</p><p>• o item não apresenta qualquer tipo de preconceito.</p><p>12. Referências e bibliografia consultada</p><p>BARRETO, H. P. D., MENDES, L. V. A. & OLIVEIRA, Z. M. F. Banco de itens: um recurso para a prática</p><p>avaliativa do professor universitário. In: RODRIGUES JÚNIOR, J. F. (Org.), Avaliação do Estudante</p><p>Universitário. Brasília: SENAC, 2009. p. 199-209.</p><p>BRENNAN, ROBERT L. (Ed.). Educational Measurement. 4th. Edition. Westport, CT: National Council on</p><p>Measurement in Education and American Council on Education, 2006.</p><p>CARNEIRO, M. H. S.</p><p>As imagens no livro didático. Atas do I Encontro de Pesquisa em Ensino de Ciências,</p><p>Águas de Lindóia (SP): 1997, p. 366-373.</p><p>CASE, S. M. & SWANSON, D. B. Constructing written test questions for the basic and clinical sciences.</p><p>Philadelphia: National Board of Medical Examiners, 2001. Disponível em:</p><p><http://www.nbme.org/PDF/ItemWriting_2003/2003IWGwhole.pdf>. Acesso em: 23 mai. 2012.</p><p>DUCHASTEL, P. C. & WALLER, R. Pictorial illustration in instructional texts. Educational Technology, 19 (11),</p><p>20-25, 1979.</p><p>FRARY, R. B. More multiple-choice item writing do’s and don’ts. Practical Assessment, Research &</p><p>Evaluation, v. 4, n. 11, 1995. Disponível em: <http://ericae.net/edo/ed398238.htm>. Acesso em 23 mai. 2012</p><p>HALADYNA, Thomas M. Developing and validating multiple-choice test items. 3 ed., Mahwah, NJ: Lawrence</p><p>Erlbaum, 2004.</p><p>INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA - INEP. SINAES - Sistema</p><p>Nacional de Avaliação da Educação Superior: Da concepção à regulamentação. 5 ed. rev. e ampliada.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE</p><p>34</p><p>Brasília: INEP, 2009.</p><p>KEHEO, J. Writing multiple-choice test items. Practical Assessment, Research & Evaluation, v. 4, n. 9, 1995.</p><p>Disponível em: <http://pareonline.net/getvn.asp?v=4&n=9>. Acesso em: 23 mai. 2012.</p><p>MARTINS, I. O papel das representações visuais no ensino-aprendizagem de ciências. Atas do I Encontro de</p><p>Pesquisa em Ensino de Ciências: Águas de Lindóia (SP): 1997, p. 366-373.</p><p>PERRENOUD, P. Práticas pedagógicas, profissão docente e formação: perspectivas</p><p>sociológicas. 2.ed. Lisboa: Dom Quixote, 1997.</p><p>RABELO, M. L. Avaliação em larga escala em perspectiva comparada: a experiência brasileira. Actas do VIII</p><p>Congresso Iberoamericano de Avaliação/Evaluación Psicológica. XV Conferência Internacional Avaliação</p><p>Psicológica: Formas e Contextos (pp. 406-418). Lisboa: Universidade de Lisboa. 2011.</p><p>RABELO, M. L.. O processo de construção de itens para avaliação em larga escala. Pesquisa & Avaliação:</p><p>Revista do Professor: SADEAM 2009: Ciências humanas e suas tecnologias. Brasília, v.1, p.15-19, 2010.</p><p>RABELO, M.L. & SOARES, P. G. Como avaliar? Matriz de referência para a construção de instrumentos de</p><p>avaliação. Pesquisa & Avaliação: Revista do Professor Avalie 2009, 12-21, 2011.</p><p>REINER, C. M.; BOTHELL, T. W.; SUDWEEKS, R. R. & WOOD, B. How to prepare effective essay questions:</p><p>guidelines for university faculty. Brigham Young University Testing Services, Department of Instructional</p><p>Psychology and Technology. Rexburg, ID: 2002, 46 p. Disponível em:</p><p><http://www.uwgb.edu/oira/teachLearn/betterTests/betteressays.pdf>. Acesso em: 28 abr. 2012.</p><p>ESTE DOCUMENTO É DE USO RESTRITO AO BNI-ENADE.</p><p>NÃO É PERMITIDA SUA REPRODUÇÃO OU DIVULGAÇÃO</p><p>SEM AUTORIZAÇÃO PRÉVIA DO INEP/DAES/CGENADE.</p><p>http://www.pdfcomplete.com/cms/hppl/tabid/108/Default.aspx?r=q8b3uige22</p>