O Projeto de Lei Complementar nº 112/2021, que institui o Código Eleitoral(inteiro teor) foi incluído em votação sob regime de urgência no Plenário Virtual da Câmara dos Deputados, na sessão de 09 de setembro de 2021 — a qual está ocorrendo no exato instante em que escrevo este artigo. Em seu extenso texto, o Projeto traz um inocente dispositivo, que consta no Livro XVII – Das Pesquisas Eleitorais, que oculta um verdadeiro absurdo técnico, o qual obrigará que informações sem a devida fundamentação, ou erradas, sejam veiculadas aos eleitores, com potencial de gerar muita confusão e nenhum esclarecimento.
Art. 581. Na divulgação dos resultados de pesquisas serão obrigatoriamente informados: (…)
VII – o percentual de acerto das pesquisas realizadas pela entidade ou empresa nas últimas cinco eleições.
Se você leu o destaque acima mas não percebeu o absurdo, não se preocupe muito pois a questão é sutil. Um exemplo vai torná-la mais visível.
Qual pesquisa acertou?
Os candidatos “Sra. Honesta” e “Sr. Verdadeiro” são os únicos que disputam a Presidência da República. Três institutos realizaram uma série de pesquisas eleitorais nos meses que antecederam as eleições, cada um com uma metodologia distinta. Para simplificar a comparação, vamos admitir que as pesquisas sempre foram realizadas e tiveram seus resultados divulgados exatamente na mesma data, quando comparados os três institutos. Também, ainda que a metodologia de amostragem e a forma de executar a pesquisa (ex., telefone, Internet, intervenção na rua etc.) possam ser distintas entre os três institutos, todos eles trabalharam com a mesma margem de erro (2 pontos percentuais). Por fim, o intervalo de confiança das estimativas dos três institutos também é o mesmo: 95%.
Veja o gráfico a seguir com os resultados das pesquisas eleitorais de cada instituto, os quais apresentam percentuais de intenções de voto na Sra. Honesta e no Sr. Verdadeiro já considerando votos válidos (ou seja, excluídos brancos e nulos).
Agora, eis o que ocorreu no dia da eleição, no primeiro domingo de outubro: as urnas foram abertas e a Sra. Honesta foi eleita Presidente da República com 51,64% dos votos válidos.
E assim terminou a eleição… Parabéns, Sra. Honesta!
Mas qual pesquisa acertou?
Sim, precisamos saber responder esta pergunta de forma tecnicamente perfeita, pois daqui a 4 anos teremos novas eleições presidenciais e os Institutos A, B e C disputarão os serviços de pesquisa. E mais: quando os resultados forem divulgados em rede nacional, o locutor é obrigado(segundo inciso VII do Art. 581 da proposta de Código Eleitoral) a informar os eleitores mais ou menos nos seguintes termos: “Esta pesquisa foi conduzida pelo Instituto Y que tem x% de acerto em suas pesquisas realizadas nas últimas cinco eleições”.
Será que o resultado das urnas serve de parâmetro para avaliar o acerto de pesquisas anteriores ao dia da eleição?
A resposta é um sonoro não. Por conta disso que o inciso VII do Art. 581 do Projeto de Lei Complementar nº 112/2021 é absurdo.
Vamos voltar ao nosso exemplo e interpretar alguns resultados.
Instituto A
Segundo suas pesquisas, a Sra. Honesta sempre esteve à frente. Nunca houve empate técnico entre ela e o Sr. Verdadeiro. A Sra. Honesta teve uma queda de junho para julho, seguiu em uma retomada de crescimento até setembro e depois teve uma outra queda em outubro. No fim, foi eleita mesmo.
Será que o Instituto A acertou em todas as pesquisas?
Ora, alguns podem interpretar que sim. Ele sempre colocou a Sra. Honesta na frente e ela ganhou a eleição. Como a votação é somente em outubro e o eleitorado vai mudando de opinião com o passar do tempo (em função de debates, declarações dos candidatos etc.) é normal uma oscilação (seja para mais ou para menos).
Como a proposta de Código Eleitoral pede qual o percentual de acerto nas pesquisas, o Instituto A seria avaliado da seguinte forma:
- Junho: 55,1% (errou)
- Julho: 53,0% (acertou)
- Agosto: 53,6% (acertou)
- Setembro: 53,9% (errou)
- Outubro: 52,6% (acertou)
Taxa de acerto: 60%.
O executivo-chefe do Instituto A vai declarar: “Nossas pesquisas foram um sucesso. Essa taxa de acerto é irreal, sem sentido, e mascara a realidade… A Sra. Honesta de fato ganhou e a nossa última pesquisa, a mais próxima do dia da eleição, apontou 52,6% (com margem de erro de 2%) e ela teve 51,64% de votos. Não faz sentido colocar em pé de igualdade um pesquisa realizada em junho para saber se acertamos ou erramos… E estamos seguros que no mês de junho a Sra. Honesta estava muito bem cotada, mesmo. A pesquisa de junho acertou… ela teve uma pequena queda no final, somente. Vale a última pesquisa”.
Instituto B
O Instituto B mostrou um cenário emocionante! A Sra. Honesta teve uma franca ascensão ao longo da campanha eleitoral: saiu de 47% de intenções de voto em junho e foi crescendo, mês a mês, até virar na última pesquisa divulgada no início de outubro (ainda que ela apontasse empate técnico). Mas notem que importante: o Instituto B, além de captar essa tendência de crescimento da Sra. Honesta (coisa que o Instituto A não captou), apontava um empate técnico nos últimos três meses, em agosto, setembro e outubro.
Mas, se for usado o resultado das urnas, a taxa de acertos do Instituto B será de apenas 40% (acertou somente as pesquisas de setembro e outubro).
O diretor-presidente do Instituto B declara: “Nosso instituto implantou uma metodologia inovadora de planejamento amostral, completamente diferente de tudo que vinha sendo feito. Fomos os únicos capazes de perceber que a Sra. Honesta começou atrás e veio crescendo, enquanto o Sr. Verdadeiro só perdia eleitorado, por conta de declarações polêmicas… Apontamos empate técnico no final, e a última pesquisa foi a única que mostrou ela ligeiramente à frente. No fim, ela ganhou. Estamos satisfeitos com essa nova metodologia e acertamos”.
Os eleitores do Sr. Verdadeiro protestam: “Esse tal Instituto B é uma fraude! Ficaram maquiando as pesquisas para mostrar que a tal da Honesta vinha crescendo só para alterar o humor dos eleitores. Não acreditamos em nenhuma dessas pesquisas”.
Instituto C
O Instituto C mostrou um cenário completamente diferente. Tudo estava tecnicamente empatado desde o início até o fim do pleito eleitoral, segundo eles. A Sra. Honesta sempre esteve à frente, à exceção da última pesquisa, mas sempre o empate técnico foi declarado pelo Instituto C. Tudo sempre esteve em aberto.
Porém, usando o resultado das urnas para avaliar as pesquisas, o Instituto C é o único que pode se gabar de dizer que teve exatamente 100% de acertos em suas pesquisas.
“Mas como isso?! Que absurdo é este?! Eu me lembro muito bem que na última pesquisa, esse tal Instituto C tinha mostrado uma virada do Sr. Verdadeiro! Ele vinha crescendo devagarinho e na última tava um pouco na frente! Como que pode um instituto desses ter 100% de acertos enquanto o tradicional Instituto A tem só 60%, e no fim acertou que a Honesta ia ganhar? Que estranho… devem estar fazendo isso para privilegiar a turma desse Instituto C”, fica em dúvida um eleitor.
Dilema
Em suma, o cenário é este:
- Instituto A: 60% de acertos. Acertou a vitória da Sra. Honesta.
- Instituto B: 40% de acertos. A última pesquisa apontou empate técnico, mas acertou diante da margem de erro. O eleitor vai associar como acerto para a última pesquisa, pois nela a Sra. Honesta estava na frente.
- Instituto C: 100% de acertos. Sempre apontou empate técnico. Todavia, o eleitor vai associar erro para a última pesquisa, pois nela a Sra. Honesta estava atrás.
Mas será que esses percentuais estão de fato corretos? Qual instituto tem maior credibilidade? Qual tem a maior taxa de erros? É lícito dizer que o Instituto C é melhor que A e que B? E se a narrativa do Instituto B for de fato corroborada por especialistas em política e eleições, podemos então falar que o Instituto C errou nas pesquisas iniciais e que somente o Instituto B acertou 100%?
Amostragem sempre está sujeita a erros. Mas nem sempre é possível ou viável saber se erramos.
A amostragem é extremamente útil porque nem sempre é possível, ou viável, acessar toda a população para medir suas características. Mas quando se utiliza da amostragem, sempre se está sujeito a erros. Sempre. O erro é inerente ao processo justamente porque a população não foi inteiramente observada, mas sim somente uma parcela desta.
As inferências realizadas via amostragem são válidas quando a amostra foi observada. No caso de uma população dinâmica, sujeita a transformações a cada minuto (ou a cada tweetada), é absolutamente incorreto usar uma observação futura para aferir acertos ou erros de processos amostrais do passado. Fazer isso seria pressupor que a população não é dinâmica ou então que possui um grau de dinamicidade bastante baixo.
Para as pesquisas eleitorais, não é possível saber qual pesquisa acertou ou errou. As inferências sobre a população valem somente para o instante em que a amostra foi observada. Até mesmo a própria divulgação de resultados de uma pesquisa, a qual geralmente ocorre alguns dias depois das entrevistas com os eleitores (instante da observação da amostra), tem o poder de alterar as opiniões dos eleitores e mudar completamente o perfil da população.
Conclusão
Se não é viável ou possível de se determinar quando uma pesquisa acertou ou errou, sem margens para narrativas, então não se deveria tornar obrigatória a informação de um percentual de acertos de cada instituto.
A veiculação desses percentuais, sem base técnica, tem o poder de gerar confusão nos eleitores, resultar em equivocada interpretação de resultados e inflar ou diminuir, equivocadamente, a reputação de institutos de pesquisa.
Observações:
[1] Caso esteja interessado em se aprofundar mais no tema, recomendo a leitura do artigo “Ano de eleições é ano de estatística é ano de erros“, escrito em junho de 2017 (mas ainda atual) pelo jornalista especializado em matemática Márcio Simões e disponível em seu blog {Imaginário Puro}. Não somente este, mas todos os artigos do Imaginário Puro são recomendáveis.
[2] O exemplo narrado acima é uma simplificação. Não foram considerados eleitores indecisos, por exemplo. É importante o leitor notar que mesmo em um exemplo bastante simples (somente com dois candidatos e sem eleitores indecisos nas pesquisas) determinar o tal percentual de acertos da pesquisa já é uma tarefa complexa e que abre margem para narrativas das mais diversas. O leitor pode fazer um exercício e imaginar como o inciso VII do Art. 581 seria aplicado em um cenário real, com pesquisas eleitorais envolvendo 7 ou 8 candidatos e com percentual de eleitores indecisos. Como seria calculado o percentual de acertos do instituto? Candidato a candidato? Somente para quem está na frente?
[3] As pesquisas eleitorais geralmente são conduzidas para medir intenções de voto do eleitorado geral. O procedimento de amostragem dos institutos de pesquisa consideram aspectos dessa população (eleitores), tais como idade, sexo etc. para dimensionar quantas pessoas de cada estrato necessitam ser entrevistadas para produzir as estimativas de intenções de voto. Todavia, o resultado das urnas não necessariamente reflete a posição do eleitorado geral, mas sim reflete a posição do eleitorado que comparece às urnas (ou seja, excluindo abstenções), as quais podem ter diferenças consideráveis. Caso o leitor queira se aprofundar nesse detalhe, recomendo explorar os dados do eleitorado geral (por faixa etária, sexo, grau de instrução etc.) e comparar com os dados do eleitorado que compareceu às urnas, todos disponíveis nas Estatísticas Eleitorais do TSE.
[4] Talvez a pesquisa boca de urna seja a única em que é razoável de se utilizar o resultado das urnas para avaliar o acerto ou erro do instituto de pesquisa, pois ela é realizada no dia da eleição e com pessoas que efetivamente foram votar. No entanto, não parece que o inciso VII do Art. 581 do Código Eleitoral visa a utilizar somente os resultados das pesquisas boca de urna para aferir percentual de acertos de institutos de pesquisa.
[5] No fechamento deste artigo, foi noticiado pela Câmara que os deputados federais aprovaram por 378 votos a favor e 80 votos contrários o texto-base do Novo Código Eleitoral. O Plenário está analisando, neste instante, destaques apresentados pelos partidos na tentativa de mudar trechos do relatório (Fonte: Agência Câmara de Notícias)
Crédito: Ricardo Ivanov/Linkedin – 10/09/2021
