O Palpite do Especialista

Tetlock reuniu 82.361 previsões de 284 especialistas em vinte anos e o acerto médio perdeu para regras estatísticas simples.

82.361 palpites, 284 especialistas, 20 anos

O entrevistado tem trinta anos de estrada, um cargo com nome comprido e uma frase que soa definitiva: no fim do ano que vem, o país vai estar em recessão. Ninguém pergunta o que ele quer dizer com recessão, ninguém pede um número, ninguém marca a data no calendário para conferir depois. A frase circula, vira manchete, entra em relatório interno de empresa e some.

Doze meses depois, o país cresceu. E não acontece nada. Ninguém volta ao vídeo, ninguém abre o relatório para riscar a linha errada, e o mesmo entrevistado é chamado de novo na semana seguinte para dizer o que vem pela frente.

Repare no desenho estranho dessa engrenagem. Em quase toda profissão existe um placar. O cirurgião tem taxa de complicação, o piloto tem horas sem incidente, o vendedor tem meta batida ou não batida. Quem opina publicamente sobre futuro trabalha no único mercado onde o produto nunca é conferido depois da entrega.

Sem placar, a régua de qualidade escorrega para outro lugar. Passa a valer quem fala melhor, quem soa mais seguro, quem tem a história mais fechada, quem consegue explicar o mundo inteiro com uma única ideia grande. A confiança vira o critério, porque o acerto não está sendo medido por ninguém.

E existe um detalhe que piora tudo. A pessoa que fala com mais certeza é justamente a que rende melhor no vídeo de três minutos. O convite para voltar ao ar depende do desempenho no palco, não do desempenho na previsão, e o incentivo empurra todo mundo na direção da frase categórica.

Esse mecanismo mexe com decisão de gente comum. Você usa esse tipo de previsão para escolher onde colocar dinheiro, quando trocar de emprego, se compra ou espera, se abre o negócio agora ou daqui a dois anos. Se a régua está torta, a decisão que se apoia nela também está.

Um pesquisador resolveu montar o placar que ninguém montava. Ele passou vinte anos anotando palpite por palpite, com prazo e probabilidade, e depois foi conferir um por um.

Continue lendo ↓

I  O Viés da Semana

Vinte anos anotando quem errou

Entre 1984 e 2003, o psicólogo político Philip Tetlock recrutou 284 profissionais que ganhavam a vida comentando ou aconselhando sobre tendências políticas e econômicas, e pediu a cada um previsões sobre assuntos dentro e fora da própria especialidade.

O desenho do estudo é o que dá força ao achado. Tetlock não perguntou opinião solta. Cada previsão vinha em formato fechado, com três cenários possíveis para uma pergunta específica, um prazo definido e uma probabilidade numérica atribuída pelo próprio especialista a cada cenário.

O cenário continua igual, sobe ou desce. A moeda se mantém, valoriza ou desvaloriza. O governo permanece, é substituído por via institucional ou cai por ruptura. Com prazo e número na mesa, a conferência depois vira aritmética, não discussão sobre o que a pessoa quis dizer.

Ao longo de duas décadas, o arquivo chegou a 82.361 previsões conferidas contra o que de fato aconteceu. É um volume que tira o resultado do terreno do caso isolado e da anedota de bar.

O primeiro achado foi de calibragem. Os eventos que os especialistas classificaram como praticamente certos, com probabilidade beirando o topo da escala, deixaram de acontecer numa fatia relevante das vezes. A certeza declarada e a frequência observada não caminhavam juntas.

Vale entender o que essa comparação significa na prática. A regra que venceu não sabia nada de política, não lia jornal e não tinha teoria nenhuma. Ela apenas repetia o presente para o futuro próximo, e ainda assim bateu o julgamento treinado de gente com doze anos de carreira em média.

O segundo achado é o mais desconfortável dos dois. Tetlock separou os participantes por exposição pública e comparou o desempenho dos que apareciam com frequência na imprensa com o dos que trabalhavam longe dos holofotes.

Os mais requisitados pela mídia tiveram desempenho pior. Quanto mais o nome circulava em entrevista e coluna, menor a precisão medida, e a explicação está no incentivo: quem soa categórico é convidado de novo, e quem hesita perde o espaço para o próximo.

II  Na Prática

A certeza que ninguém cobra

O mesmo desenho aparece longe da televisão, sempre que alguém opina sobre futuro sem deixar rastro conferível. O consultor que garante que o setor vai consolidar em dois anos, o gestor que afirma que o concorrente não sobrevive ao trimestre, o cunhado que sabe exatamente para onde vai o dólar.

Nenhuma dessas frases custa nada a quem fala. Elas não têm data, não têm número e não têm placar. Se acertar, vira prova de faro. Se errar, some no volume de conversa da semana seguinte e ninguém traz de volta.

A assimetria fica clara quando você inverte o lado. Quem escuta a previsão paga o preço inteiro do erro, com dinheiro, tempo ou carreira. Quem emite paga zero, e ainda coleta reputação pela segurança com que falou.

Existe um segundo efeito, mais sutil. A pessoa que ouve uma frase categórica desliga a própria dúvida. A certeza alheia funciona como atalho cognitivo: se ele está tão seguro, deve saber de algo que eu não sei, e a minha hesitação passa a parecer ignorância em vez de prudência.

Vale marcar o outro lado com a mesma clareza, porque a régua vira desculpa para ignorar quem estudou o assunto a vida inteira. Especialista continua sendo a melhor fonte disponível sobre como um sistema funciona, quais forças estão em jogo e o que já foi tentado antes.

O que o levantamento derruba é uma habilidade específica, a de cravar resultado datado em sistema complexo, com muitos atores e muito acaso. Ele não derruba o conhecimento do campo, e confundir as duas capacidades leva o leitor do excesso de confiança para o cinismo, que é igualmente inútil na hora de decidir.

A distinção prática é simples. Pergunte ao especialista como funciona, o que costuma acontecer nesse tipo de situação e quais sinais antecipam mudança. Desconfie quando a resposta virar uma data com um número cravado e nenhuma faixa de incerteza em volta.

E repare em quem muda de ideia. Tetlock observou que o desempenho melhor aparecia em quem juntava fontes diferentes, admitia dúvida e corrigia a estimativa quando o fato novo chegava, e não em quem defendia a mesma tese com mais firmeza a cada rodada.

Quem banca a edição de hoje

O clique de apoio mantém a edição gratuita

III  Teste Rápido

Cobre placar de quem opina, inclusive de você

O ajuste não é parar de ouvir especialista nem parar de fazer previsão, porque decidir exige alguma aposta sobre o que vem. O ajuste é transformar palpite em item conferível e montar o placar que o mercado de opinião nunca montou.

Comece pelo seu próprio caderno. Toda vez que você tomar uma decisão relevante apoiada numa expectativa, escreva a expectativa em uma linha, com data e probabilidade, antes de agir. O texto escrito antes é o que impede a memória de reescrever o passado a seu favor.

A memória faz esse trabalho sozinha e faz muito bem. Depois que o fato acontece, o cérebro ajusta a lembrança da própria expectativa para perto do resultado, e a sensação de que você já sabia bloqueia qualquer aprendizado possível.

Vale marcar o teto dessa ferramenta com honestidade. Ela melhora a qualidade do seu julgamento e o filtro de quem você escuta, mas não transforma sistema complexo em terreno previsível, e existe território onde a resposta correta é assumir que ninguém sabe e montar a decisão para aguentar os dois lados.

Vale marcar também onde ela rende mais, e o levantamento de vinte anos dá a pista: rende quando o horizonte é curto, quando a pergunta é específica e quando existe registro anterior para comparar. Rende pouco em pergunta larga sobre horizonte de dez anos.

Traduzindo para a sua semana: escolha a decisão que mais depende de uma expectativa sua, escreva a frase conferível com data e probabilidade, agende a conferência e anote o que você faria se estivesse errado.

E preste atenção na sensação que aparece quando alguém fala com certeza absoluta sobre o ano que vem. O alívio de ouvir uma resposta fechada é agradável, e é exatamente por causa dele que a frase categórica circula mais que a frase calibrada.

"Qual foi a última previsão sua que você conferiu com data na mão?"

Reme contra. Adversus flumen.

CONTRA MARÉ

Nade na sua própria direção