O Teste Que Ninguém Pensou em Fazer

Em 1985 a nova fórmula venceu 190 mil testes cegos, e 79 dias depois a antiga voltou às prateleiras a pedido de quem tinha votado.

Atlanta, 1985: a lata que voltou em 79 dias

Em 1985, a Coca-Cola Company contabilizou vitória da fórmula nova sobre a antiga em cerca de 190 mil testes cegos de sabor pagos e conduzidos pela própria empresa. Setenta e nove dias depois de colocar a bebida nova nas prateleiras, em 11 de julho de 1985, a mesma companhia anunciou o retorno da fórmula original com o nome Coca-Cola Classic.

Os dois números saíram do mesmo departamento, no mesmo ano, sobre o mesmo produto, e nenhum dos dois estava errado. A versão nova realmente agradava mais ao paladar de quem provava, e o público realmente exigiu a antiga de volta num volume que a companhia não conseguiu ignorar.

O contexto ajuda a entender por que a diretoria confiou tanto no resultado. Desde 1975, a PepsiCo rodava o Pepsi Challenge, um teste cego em praça pública no qual participantes provavam dois copos sem rótulo e escolhiam. A Pepsi vencia com frequência incômoda, e a participação de mercado da Coca-Cola vinha encolhendo havia anos no canal de supermercado.

A resposta foi técnica e cara. A companhia reformulou o xarope, deixou a bebida mais doce e mais macia, e submeteu a versão nova ao mesmo tipo de prova em que vinha perdendo. Ganhou em Atlanta, ganhou nas praças, ganhou entre consumidores fiéis da própria marca.

O detalhe operacional importa: a prova era um gole. Um copo pequeno, sem gelo, sem comida junto, sem a lata na mão e sem a garrafa em cima da mesa. Bebida mais doce leva vantagem em gole único e perde terreno quando a pessoa toma trezentos e cinquenta mililitros no almoço, e o desenho da prova favorecia exatamente a característica que a fórmula nova tinha de sobra.

O que nenhum daqueles copos mediu foi o efeito de retirar a bebida antiga de circulação. Todos os participantes escolheram entre dois líquidos disponíveis. Nenhum deles escolheu entre continuar tendo a original e trocá-la por outra em definitivo.

A seção a seguir mostra por que uma pesquisa bem executada, com amostra grande e método cego, produz um resultado verdadeiro e sustenta uma decisão errada.

Continue lendo ↓

I  O Viés da Semana

O teste que respondeu outra pergunta

A pergunta que os 190 mil copos responderam foi simples e bem respondida: entre estas duas bebidas, qual você prefere agora. A pergunta que a diretoria precisava responder era outra: o que acontece com quem gosta da original quando ela some da prateleira.

Vale separar duas perguntas que costumam viajar juntas dentro da mesma pesquisa. Uma mede qual opção o participante prefere quando as duas estão à mão. A outra mede quanto ele resiste a abrir mão da que já tem. A primeira sai barata e rápida; a segunda exige encenar a retirada, e quase nenhum questionário faz encenação.

A distância entre as duas parece pequena no papel e fica enorme na prática. Preferência comparativa e reação a uma perda são estados diferentes, medidos por instrumentos diferentes, e o segundo custa mais para investigar.

Repare no mecanismo. O instrumento estava calibrado, a amostra era grande, o método era cego e o resultado se repetia. Uma prova pode ter execução impecável e ainda assim medir uma grandeza que não decide o problema em jogo.

Daniel Kahneman e Amos Tversky descreveram em "Prospect Theory: An Analysis of Decision under Risk", publicado na revista Econometrica em 1979, a assimetria entre ganho e perda: a mesma quantidade pesa mais quando avaliada como perda do que quando avaliada como ganho.

A empresa mediu o ganho pequeno com precisão de laboratório e deixou a perda inteira fora do formulário. Nenhum participante foi avisado de que a original sairia de circulação, então nenhum deles precisou considerar a hipótese enquanto escolhia o copo.

Cialdini publicou o livro no ano anterior ao lançamento, descrevendo experimentos em que o mesmo item ganhava valor declarado ao ficar escasso. Atlanta produziu a demonstração em escala industrial e sem querer: a bebida retirada virou estoque de garagem, mercado paralelo e abaixo-assinado, sem que uma gota dela tivesse mudado.

Havia ainda sinal dentro da própria casa. Mark Pendergrast, em "For God, Country and Coca-Cola", de 1993, relata que em parte dos grupos de discussão, quando o moderador avisava que a fórmula nova substituiria a antiga em definitivo, a conversa azedava e a rejeição aparecia. O achado existia e ficou fora da conta principal, que era estatística e vinha de amostra muito maior.

II  Na Prática

Quem responde não sabe o que vai perder

A reação não começou pela queda de vendas. Começou pelo telefone. A linha de atendimento ao consumidor da companhia, que recebia algumas centenas de ligações por dia antes de abril, passou a receber milhares, e a empresa contabilizou mais de 400 mil ligações e cartas sobre a troca ao longo daqueles meses.

O teor das cartas ajuda a dimensionar o erro de medição. Muita gente não escreveu sobre sabor. Escreveu sobre infância, sobre a garrafa na mesa do avô, sobre a lata que acompanhou uma mudança de cidade. O objeto retirado carregava memória, e memória não aparece em prova de gole.

Em Seattle, Gay Mullins fundou a Old Cola Drinkers of America, entidade que juntou assinaturas, ameaçou processo e distribuiu material contra a mudança. Em teste cego feito pela imprensa com o próprio Mullins, ele não identificou corretamente qual copo continha a fórmula que dizia defender.

Aqui mora a parte desconfortável para quem decide com dado. A empresa não agiu por palpite. Gastou milhões, contratou pesquisa e seguiu o resultado. O procedimento estava correto e a conclusão saiu errada, porque a pergunta feita ao público não era a pergunta que a decisão exigia.

Donald Keough, então presidente da companhia, resumiu o episódio na coletiva de 11 de julho de 1985 dizendo que a paixão pela Coca-Cola original tinha pegado a empresa de surpresa, e que nenhuma pesquisa que eles conduziram foi capaz de medir aquele apego.

A volta da fórmula antiga não apagou a nova. As duas passaram a conviver na prateleira, a Coca-Cola Classic recuperou vendas no ano seguinte, e daí nasceu a lenda persistente de que tudo teria sido jogada de marketing planejada. Keough respondeu à acusação com uma frase seca: a empresa não é tão burra nem tão inteligente assim.

O aprendizado transferível não depende de refrigerante. Sempre que uma decisão retira algo que as pessoas já têm, a prova precisa incluir a retirada. Encerrar um plano, desligar um recurso de produto, mudar cardápio, alterar horário de atendimento: em todos esses casos o comparativo entre opções disponíveis subestima a reação de quem perde a alternativa antiga.

III  Teste Rápido

Três perguntas para o seu próximo teste

O procedimento abaixo vale para qualquer mudança que retire uma opção existente: encerrar um plano, trocar fornecedor, redesenhar uma tela, mudar a rotina de um time. A ideia central se mantém: prova comparativa mede preferência entre alternativas presentes e cala sobre a ausência.

A primeira pergunta é a mais desagradável, porque obriga a escrever em voz alta o custo que a proposta impõe a terceiros. Projeto que não consegue nomear o próprio custo costuma estar sendo defendido por quem não vai pagá-lo.

A segunda explica reações que parecem desproporcionais. A conta de quem perde não é simétrica à de quem ganha, e a pessoa que reclama do desligamento de um recurso obscuro não está exagerando: ela está avaliando uma perda com o peso que perdas costumam ter.

A terceira era a que a Coca-Cola tinha ao alcance da mão. Havia sinal nos grupos pequenos, e ele foi ofuscado pela amostra grande, que respondia outra questão. Amostra maior não corrige pergunta errada; ela apenas produz um número errado com mais casas decimais.

Vale registrar o contorno do exercício. Nada aqui recomenda descartar teste de preferência, que continua útil para escolher entre duas adições e para eliminar opção ruim antes do investimento. O limite é específico: prova de preferência não estima custo de remoção, e quem usa uma no lugar da outra troca de instrumento no meio da medição.

Traduzindo para a sua semana: pegue a mudança que você pretende implementar nos próximos trinta dias, escreva em uma linha o que o outro lado deixa de ter e mostre essa linha a três pessoas que usam o que vai sair.

E aí você escolhe entre duas saídas. Seguir com o resultado da prova que já tem, que compara duas opções presentes e sai barata, ou gastar mais uma semana rodando a versão com retirada explícita e correr o risco de descobrir que a mudança aprovada derruba mais gente do que agrada. As duas contas estão acima.

"Sua pesquisa mediu qual opção agrada mais ou quanto dói perder a que já existe?"

Reme contra. Adversus flumen.

CONTRA MARÉ

Nade na sua própria direção