A pontuação de audiência do Rotten Tomatoes está quebrada e só está piorando. O sistema de revisão do público do Rotten Tomatoes sempre teve muito mais problemas do que o sistema de revisão crítica, mas alguns dados importantes sobre as análises do público revelam o quão quebrado é o sistema. Embora o Rotten Tomatoes tenha feito algumas alterações nos dados e na maneira como são exibidos ao longo dos anos, a maioria dessas alterações apenas tornou os dados ainda mais inutilizáveis.
O sistema de revisão do público no Rotten Tomatoes sempre foi criticado devido à sua vulnerabilidade para revisar bombardeios, brigadas e a percepção de um viés maior entre o público do que com críticos profissionais. Embora as diferenças na qualidade das críticas e das avaliações do público possam ser vistas como um debate subjetivo, alguns problemas muito claros com a qualidade dos dados das avaliações do público e sua apresentação diminuem o valor das avaliações feitas pelos usuários.
Os dados da pontuação da revisão do público do Rotten Tomatoes estão quebrados
Vários filmes populares têm problemas significativos com os dados de avaliação do público no Rotten Tomatoes. O Screen Rant já cobriu o problema com a pontuação de audiência do Rotten Tomatoes para o filme de Sam Raimi. homem Aranhaonde ganhou misteriosamente mais de 30 milhões de novas críticas e caiu 27 por cento e um problema praticamente idêntico com Guerra nas Estrelas: A Vingança dos Sitha pontuação de audiência caiu 21 por cento, mas o problema se estende a vários outros filmes lançados antes de 2010, incluindo O Senhor dos Anéis: O Retorno do Rei, Piratas do Caribe: A Maldição do Pérola Negra, king kong, Gladiador, Onze Oceanose provavelmente muitos mais.
O problema com os dados não seria tão notável se não fosse pelo comportamento aparentemente uniforme. Usando The Wayback Machine para medir as pontuações dos filmes em diferentes pontos no tempo, todos os filmes em questão viram suas pontuações de audiência saltarem repentinamente de alguns milhares de críticas enviadas por usuários para mais de 30 milhões de críticas em outubro de 2010. Em alguns casos, tais como homem Aranha e Guerra nas Estrelas: A Vingança dos Sitha pontuação do público sofre uma queda significativa como resultado desse fluxo, mas a alteração da pontuação não é consistente em todos os setores.
Pode haver uma resposta óbvia para por que os dados do Rotten Tomatoes são tão ruins
A coisa mais notável sobre os dados é a consistência no número de novas avaliações e o momento em que elas apareceram no sistema do Rotten Tomatoes. Na maioria dos casos identificados, o número de novas revisões gira em torno de 30 milhões, e todas elas apareceram em outubro de 2010. Dado o comportamento ou os dados, é muito fácil descartar um aumento orgânico ou revisar o bombardeio como a causa do massivo influxo, já que nenhuma dessas explicações explica as semelhanças no tempo e no volume espalhados por vários filmes sem semelhanças óbvias além do fato de que todos eram filmes populares nos anos 2000.
Esse comportamento é particularmente notável porque o Flixter adquiriu o Rotten Tomatoes em 2010. O Flixter era um aplicativo de recomendação de filmes projetado para coletar avaliações de usuários e usar esses dados para recomendar filmes a seus assinantes. O Flixter ostentava mais de 35 milhões de downloads e estava vinculado ao Facebook, facilitando o envio de avaliações pelos usuários, especialmente para lançamentos recentes, pois eram apresentados no aplicativo com apenas alguns cliques ou toques necessários para definir uma classificação por estrelas. Se o Flixter combinasse seus dados de avaliação de usuários com o Rotten Tomatoes, isso explicaria todas as anomalias inexplicáveis por envios orgânicos ou bombardeio de avaliações.
Por que a combinação com os dados do Flixter quebra o sistema de audiência do Rotten Tomatoes
Se os dados foram simplesmente combinados como aparecem, apresentam alguns problemas importantes. Primeiro, os dados são coletados de diferentes públicos de maneiras diferentes, portanto, não podem ser simplesmente combinados como se uma avaliação de 5 estrelas do Flixter fosse equivalente a uma avaliação de 5 estrelas no Rotten Tomatoes ou vice-versa. Em segundo lugar, não há como desduplicar avaliações enviadas pela mesma pessoa em cada plataforma. Terceiro, o fato de alguns filmes terem recebido 30 milhões de críticas adicionadas e outros não significa que há um impacto massivamente desproporcional dependendo da popularidade de um filme, o que significa que algumas pontuações são compostas por quase 100% de dados do Flixter, enquanto outras são principalmente críticas do Rotten Tomatoes.
Uma análise por Margens em 2019 identificou discrepâncias entre pontuações de revisão em diferentes plataformas como Rotten Tomatoes, Fandango, IMDB e Metacritic. Embora não haja dados disponíveis para analisar quão diferentes os dados do Rotten Tomatoes e do Flixter eram pré-integração, é lógico supor que havia uma disparidade semelhante. O valor dos dados em qualquer plataforma não vem das pontuações reais, mas das pontuações relativas a outros filmes no mesmo conjunto de dados. Por exemplo, as classificações do IMDB podem ser comparadas entre si, mas uma classificação do IMDB não pode ser comparada a uma classificação do Fandango, portanto, combinar arbitrariamente dados de duas plataformas apenas torna os dados menos utilizáveis.
As correções do Rotten Tomatoes quebraram ainda mais a pontuação do público
O Rotten Tomatoes fez algumas mudanças no sistema de classificação nos anos seguintes, a maioria das quais parece projetada para corrigir esses mesmos problemas. Infelizmente, o subjacente ainda está quebrado, e as correções superficiais apenas tornaram o sistema de pontuação do público no Rotten Tomatoes ainda mais quebrado ao longo do tempo. A razão pela qual esses dados só são identificáveis usando The Wayback Machine é porque o Rotten Tomatoes começou a ocultar as verdadeiras contagens de resenhas de cada filme, limitando o contador em “250.000+”, então não há outra maneira de diferenciar quais filmes têm 30 milhões de resenhas do Flixter adicionadas e quais não.
Além disso, o novo “Verified Audience Score” do Rotten Tomatoes fragmenta ainda mais os dados. Para ser justo, a verificação da compra de ingressos para evitar críticas de spam é uma ideia inteligente, mas o problema é que a pontuação verificada é apenas para filmes lançados após a implementação do recurso, o que significa que agora existem basicamente três conjuntos de dados diferentes em jogo – avaliações de público não verificadas, verificadas avaliações do público e avaliações do Flixter. Diferentes filmes têm diferentes combinações desses três conjuntos de dados, mas não há como identificá-lo sem usar The Wayback Machine e, como dados de revisão para homem Aranha e Guerra nas Estrelas: A Vingança dos Sith mostram, a diferença nos dados pode ser responsável por grandes mudanças na pontuação.
Não está claro se essas mudanças foram implementadas pelo Rotten Tomatoes explicitamente para encobrir ou corrigir o fato de que os dados incorretos quebraram o sistema de avaliação do público, embora seja estranho limitar o contador de críticas a 250.000 quando muitos filmes têm mais de 30 milhões de críticas. submetido. Normalmente, um agregador de críticas como o Rotten Tomatoes gostaria de destacar o fato de que alguns de seus filmes têm mais de 30 milhões de críticas enviadas, embora isso pareça estranho ao lado de outros filmes populares como Vingadores Ultimatoque tem apenas 50 mil avaliações de usuários.
As críticas do Rotten Tomatoes sempre serão subjetivas, especialmente as críticas do público, portanto, qualquer sistema de pontuação deve ser considerado com cautela; no entanto, grandes coleções de dados de resenhas podem ser uma ferramenta valiosa para comparar as reações do público a diferentes filmes. Infelizmente, o que quer que tenha acontecido exatamente com os dados do Rotten Tomatoes em 2010, seja integração com o Flixter ou não, quebrou totalmente o sistema de revisão do público, e a redução na transparência e outras mudanças no sistema de revisão do público do Rotten Tomatoes nos anos seguintes só fizeram coisas pior.