Alfredo Martinho, MD, Editor Inlags Academy

 

As Fake News, não são privilégio das mídias do ódio nem da deliberada intensão de grupos, nesses momentos de pânico e pandemônio que nos vemos inseridos.

A possibilidade de nos depararmos com a “má ciência” ou, melhor dizendo da “ciência incompleta” é um fato real que está acontecendo.

A boa ciência requer tempo, revisão por pares, replicação. Nos últimos meses, o processo científico relacionado ao COVID-19 foi acelerado. O tempo foi compactado e os pesquisadores correm para produzir resultados, os periódicos acadêmicos correm para publicar e a mídia para trazer novas informações a um público assustado.

Nesse processo, rápido ou lento, um erro pode custar milhares de vidas.

São diversos campos de estudo, não necessariamente ligados à saúde que podem pautar o tema e, os economistas nesse quesito são reiteradamente equivocados, não é de hoje que vemos como a interferência de uma ótica predominantemente econômica e dissociada dos fatos que a assistência acusa, induzem a erros fatais na condução equivocada de políticas públicas.

Não só os economistas, o exemplo mais emblemático e recente veio de dentro da Casa Branca quando Peter Navarro, um cientista social no alto do palanque de entrevistas me sai com uma pérola dessas: “Sou um cientista social. Tenho doutorado e entendo ler estudos estatísticos. ” Desde então, o FDA emitiu um alerta contra o uso de hidroxicloroquina como tratamento COVID-19 fora de um hospital ou ensaio clínico.

Portanto, especialistas em áreas não relacionadas, posicionando-se como especialistas na disseminação e tratamento do COVID- 19 com suas credenciais sólidas podem dificultar ao público leigo saber em quem confiar.

O processo científico conta com um expediente denominado “revisão por pares” e mesmo essa etapa foi acelerada com riscos maiores.

Muitos estudos passam a ser publicados em fase inicial pulando semanas que seriam necessárias para revisão condensando em até 48 horas ou até menos.

Então, vários periódicos de renome como The Lancet, JAMA, New England Journal of Medicine, Science, Nature – para ficar apenas nos mais conhecidos, não que publiquem deliberadamente trabalhos fraudulentos, mas na verdade, incompletos, em fase inicial, mal revisados, sem grupo controle – o que, fora desse período de pandemia, nem nos piores periódicos seriam apresentados.

Desde janeiro de 2020 a Science recebeu mais de 320 envios de pesquisas relacionadas ao covid-19, o JAMA, 2000 trabalhos de pesquisa, tendo sido publicados apenas 100. Em média, de acordo com o co-fundador do Retraction Watch, Dr. Ivan Oransky, o tempo decorrido entre a publicação e retirada de um artigo é de aproximadamente três anos. Até recentemente, pelo menos seis estudos do COVID-19 foram retirados, de acordo com o banco de dados do Retraction Watch.

O volume é tão impressionante, que foram publicados mais de 8.500 artigos ao longo do surto e mais da metade em bancos de dados que ainda não revisaram formalmente e, mesmo assim, saíram na mídia sem a mínima triagem qualificada.

Tudo compreensível, dado ao estado de ansiedade e até pânico fazendo com que as pessoas busquem alguma coisa que possa aplacar suas ameaças existenciais, milhares estão morrendo em todo o mundo todos os dias.

Para nos vacinarmos, sejamos leigos ou da área da saúde, é bom que fixemos como um mantra sobre o que é ou não confiável e científico o conceito de boa ciência:

“A boa ciência requer tempo, revisão por pares e replicação”.

Leiam o artigo abaixo publicado em 28 de abril, em que Especialistas dizem que a pandemia está deixando a ciência ruim escapar das fendas.

Boa leitura!

A ciência tem um lado escuro feio e complicado. E o coronavírus está trazendo à tona.

 

Jackie Flynn Mogensen

Assistant EditorBio | Follow

A má ciência, é muito parecida com um vírus.

Começa pequeno, mas, se compartilhado o suficiente, pode causar interrupções globais.

Você pode se lembrar de uma briga no início, sobre se é seguro tomar ibuprofeno para tratar os sintomas do coronavírus.

É um excelente exemplo de como uma série de erros infelizes pode levar a más políticas de saúde.

Tudo começou de forma inofensiva, quando a Lancet Respiratory Medicine, uma respeitada revista, publicou uma carta de 400 palavras de um grupo de pesquisadores europeus que levantou algumas preocupações de segurança sobre o medicamento.

Era uma opinião que, segundo pelo menos um dos autores, era uma hipótese, não uma recomendação médica. Mas grande parte do mundo tratou a mera sugestão como se fosse derivada dos resultados de um ensaio clínico. Dentro de uma semana, o ministro da Saúde francês, seguido por um porta-voz da Organização Mundial da Saúde, recomendou que as pessoas com COVID-19 não tomassem ibuprofeno.

Um dia depois, após uma reação de médicos e cientistas, a OMS voltou atrás, dizendo que “não recomendava contra” o uso de ibuprofeno.

A medida gerou confusão generalizada e, para uma instituição em que todos confiamos em informações sólidas, não foi uma ótima aparência.

A boa ciência requer tempo, revisão por pares, replicação.

Mas nos últimos meses, o processo científico de todas as coisas relacionadas ao COVID-19 foi acelerado. Embora isso seja, é claro, compreensível em algum nível – milhares estão morrendo em todo o mundo todos os dias, afinal – não é necessariamente seguro. O que antes era uma maratona foi compactado a uma corrida de 400 metros: os pesquisadores correm para produzir resultados, os periódicos acadêmicos correm para publicar e as corridas da mídia para trazer novas informações a um público assustado e ansioso. E, ao mesmo tempo, opiniões não verificadas circulam amplamente nas mídias sociais e na TV dos chamados especialistas, o que torna a compreensão da situação ainda mais difícil.

A má ciência – ou, pelo menos, a ciência incompleta – está simplesmente escorregando pelas rachaduras.

Conduzir e comunicar pesquisas rapidamente durante uma pandemia é, por si só, uma coisa positiva. Mas “há velocidade e depois há muita pressa”. Como sempre dizemos: “Rápido, mas errado, é rápido”, diz o Dr. Irving Steinberg, professor associado de farmácia clínica e pediatria na Escola de Farmácia da Universidade do Sul da Califórnia e na Escola de Medicina Keck. (Steinberg escreveu um artigo descrevendo o desastre do ibuprofeno na Conversation, uma redação sem fins lucrativos que publica artigos escritos por acadêmicos, no início deste mês.)

Para deixar claro, o que estou falando aqui é mais do que analgésicos vendidos sem receita, mais do que trolls nas mídias sociais que espalham teorias de conspiração e muito mais do que um presidente e algumas personalidades da Fox News divulgando remédios contra malária ou injeções de alvejantes não comprovados. É uma ameaça fundamental para os meios de informação confiáveis ​​- revistas acadêmicas, mídia e instituições globais de saúde – e, por sua vez, nosso próprio bem-estar.

Na mesma época que o caso do ibuprofeno, por exemplo, algumas informações ruins aparentemente circularam entre os assessores do presidente Trump. Durante uma conferência de imprensa em 17 de março, um repórter perguntou por que os Estados Unidos não importaram testes da OMS no início da pandemia. Quando a coordenadora de resposta ao coronavírus da Casa Branca, Dra. Deborah Birx, interveio para responder, ela citou um estudo publicado em um jornal chinês sobre a alta taxa de falsos positivos de um teste de diagnóstico chinês: “Não ajuda teste em que 50% ou 47% são falsos positivos ”, disse ela. Mas, como a NPR relatou pela primeira vez, o estudo que Birx citou foi retirado apenas alguns dias após a publicação em 5 de março. Além disso, não há evidências de que os testes da OMS estejam com defeito, e a NPR constatou que o número de 47%, que aparece em o resumo do artigo que Birx mencionou nem sequer se refere à precisão geral do teste; em vez disso, refere-se à taxa de falso positivo entre indivíduos assintomáticos que tiveram contato próximo com pacientes com COVID-19. (O estudo parece ter sido removido de seu URL original, embora o resumo ainda exista no banco de dados PubMed da Biblioteca Nacional de Medicina dos EUA, onde foi indicado que o artigo foi “retirado”.)

 

Seria tolice basear qualquer política importante de saúde em um estudo científico e não está claro se esse estudo teve algum papel no fiasco do país com os testes – amplamente considerado como um grande fracasso da resposta do COVID-19 do governo – mas, no entanto, é alarmante que foi repetido como fato pelas mesmas pessoas em que confiamos para liderar nosso país através da pandemia. Dito isto, a confusão não é inteiramente de Birx; afinal, o estudo foi publicado em uma revista após revisão por pares e não foi marcado no PubMed como retirado até semanas após a retração. O verdadeiro problema aqui é que este estudo teve a proeminência que teve.

 

Como os co-fundadores do Retraction Watch, um blog que rastreia retrações acadêmicas, escreveram em um artigo recente para a Wired, o caso envolvendo a Birx “é um exemplo particularmente desanimador e consequente do que acontece quando ninguém se preocupa em checar os fatos científicos. ”

“Mas”, alertaram eles, “não será a última vez que algo que pensávamos saber sobre o coronavírus, porque estava em um artigo publicado, acabaria errado.”

Parte do problema, dizem os especialistas, é que a pandemia provocou uma enxurrada absoluta de manuscritos para revisão em periódicos acadêmicos, que os editores estão trabalhando o tempo todo para processar. Isso, misturado com a fome do público por novas informações e o crescente medo existencial, é algo como a tempestade perfeita.

Normalmente, pode levar várias semanas a meses para que um estudo passe pelo processo de revisão por pares. Não há dados concretos sobre quanto tempo leva agora, mas podemos assumir que são significativamente mais curtos. De acordo com a Primer, uma empresa de inteligência de máquina sediada em São Francisco que está rastreando a pesquisa COVID-19, foram publicados mais de 8.500 artigos relacionados ao COVID ao longo do surto. Um pouco mais da metade desses estudos foram publicados em bancos de dados conhecidos como servidores de pré-impressão, o que significa que ainda não foram revisados ​​formalmente; ainda assim, a mídia pegou muitos deles antes de fazer uma inspeção completa.

“Sem dúvida”, de acordo com o Dr. Howard Bauchner, editor-chefe do Jornal da Associação Médica Americana, o “desafio diário mais significativo” trazido pelo coronavírus é o grande número de manuscritos que o diário recebe. Quando falamos na semana passada, Bauchner disse que a revista havia recebido 235 manuscritos relacionados ao COVID-19 para consideração no dia anterior. “Receberemos outras centenas hoje”, disse ele. Desde 1º de janeiro, o JAMA recebeu cerca de 2.000 trabalhos de pesquisa, opinião e clínica. Eles publicaram cerca de 100.

“Estou vendo meu e-mail ser preenchido. Posso ouvir todos os ping”, disse ele por telefone. “Todo ping significa outro manuscrito para eu olhar.”

A equipe editorial da Science, representando a Science e as cinco outras revistas publicadas pela Associação Americana para o Avanço da Ciência, disse-me em um e-mail que “muitos dos envios de COVID-19 que chegam à família Science foram apressados ​​e não se encontram nossos padrões de publicação e ampla divulgação. ” Desde 1º de janeiro de 2020, a Science recebeu mais de 320 envios de pesquisas relacionadas ao COVID-19, “com um aumento constante no número de envios a cada semana desde essa data”. Em 17 de abril, havia publicado 14 desses trabalhos.

Os dois periódicos, juntamente com a Springer Nature, que publica a Nature e milhares de outros periódicos, garantiram-me que, embora o processo tenha sido acelerado, eles mantêm seus padrões típicos de revisão por pares. Mas é muito cedo para dizer quão bem-sucedido o processo de revisão por pares será manter a pior ciência de fora, tanto nessas publicações – entre as mais influentes revistas científicas do mundo – quanto em outras. Em média, de acordo com o co-fundador do Retraction Watch, Dr. Ivan Oransky, o tempo decorrido entre a publicação e retirada de um artigo é de aproximadamente três anos. Até terça-feira, pelo menos seis estudos ou cartas do COVID-19 foram retirados, de acordo com o banco de dados do Retraction Watch.

Retratações à parte, a situação suscita amplas preocupações sobre o rigor da pesquisa publicada em si. “O que [a pandemia] fez é apenas fazer com que todos se apressassem para publicar e julguem, francamente”, diz Oransky, um médico não praticante que também é vice-presidente de editorial no site de notícias e referência médica Medscape e ensina medicina e jornalismo na Universidade de Nova York. Você está vendo artigos publicados nas principais revistas médicas do mundo que provavelmente nem deveriam ter sido aceitas nas piores revistas médicas do mundo”.”

No início deste mês, por exemplo, o New England Journal of Medicine publicou um estudo de 61 pessoas para uma terapia antiviral chamada remdesivir para tratar o COVID-19. Dos 53 pacientes cujos dados puderam ser analisados, 36 apresentaram melhora após 10 dias de tratamento. Não havia grupo controle, e a Gilead Sciences, empresa que desenvolveu o remdesivir, financiou e conduziu o estudo e ajudou a escrever o primeiro rascunho do manuscrito. O estudo não foi de forma alguma fraudulento, mas apresentou um claro conflito de interesses. “Acho que é bom que tudo esteja lá fora e as pessoas possam vê-lo”, diz Oransky, “mas é tão inconsistente com o que o New England Journal of Medicine afirma que é sempre uma questão”.

Quando perguntei ao New England Journal of Medicine sobre este estudo e se a pandemia afetou seu processo de revisão por pares, ele me disse em um email: “Para o Covid-19, tudo é acelerado tremendamente e um processo que pode levar semanas condensado a 48 horas ou menos em muitos casos “. Ele acrescentou: “Nosso objetivo é sempre ajudar a fornecer aos médicos as informações necessárias para cuidar dos pacientes. Em muitos casos, isso significa publicar estudos da fase inicial que podem ajudar os profissionais de saúde a entender o que está por vir. ”

Eu mesmo quase fui pego nessa tempestade perfeita de ciência bagunçada no início deste mês. Me deparei com um comunicado de imprensa para um estudo de um pesquisador da Universidade de Ottawa, no Canadá, que sugeriu que o coronavírus pode ter se espalhado para os seres humanos através de cães vadios. Eu tive alguns dias para revisar o artigo antes que ele fosse publicado na revista Molecular Biology and Evolution. Entrei em contato com o autor e realizamos uma entrevista por e-mail. Os resultados pareciam fascinantes, e geralmente confio no processo de revisão por pares para eliminar trabalhos problemáticos. Mas quando entrei em contato com especialistas independentes sobre o estudo, todos os três com quem me relacionei me disseram que tinham preocupações significativas com a pesquisa. As conclusões do estudo eram injustificadas, David Robertson, um virologista da Universidade de Glasgow, no Reino Unido, me disse. “Não sei como isso passou na revisão por pares, especialmente para um jornal de boa reputação como o MBE”, disse ele em um email.

As respostas me surpreenderam; afastei meu editor: “Nunca tive especialistas em refutar um estudo como este antes”. Decidimos abandonar a cobertura do estudo, mas outros meios de comunicação o escreveram. Enquanto isso, a CNN cobriu o estudo, mas com uma manchete que chegava diretamente à controvérsia – “Cães vadios e coronavírus: apenas uma teoria hipotética sem provas” – e citou um pesquisador que compartilhava preocupações semelhantes aos especialistas que eu havia falado.  “Não vejo nada neste artigo que apoie essa suposição”, disse à CNN James Wood, chefe do departamento de medicina veterinária da Universidade de Cambridge, no Reino Unido, “e estou preocupado que esse artigo tenha sido publicado em este diário. “

O autor do artigo, Xuhua Xia, respondeu argumentando que a mídia relatou mal seu estudo. Ele me disse em um e-mail: “O artigo foi revisado por cinco árbitros que estão empolgados com o artigo. O MBE é um periódico emblemático de nossa sociedade e não aceita artigos de ânimo leve. Se o Sr. James Wood ou quem tiver objeções ao trabalho, poderá enviar uma crítica do artigo ao MBE ou a outras revistas científicas, e eu certamente responderia. ” Ele também sugeriu que Wood comentou sua pesquisa em uma tentativa de atenção.

Algumas fontes me dizem que a cobertura da imprensa em geral – mesmo que inclua críticas – pode ser uma vitória para os acadêmicos, especialmente aqueles que buscam posse. Mas para os não acadêmicos, esse lado oposto, como é chamado, sem título e estrutura claros, pode criar uma confusão, mascarando a crítica e deixando os leitores confusos sobre o que é a verdade. Por exemplo, Maciej Boni, professor associado de biologia especializado em modelagem matemática e epidemiologia na Penn State University, diz: “Às vezes, um artigo de um escritor de ciências pode colocar as idéias de um biólogo evolucionário contra um anti-evolucionista, fazendo parecer que ambos os lados têm mérito igual. ”

“Confio no sistema de revisão por pares”, acrescenta Boni. “Eu acho que funciona muito bem. E em épocas como essa, há alguma pressão sobre o sistema de revisão por pares e você vê estudos que não devem ser feitos.

O proeminente jornalista científico Ed Yong, que escreveu sobre a pandemia de coronavírus no Atlântico, observa que a ciência ruim sempre escapou: “A revisão por pares é claramente importante para o processo científico, mas não está nem perto de um escudo perfeito contra o mau trabalho. Publicados.” Mas a pandemia, diz ele, acabou de acelerar tudo – e os riscos são maiores.

“Em circunstâncias normais, a ciência é sempre assim”, diz Yong. “Maus estudos são publicados. As pessoas falam sobre eles em ambientes formais e informais, como o Twitter, e nós meio que gradualmente nos aproximamos de uma noção melhor do que realmente está acontecendo. Estamos vendo a mesma coisa agora, está acontecendo muito mais rápido. “

Para tornar as coisas mais confusas, os não especialistas, geralmente com informações ruins, estão adicionando suas próprias vozes ao barulho. Naturalmente, este não é exatamente um fenômeno novo. Porém, durante a era do coronavírus, parece haver um aumento nos Chads da Homeroom, oferecendo amplamente suas opiniões infundadas em seus feeds de mídia social, bem como acadêmicos ou especialistas em áreas não relacionadas, posicionando-se como especialistas na disseminação e tratamento do COVID- 19 Para este último grupo, suas credenciais sólidas podem dificultar ao público leigo saber em quem confiar.

O caso mais proeminente pode estar dentro da Casa Branca. No início deste mês, em uma reunião privada, o consultor comercial Peter Navarro, que não possui credenciais médicas, discordou do principal especialista em doenças infecciosas do país, o Dr. Anthony Fauci, por preocupações com a droga antimalárica hidroxicloroquina. Embora Fauci tenha advertido o público a não pular à frente da ciência com a hidroxicloroquina, Navarro teria discordado. Quando John Berman, âncora da CNN, mais tarde perguntou a Navarro quais as qualificações que ele tinha para avaliar esse assunto, ele disse: “Sou um cientista social. Tenho doutorado e entendo ler estudos estatísticos. ” Desde então, o FDA emitiu um alerta contra o uso de hidroxicloroquina como tratamento COVID-19 fora de um hospital ou ensaio clínico.

“Quando Peter Navarro, de pé em uma plataforma da Casa Branca, diz: ‘Bem, eu entendo essas coisas, porque sou um cientista social’, ele está fazendo um desserviço” “, diz Andrew Rosenberg, diretor do Centro de Ciência e Democracia da União de Cientistas Interessados. “Se ele quiser dizer: ‘Aqui está minha fonte de informações, aqui estão os especialistas que trabalham neste campo e aqui está como eu entendo o que eles estão me dizendo’ ”, isso é uma questão diferente. Mas não é isso que ele está fazendo. “

A tendência não se limita à administração. “Em um ciclo normal de notícias, a ciência atinge menos de 1% da cobertura”, diz Boni. “Mas no ciclo de notícias de hoje, a única coisa nas notícias é ciência. Então, todo mundo, todo economista, todo físico, todo guru da tecnologia, todo mundo quer um pouco de atenção se achar que pode se vincular ou vincular seu próprio passatempo, sua formação a algo que será coberto “.

Para Boni, os economistas são infratores incansáveis: “Se todas as pontes do país caíssem, os economistas iriam atrás dos engenheiros civis e diriam exatamente o que fazer. Quero dizer, é absolutamente incrível que eles pensem que têm um papel nessa discussão. ” Por exemplo, Boni me conta sobre ouvir um episódio do podcast Deep Background, apresentado pelo professor de Direito de Harvard Noah Feldman, com o economista Paul Romer, vencedor do Prêmio Nobel, como convidado. Romer argumentou que os epidemiologistas estão se recusando a “fazer as contas” e não estão testando quase o suficiente nos EUA. As críticas, vindas de um economista, não se encaixaram bem com Boni. “Eu poderia dizer que ele tinha as intenções certas”, diz ele. “Mas procurá-lo como especialista, são 35 minutos de podcast que Noah Feldman não conversou com outro especialista real”. Ele argumenta que os epidemiologistas devem ser os que fazem recomendações de saúde pública, não os economistas. (Romer retrucou isso em um e-mail para mim, argumentando que a resposta da política ao coronavírus é um problema inerentemente interdisciplinar e que é “apropriado” que os economistas analisem o assunto.)

Outros especialistas com quem conversei concordaram que os não-especialistas estão recebendo um tempo injustificado no centro das atenções, embora nem todos se sintam à vontade em nomear indivíduos registrados. Como Bauchner da JAMA coloca: “O que me surpreendeu – e não vou citar nomes – é o destaque que alguns dos principais meios de comunicação deram a pessoas que eu acho que podem estar falando em áreas nas quais não são notadas especialistas. ”

Há uma piada de longa data no jornalismo que, se você ler as notícias, uma semana, o café é bom para você; na próxima semana, causa câncer. “No final das contas, acho que é um jornalismo terrível, mas provavelmente não matará ninguém”, diz Oransky. Mas o mesmo não se aplica a toda a cobertura COVID-19. “Se você pratica o mesmo tipo de chicotada nas pessoas, o que você vê no jornalismo científico, pode matar pessoas. Uma semana, este medicamento é a coisa perfeita. Na semana seguinte, isso vai te matar. “

Foi basicamente o que aconteceu no caso do ibuprofeno: uma vaga idéia levou a uma recomendação da principal autoridade de saúde do mundo, seguida de uma reversão dessa recomendação no dia seguinte. Era a piada do café, mas em uma escala muito real e de alto impacto. Então, quem você culpa? Os cientistas por escrever a carta? O diário para publicá-lo? Jornalistas por cobrirem o que parecia ser um evento interessante? O ministro da saúde e a OMS por fazer o que eles pensavam que salvariam vidas? De todos os especialistas com quem conversei, ninguém teve uma boa resposta.

Sei que também não sou cientista e provavelmente também não devo compartilhar minhas experiências não-especializadas, mas aceite-me aqui de qualquer maneira; você leu até aqui. A meu ver, em todas as etapas do processo, há uma troca entre velocidade e precisão. É como uma escala móvel: por um lado, você está totalmente certo e lento. Por outro, você é totalmente incerto e rápido. Do ponto de vista da saúde pública, nenhum dos dois é ideal durante uma pandemia. Mas seja você rápido ou lento, qualquer erro de cálculo pode custar vidas. Como Oransky coloca: “Se errarmos, mais pessoas morrem – e isso se aplica a medidas de distanciamento social, se aplica a tratamentos, se aplica a desenvolvimento de vacinas. E quando digo “nós”, não quero dizer jornalistas ou cientistas. Quero dizer, nós, como povo, como sociedade. ”

Science Has an Ugly, Complicated Dark Side. And the Coronavirus Is Bringing It Out.

Experts say the pandemic is letting bad science slip through the cracks.

Mother Jones illustration; Getty

The coronavirus is a rapidly developing news story, so some of the content in this article might be out of date. Check out our most recent coverage of the coronavirus crisis, and subscribe to Mother Jones’ newsletters.

Bad science is a lot like a virus. It starts small, but if it’s shared enough times, it can cause global disruption.

You may remember a kerfuffle last month over whether it is safe to take ibuprofen to treat coronavirus symptoms. It is a prime example of how a series of unfortunate errors can lead to bad health policy. It began harmlessly, when the Lancet Respiratory Medicine, a respected journal, published a 400-word letter from a group of European researchers that raised some safety concerns about the drug. It was an opinion piece that was, according to at least one of the authors, a hypothesis, not a medical recommendation. But much of the world treated the mere suggestion as if it were derived from the results of a clinical trial. Within a week, the French health minister, followed by a spokesperson from the World Health Organization, recommended that people with COVID-19 don’t take ibuprofen. A day later, after pushback from doctors and scientists, the WHO backtracked, saying it did “not recommend against” the use of ibuprofen. The move sparked widespread confusion, and for an institution that we’re all relying on for solid information, it was not a great look. 

Good science requires time. Peer review. Replication. But in the past few months, the scientific process for all things related to COVID-19 has been fast-tracked. While that is, of course, understandable on some level—thousands are dying worldwide every day, after all—it’s not necessarily safe. What was once a marathon has been compressed to a 400-meter dash: Researchers race to deliver results, academic journals race to publish, and the media races to bring new information to a scared and eager public. And, at the same time, unverified opinions circulate widely on social media and on TV from so-called experts, which makes understanding the situation all the more d

Bad science—or at the very least incomplete science—is simply slipping through the cracks.

Conducting and communicating research swiftly during a pandemic is, on its own, a positive thing. But “there’s speed, and then there’s rushing too much. As we always say, ‘Fast but wrong is just fast,’” says Dr. Irving Steinberg, an associate professor of clinical pharmacy and pediatrics at the University of Southern California School of Pharmacy and Keck School of Medicine. (Steinberg wrote an article outlining the ibuprofen disaster in the Conversationa nonprofit newsroom that publishes articles written by academics, earlier this month.)

To be clear, what I’m talking about here is more than over-the-counter pain killers, more than trolls on social media spreading conspiracy theories, and even much more than a president and some Fox News personalities touting unproven malaria drugs or bleach injections. It’s a fundamental threat to trusted information outlets—academic journals, the media, and global health institutions—and, in turn, our own well-being.

Around the same time as the ibuprofen case, for instance, some bad information apparently circulated among President Trump’s advisers. During a press conference on March 17, a reporter asked why the United States didn’t import tests from the WHO at the start of the pandemic. When the White House coronavirus response coordinator, Dr. Deborah Birx, stepped in to answer, she cited a study published in a Chinese journal about the high false-positive rate of a Chinese diagnostic test: “It doesn’t help to put out a test where 50 percent or 47 percent are false positives,” she said. But, as NPR first reported, the study Birx cited was retracted just days after it published on March 5. On top of that, there is no evidence that the WHO tests were faulty, and NPR found that the 47 percent number, which appears in the abstract for the paper Birx mentioned, doesn’t even refer to the overall accuracy of the test; it instead refers to the false-positive rate among asymptomatic individuals who had close contact with COVID-19 patients. (The study appears to have been removed from its original URL, though the abstract still exists on the US National Library of Medicine’s PubMed database, where it’s been indicated that the paper was “withdrawn.”) 

It’d be foolish to base any major health policy on one scientific study and it’s unclear if this study played a role in the country’s fiasco over testing—widely regarded as a major failure of the administration’s COVID-19 response—but it’s nonetheless alarming that it was repeated as fact by the very people we’re trusting to lead our country through the pandemic. That said, the mixup isn’t entirely Birx’s fault; after all, the study was published in a journal after peer review and it wasn’t marked on PubMed as withdrawn until weeks after the retraction occurred. The real problem here is that this study even had the prominence it diAs the co-founders of Retraction Watch, a blog that tracks academic retractions, wrote in a recent article for Wired, the case involving Birx “is a particularly dismaying and consequential example of what happens when no one bothers to engage in scientific fact-checking.”

“But,” they cautioned, “it will not be the last time that something we thought we knew about the coronavirus because it was in a published paper will turn out to be wrong.”

Part of the problem, experts tell me, is that the pandemic has brought on an absolute flood of manuscripts for review by academic journals, which editors are working around the clock to process. That, mixed with the public’s hunger for new information and surging existential dread, is something like the perfect storm. 

Normally, it can take several weeks to months for a study to go through the peer-review process. There isn’t hard data on how long it takes now, but we can assume it’s significantly shorter. According to Primer, a San Francisco–based machine intelligence company that is tracking COVID-19 research, there have been more than 8,500 COVID-related papers published over the course of the outbreak. A little over half of those studies were published on databases known as pre-print servers, meaning they haven’t yet been formally reviewed; still, the media has picked up many of them before thorough vetting.

“Without a doubt,” according to Dr. Howard Bauchner, editor-in-chief of the Journal of the American Medical Association, the “most significant day-to-day challenge” brought on by the coronavirus is the sheer number of manuscripts the journal receives. When we spoke last week, Bauchner said the journal had received 235 COVID-19-related manuscripts for consideration just the day before. “We’ll receive another hundred today,” he said. Since January 1, JAMA has received about 2,000 research, opinion, and clinical papers. They’ve published about 100.  

“I’m watching my email fill—I can let you hear every ping,” he said over the phone. “Every ping means another manuscript for me to look at.”

The Science editorial team, representing Science and the five other journals published by the American Association for the Advancement of Science, told me in an email that “many of the COVID-19 submissions coming to the Science family have been rushed and don’t meet our standards for publication and broad dissemination.” Since January 1, 2020, it said, Science has received more than 320 COVID-19-related research submissions, “with a steady rise in submissions most every week since that date.” As of April 17, it had published 14 of these papers.

Both journals, along with Springer Nature, which publishes Nature and thousands of other journals, assured me that although the process has been sped up, they’re maintaining their typical peer-review standards. But it’s too soon to tell how successful the peer-review process will be in keeping the worst science out, both in these publications—among the most influential science journals in the world—and others. On average, according to Retraction Watch co-founder Dr. Ivan Oransky, the amount of time between when a paper is published and withdrawn is about three years. As of Tuesday, at least six COVID-19 studies or letters have been retracted, according to Retraction Watch‘s database.

Retractions aside, the situation raises broad concerns about the rigor of published research itself. “What [the pandemic] has done is just made everyone rush to publication and rush to judgment, frankly,” says Oransky, a non-practicing medical doctor who is also the vice president of editorial at medical news and reference site Medscape and teaches medical journalism at New York University. “You’re seeing papers published in the world’s leading medical journals that probably shouldn’t have even been accepted in the world’s worst medical journals.”

Earlier this month, for instance, the New England Journal of Medicine published a 61-person study for an antiviral therapy called remdesivir to treat COVID-19. Of the 53 patients whose data could be analyzed, 36 saw improvement after 10 days of treatment. There was no control group, and Gilead Sciences, the company that developed remdesivir, funded and conducted the study and helped write the first draft of the manuscript. The study was by no means fraudulent, but it presented a clear conflict of interest. “I think it’s a good thing that it’s all out there and people are able to look at it,” Oransky says, “but it’s so inconsistent with what the New England Journal of Medicine claims that it’s always about.” 

When I asked the New England Journal of Medicine about this study and if the pandemic has affected its peer-review process, it told me in an email, “For Covid-19, everything is expedited tremendously and a process that can take weeks has been condensed to 48 hours or less in many cases.” It added, “Our goal is always to help provide physicians with the information they need to care for patients. In many cases, that means publishing early phase studies that can help caregivers understand what is on the horizon.”

I myself almost got caught up in this perfect messy-science storm earlier this month. I came across a press release for a study from a researcher at the University of Ottawa in Canada, which suggested that the coronavirus may have spread to humans via stray dogs. I had a few days to review the paper before it would publish in the peer-reviewed journal Molecular Biology and Evolution. I contacted the author and we conducted an interview by email. The results seemed fascinating, and I generally trust the peer-review process to weed out problematic papers. But when I reached out to independent experts about the study, all three I connected with told me they had significant concerns about the research. The conclusions of the study were unwarranted, David Robertson, a virologist at the University of Glasgow in the UK, told me. “I do not know how this has passed peer review particularly for such a reputable journal as MBE,” he said in an email.

The responses surprised me; I slacked my editor, “I’ve never had experts refute a study like this before.” We decided to abandon covering the study, but other media outlets wrote it up. CNN, meanwhile, did cover the study, but with a headline that cut right to the controversy—”Stray dogs and coronavirus: Just a hypothetical theory with no proof”—and quoted a researcher who shared similar concerns to the experts I’d spoken with: “I do not see anything in this paper to support this supposition,” James Wood, head of the department of veterinary medicine at the University of Cambridge in the UK, told CNN, “and am concerned that this paper has been published in this journal.”

The author of the paper, Xuhua Xia, responded by arguing that the media misreported his study. He told me in an email, “The paper was reviewed by five referees who are mostly excited about the paper. MBE is a flagship journal of our society and does not accept papers lightly. If Mr. James Wood or whoever has objections to the paper, he is welcome to submit a critique of the paper to MBE or other scientific journals, and I would certainly respond.” He also suggested that Wood commented on his research in a bid for attention.

Some sources tell me press coverage in general—even if it includes criticism—can be a win for academics, especially those seeking tenure. But for nonacademics, this bothsidesism, as it is called, without a clear headline and framing, can create a mess, masking critique and leaving readers confused about what the truth is. For instance, Maciej Boni, an associate biology professor who specializes in mathematical modeling and epidemiology at Penn State University, says, “Sometimes an article by a science writer can pit the ideas of an evolutionary biologist against an anti-evolutionist, making it seem like both sides have equal merit.”

“I trust the peer review system,” Boni adds. “I think it works pretty well. And it’s in times like this, that there is some strain put on the peer review system and you see studies sneaking through that shouldn’t.”

Prominent science journalist Ed Yong, who has written about the coronavirus pandemic for the Atlantic, notes that bad science has always slipped through: “Peer-review is clearly important to the scientific process, but it is nowhere near a perfect shield against bad work being published.” But the pandemic, he says, has just sped everything up—and the stakes are higher.

“Under normal circumstances, science is always like this,” Yong says. “Bad studies get published. People talk about them in formal settings and informal ones, like Twitter, and we sort of gradually approach a better sense of what is actually going on. We’re seeing the same thing now, it’s just happening a lot faster.”

Making matters muddier, nonspecialists, often with bad information, are adding their own voices to the noise. This, of course, is not exactly a new phenomenon. But during the age of the coronavirus, there seems to be a rise in both Homeroom Chads widely offering their baseless opinions on your social media feeds, as well as academics or specialists in unrelated fields positioning themselves as experts on the spread and treatment of COVID-19. For this latter group, their otherwise solid credentials can make it difficult for the lay public to know who to trust.

The most prominent case might be right inside the White House. Earlier this month, in a private meeting, trade adviser Peter Navarro, who has no medical credentials, reportedly disagreed with the nation’s top infectious disease expert, Dr. Anthony Fauci, over concerns about antimalarial drug hydroxychloroquine. While Fauci has cautioned the public not to jump ahead of the science on hydroxychloroquine, Navarro reportedly disagreed. When CNN anchor John Berman later asked Navarro what qualifications he has to weigh in on this matter, he said, “I’m a social scientist. I have a PhD and I understand how to read statistical studies.” Since then, the FDA issued a warning against the use of hydroxychloroquine as a COVID-19 treatment outside of a hospital or clinical trial

“When Peter Navarro, standing on a White House platform, says, ‘Well, I understand this stuff, because I’m a social scientist,’ he’s doing a disservice,” says Andrew Rosenberg, director of the Center for Science and Democracy at the Union of Concerned Scientists. “If he wants to say, ‘Here’s my source of information, here’s the experts who work in this field, and here’s how I understand what they’re telling me,’ that’s a different matter. But that’s not what he’s doing.”

The trend isn’t limited to the administration. “In a normal news cycle, science gets like less than 1 percent of the coverage,” Boni says. “But in today’s news cycle, the only thing in the news is science. So everybody, every economist, every physicist, every tech guru, everybody wants a piece of the attention if they think they can link themselves or link their own pastime, their background, to something that’ll be covered.”

For Boni, economists are particularly unrelenting offenders: “If all the country’s bridges fell down, the economists would get right behind the civil engineers and tell them exactly what to do. I mean, it’s absolutely amazing that they think they have a role in this discussion.” For example, Boni tells me about hearing an episode of the podcast Deep Background, hosted by Harvard Law professor Noah Feldman, with Nobel Prize–winning economist Paul Romer as a guest. Romer argued that epidemiologists are refusing to “do the math” and aren’t doing nearly enough testing in the US. The criticism, coming from an economist, didn’t sit well with Boni. “I could tell he had the right intentions,” he says. “But seeking him out as an expert, that’s 35 minutes of podcast time that Noah Feldman didn’t talk to another real expert.” He argues that epidemiologists should be the ones making public health recommendations, not economists. (Romer pushed back on this in an email to me, arguing that the policy response to the coronavirus is an inherently interdisciplinary problem, and that it is “appropriate” for economists to weigh in on the subject.)

Other experts I spoke with agreed that nonspecialists are getting unwarranted time in the spotlight, though not all felt comfortable naming individuals on the record. As JAMA‘s Bauchner puts it, “What I have been surprised by—and I will not name names—is the prominence that some of the major media outlets have given people whom I think may be speaking in areas in which they are not noted experts.”

There’s a long-running joke in journalism that if you read the news, one week, coffee is good for you; the next week, it causes cancer. “At the end of the day, I actually think that’s all terrible journalism, but it probably won’t kill anybody,” Oransky says. But the same isn’t true about all COVID-19 coverage. “If you do the same kind of whiplash with people, which you do see journalism in science doing, you could kill people. One week, this drug is the perfect thing. The next week, it’s going to kill you.”

This is essentially what happened in the case of ibuprofen: a vague idea prompted a recommendation from arguably the world’s leading health authority, followed by a reversal of that recommendation the following day. It was the coffee joke but on a very real and high-impact scale. So who do you blame? The scientists for writing the letter? The journal for publishing it? Journalists for covering what seemed to be a newsworthy event? The health minister and the WHO for doing what they thought would save lives? Of all the experts I spoke to, no one had a good answer.

I realize I too am not a scientist, and I probably shouldn’t share my nonexpert takes either, but bear with me here anyway; you’ve read this far. The way I see it is that at every step of the process, there is a tradeoff between speed and accuracy. It’s like a sliding scale: On one end you are totally certain and slow. On the other you are totally uncertain and fast. From a public health perspective, neither is optimal during a pandemic. But whether you’re fast or slow, any miscalculation can cost lives. As Oransky puts it, “If we get this wrong, more people die—and that’s true of social-distancing measures, it’s true of treatments, it’s true of vaccine development. And when I say ‘we’ I don’t mean journalists or scientists. I mean we as a people, as a society.”

Compartilhe em suas Redes Sociais