Na sequência dos dois emails infra, de 27 de Fevereiro e de 5 de Março, o último do qual se refere à importante actividade de revisão de artigos, que como referem alguns editores se encontra em crise, pois a nível mundial há cada vez mais artigos que necessitam de revisão e esse aumento não foi acompanhado de um aumento do número de revisores com elevada experiência nessa actividade, vide por exemplo o recente artigo de Horta e Jung (2024) de título "The crisis of peer review: Part of the evolution of science", o que leva a que muitas vezes os Editores se vejam forçados a convidar jovens investigadores, que ainda nem sequer tem meia dúzia de publicações, aproveito para divulgar um artigo sobre um novo algoritmo que pretende ajudar a resolver esse problema. Vide extracto abaixo e link:
"...The rating provided by reviewers holds a pivotal role in the publication of scientific literature, exerting a substantial influence on a publisher’s decision to accept or reject a paper. However, a significant challenge remains:...individuals with less robust academic expertise or less critical thinking capabilities may deliver inaccurate judgments, potentially leading to the rejection of high-quality papers or the acceptance of those of lower quality..." https://www.sciencedirect.com/science/article/pii/S0957417424004160?via%3Dihub
________________________________________________________________
De: F. Pacheco Torgal
Enviado: 5 de março de 2024 19:02
Assunto: A proposta de um ilustre catedrático da U.Stanford e os investigadores que merecem ver os seus artigos rejeitados de forma automática
No email abaixo, constato agora que nem sequer mencionei o facto do regulamento de avaliação de desempenho da EEUM, não atribuir qualquer valor à actividade de revisão de artigos. Ou seja publicar em revistas do tipo A vale muito porém a revisão desses artigos vale zero. Algo que não é fácil de entender pois há 10 anos atrás já um conhecido catedrático de medicina da universidade de Stanford, defendia a alteração da avaliação de desempenho para uma outra bastante diferente onde entre outras coisas deveria haver valorização da revisão de artigos https://pacheco-torgal.blogspot.com/2020/02/scientific-misconduct-kuhnian.html
De: F. Pacheco Torgal
Enviado: 5 de março de 2024 19:02
Assunto: A proposta de um ilustre catedrático da U.Stanford e os investigadores que merecem ver os seus artigos rejeitados de forma automática
No email abaixo, constato agora que nem sequer mencionei o facto do regulamento de avaliação de desempenho da EEUM, não atribuir qualquer valor à actividade de revisão de artigos. Ou seja publicar em revistas do tipo A vale muito porém a revisão desses artigos vale zero. Algo que não é fácil de entender pois há 10 anos atrás já um conhecido catedrático de medicina da universidade de Stanford, defendia a alteração da avaliação de desempenho para uma outra bastante diferente onde entre outras coisas deveria haver valorização da revisão de artigos https://pacheco-torgal.blogspot.com/2020/02/scientific-misconduct-kuhnian.html
Uma alternativa possível passaria por penalizar os investigadores que tivessem muito menos revisões do que publicações, pois isso significa que estão a infringir um dever que sugerem alguns deveria levar inclusive à rejeição automática dos artigos daqueles https://pacheco-torgal.blogspot.com/2021/11/a-radical-solution-to-solve-crisis-in.html
É verdade que antigamente quando o historial de revisão não era público, também não era possível fazer a sua confirmação para dessa forma se poder valorizar essa actividade, mas isso mudou quando apareceu a plataforma Publons e mudou ainda mais quando aquela foi adquirida pela Clarivate Analytics e depois no dia 3 de Outubro de 2021 a informação detida pela mesma foi integrada nos perfis de todos os quase 30 milhões de investigadores registados na Web of Science. Por uma estranha coincidência a noticia dando conta dessa mudança utilizou um perfil de um investigador da EEUM, que dessa forma se tornou conhecido entre dezenas de milhões de investigadores https://publons.com/wos-op/announcement/#your-review-contributions-in-web-of-science
____________________________________________________________
De: F. Pacheco Torgal
Enviado: 27 de fevereiro de 2024 07:12
Assunto: Será que a EEUM terá coragem para fazer aquilo que ainda não foi feito ?
Conforme dá conta o email infra vai iniciar-se avaliação de investigadores no período referente ao biénio 2022-2023.
Infelizmente, a mesma ainda se irá fazer com regras pouco consensuais, como por exemplo o facto de 1 artigo em revista do tipo A valer 4 vezes mais do que uma publicação do tipo D, ou como o facto de 1 artigo em revista do tipo A valer quase 6 vezes mais do que ser coordenador de um projecto de investigação nacional, valer quase 6 vezes mais do que a submissão de um projecto à FCT, valer 10 vezes mais do que a participação num projecto de investigação internacional, valer 10 vezes mais do que ser avaliador de projectos de investigação nacionais ou valer 20 vezes mais do que ser arguente de doutoramento numa universidade estrangeira.
E isto quando se sabe que foi a obsessão com as publicações que está na origem de um dilúvio de publicações irrelevantes que ironica e tragicamente até prejudicam a própria ciência
E isto quando se sabe que cientistas prestigiados como por exemplo o Vladen Koltun (Scopus h-index=76) dizem que deve combater-se o referido dilúvio e ainda que o local de publicação nunca devia ser utilizado para avaliar investigadores https://pacheco-torgal.blogspot.com/2021/11/evaluating-researchers-in-fast-and.html
E isto quando se sabe há muito que as revistas tem os dias contados pois em 2018 já o antigo Editor-Chefe da revista Bristish Medical journal escrevia que "the leaders of Elsevier have now decided that the epoch of journals will soon be over"
E ainda por cima agora em que a IA até já consegue projectar, planear e executar experiências complexas sem qualquer intervenção humana (o que permite antecipar o que virá a seguir quando a mesma IA se tornar muito mais robusta) e em que teve inicio uma nova realidade que revaloriza a validação e a integridade dos processos https://19-pacheco-torgal-19.blogspot.com/2024/01/the-economistai-generated-content-is.html
Será que a EEUM terá coragem para conseguir antecipar o futuro e rever o regulamento de avaliação de desempenho, por forma a que a avaliação a levar a cabo em 2026 referente ao biénio 2024-2025, já seja feita com um regulamento que não ache que os artigos em revista do tipo A (mesmo quando são irrelevantes) são o alfa e o ómega da ciência ?
Cumprimentos
Pacheco Torgal
PS - Em 2021, depois de ler num certo semanário uma entrevista ao Presidente do Técnico, onde aquele se vangloriava que a sua instituição publicava artigos em revistas com "mais reputação" fui à base Scopus confirmar que "os investigadores do Técnico publicaram 54 artigos em revistas da Nature (Nature, Nature Phsycs, Nature Materials, Nature Microbiology, Nature Astronomy, Nature Biomedical Engineering, Nature Communications) porém a maioria desses artigos (60%) nem sequer receberam 50 citações e até há vários desses artigos que não receberam sequer a desgraçada miséria de 10 citações. Já sobre os artigos do Técnico publicados na conhecida revista Science, 50% desses não receberam sequer 50 citações. E note-se que nos valores acima não foi sequer descontada a inflação por conta de auto-citações (rubrica onde o Técnico tem um desempenho recorde)". E muito melhor teria sido, se nessa altura eu soubesse quanto dinheiro público foi gasto para produzir esses artigos, pois nesse caso teria aproveitado para divulgar o anormalmente elevado valor de cada uma dessas citações, que é uma métrica fundamental para avaliar a eficiência do impacto da ciência, pois é muito diferente o desempenho de uma unidade cujas publicações receberam 1000 citações com um financiamento de 100.000 euros ou uma outra unidade que recebeu 10.000 citações mas com um orçamento de 5 milhões de euros. Recordo que foi o conhecido investigador Alemão Lutz Bornmann, vencedor da Medalha Solla Price da bibliometria, quem há poucos anos sugeriu como medida da eficiência da investigação apurar o valor gasto para produzir 1 artigo altamente citado (Top1%)
Assunto: Será que a EEUM terá coragem para fazer aquilo que ainda não foi feito ?
Conforme dá conta o email infra vai iniciar-se avaliação de investigadores no período referente ao biénio 2022-2023.
Infelizmente, a mesma ainda se irá fazer com regras pouco consensuais, como por exemplo o facto de 1 artigo em revista do tipo A valer 4 vezes mais do que uma publicação do tipo D, ou como o facto de 1 artigo em revista do tipo A valer quase 6 vezes mais do que ser coordenador de um projecto de investigação nacional, valer quase 6 vezes mais do que a submissão de um projecto à FCT, valer 10 vezes mais do que a participação num projecto de investigação internacional, valer 10 vezes mais do que ser avaliador de projectos de investigação nacionais ou valer 20 vezes mais do que ser arguente de doutoramento numa universidade estrangeira.
E isto quando se sabe que foi a obsessão com as publicações que está na origem de um dilúvio de publicações irrelevantes que ironica e tragicamente até prejudicam a própria ciência
E isto quando se sabe que cientistas prestigiados como por exemplo o Vladen Koltun (Scopus h-index=76) dizem que deve combater-se o referido dilúvio e ainda que o local de publicação nunca devia ser utilizado para avaliar investigadores https://pacheco-torgal.blogspot.com/2021/11/evaluating-researchers-in-fast-and.html
E isto quando se sabe há muito que as revistas tem os dias contados pois em 2018 já o antigo Editor-Chefe da revista Bristish Medical journal escrevia que "the leaders of Elsevier have now decided that the epoch of journals will soon be over"
E ainda por cima agora em que a IA até já consegue projectar, planear e executar experiências complexas sem qualquer intervenção humana (o que permite antecipar o que virá a seguir quando a mesma IA se tornar muito mais robusta) e em que teve inicio uma nova realidade que revaloriza a validação e a integridade dos processos https://19-pacheco-torgal-19.blogspot.com/2024/01/the-economistai-generated-content-is.html
Será que a EEUM terá coragem para conseguir antecipar o futuro e rever o regulamento de avaliação de desempenho, por forma a que a avaliação a levar a cabo em 2026 referente ao biénio 2024-2025, já seja feita com um regulamento que não ache que os artigos em revista do tipo A (mesmo quando são irrelevantes) são o alfa e o ómega da ciência ?
Cumprimentos
Pacheco Torgal
PS - Em 2021, depois de ler num certo semanário uma entrevista ao Presidente do Técnico, onde aquele se vangloriava que a sua instituição publicava artigos em revistas com "mais reputação" fui à base Scopus confirmar que "os investigadores do Técnico publicaram 54 artigos em revistas da Nature (Nature, Nature Phsycs, Nature Materials, Nature Microbiology, Nature Astronomy, Nature Biomedical Engineering, Nature Communications) porém a maioria desses artigos (60%) nem sequer receberam 50 citações e até há vários desses artigos que não receberam sequer a desgraçada miséria de 10 citações. Já sobre os artigos do Técnico publicados na conhecida revista Science, 50% desses não receberam sequer 50 citações. E note-se que nos valores acima não foi sequer descontada a inflação por conta de auto-citações (rubrica onde o Técnico tem um desempenho recorde)". E muito melhor teria sido, se nessa altura eu soubesse quanto dinheiro público foi gasto para produzir esses artigos, pois nesse caso teria aproveitado para divulgar o anormalmente elevado valor de cada uma dessas citações, que é uma métrica fundamental para avaliar a eficiência do impacto da ciência, pois é muito diferente o desempenho de uma unidade cujas publicações receberam 1000 citações com um financiamento de 100.000 euros ou uma outra unidade que recebeu 10.000 citações mas com um orçamento de 5 milhões de euros. Recordo que foi o conhecido investigador Alemão Lutz Bornmann, vencedor da Medalha Solla Price da bibliometria, quem há poucos anos sugeriu como medida da eficiência da investigação apurar o valor gasto para produzir 1 artigo altamente citado (Top1%)
