sexta-feira, 22 de novembro de 2024

Deitar o rigor científico para o lixo para não arriscar perder várias centenas de milhões

 

O post anterior, acessível no link supra, continha uma pergunta importante: Qual é o país que tem mais a perder, se a Clarivate Analytics corrigir os critérios pouco rigorosos, sobre as quais é construída a sua lista de cientistas-HCR ?

Nessa sequência, merece destaque a tabela com a lista dos 7 países, que possuem o maior número de HCRs, em todo o Planeta, utilizando para o efeito dados fornecidos pela própria Clarivate Analytics e comparando essa informação com a percentagem de investigadores que esses países possuem nas listas correspondentes ao Top 0.5% do ranking Stanford, utilizando o ficheiro anual e o ficheiro carreira daquele ranking. 

Como bem se percebe, é evidente que se o ranking da Clarivate Analytics passar a utilizar os mesmos critérios que são utilizados pelo ranking Stanford, isso levará a que a China sofra uma queda bastante expressiva na sua percentagem de investigadores altamente citados, o que por sua vez se irá reflectir muito negativamente na posição das suas universidades no conhecido ranking Shanghai, que é baseada também no número daqueles investigadores.

Tendo em conta que a Clarivate factura anualmente quase 500 milhões de dólares na China, isso ajuda a explicar porque é que a mesma não está interessada em fazer nada que possa prejudicar a reputação daquele país, até porque a China é conhecida por se vingar de todos aqueles que lhe desagradam, como sucedeu à Lituânia, alvo de um violento bloqueio comercialquando decidiu reconhecer Taiwan. É evidente que a Clarivate Analytics não pretende ser alvo de um bloqueio comercial similar, pois isso representaria uma queda muito significativa das suas receitas, o que ajuda a explicar a sua teimosia em manter uma lista de cientistas construída com critérios errados que produz resultados que fazem pouco sentido.

quarta-feira, 20 de novembro de 2024

Portugal: A Clear Case Study Highlighting the Flaws in Clarivate's HCR List


Clarivate Analytics has just unveiled its Highly Cited Researchers (HCR) list for 2024. Interestingly, both Portugal and Norway have 18 HCRs. However, when assessing their performance through the Stanford Scientist Ranking, particularly within the top 0.5% of researchers, Norway shows a remarkable 500% advantage over Portugal. List below. This stark disparity suggests a significant flaw in the methodology behind the Clarivate HCR list. 

It is worth noting that the Stanford Scientist ranking, is the only one worldwide that satisfies three critical conditions: accurate author disambiguation, the exclusion of self-citations, and fractional counting of contributions. Furthermore, this ranking effectively addresses a major flaw in Clarivate's HCR list—its bias toward specific scientific disciplines. This issue persists despite the introduction of the Cross-Field category in recent years, which has failed to resolve the problem. 

Chaignon et al. (2023) unleashed a scathing rebuke of the HCR list, condemning its methodology for systematically erasing groundbreaking contributions in innovative or niche fields. They singled out the shocking exclusion of Alain Aspect, the French Nobel laureate in Physics (2022), as a glaring example of its shortcomings.

Declaration of Competing Interests - In November 2020, I criticized Clarivate's Highly Cited Researchers list for its blatant bias toward specific scientific disciplines. A year later, in November 2021, I reiterated this condemnation, emphasizing that their token measure—excluding papers with more than 30 affiliations—amounts to little more than window dressing. It utterly fails to address the list's core and glaring flaw: the stubborn refusal to implement fractional countinghttps://pacheco-torgal.blogspot.com/2021/11/the-flawed-clarivate-list-of.html

PS - Revising the Clarivate Highly Cited Researchers list to incorporate fractional counting while ensuring an unbiased evaluation across all scientific disciplines would undoubtedly redefine the Shanghai Ranking of universities. This reform has the potential to curtail the dominance of a powerful nation within that ranking. The pressing question remains: which country will suffer the most when these entrenched biases are finally dismantled?
  1. Switzerland.........108 scientists per million inhabitants in Top 0.5% Stanford Ranking
  2. Denmark............. 84
  3. UK........................77
  4. USA......................75
  5. Sweden................70
  6. Australia...............65
  7. Netherlands..........63
  8. Canada.................60
  9. Finland..................53
  10. Israel.....................45
  11. Norway..................41
  12. New Zealand.........41
  13. Singapore.............39
  14. Belgium.................35
  15. Germany...............33
  16. Ireland...................32
  17. Austria...................31
  18. Iceland..................27
  19. France...................19
  20. Italy........................15
  21. Luxembourg..........13
  22. Greece..................12
  23. Slovenia.................9
  24. Cyprus....................9
  25. Portugal..................8

Instituições de ensino superior que ajudam Portugal a não fazer má figura no contexto da guerra Europa vs EUA vs China

 


No passado mês de Setembro, vide post acessível no link supra, analisei através de uma pesquisa na plataforma Scopus, as publicações produzidas a partir de 1 de Janeiro de 2023, sobre IA, isto é, que continham os termos GPT OR AI OR LLM nos campos título, resumo e palavras chave, selecionando somente as publicações que continham as palavras-chave "Artificial Inteligence" OR "Machine Learning" OR "Deep Learning". 

Nessa sequência reproduzo abaixo uma pesquisa similar feita este mês, onde se percebe quais são as instituições que estão mais activas nessa área (leia-se as que mais ajudam Portugal). No final do post apresenta-se também uma lista dos países que produziram pelo menos 500 publicações nessa área, ordenados pelo rácio publicações por milhão de habitantes, onde Portugal consegue a proeza de integrar o Top 10 mundial. 

Sobre este tema é pertinente revisitar um post do passado dia 9 de Agosto, onde divulguei um artigo que deu conta que a esmagadora maioria das publicações sobre IA altamente citadas, foram produzidas por empresas, Americanas e Chinesas, fazendo prova da reduzida competitividade científica das empresas europeias nesta importante área https://19-pacheco-torgal-19.blogspot.com/2024/08/the-list-of-companies-that-are.html

PS - Quando se faz uma pesquisa na Scopus sobre todas as publicações indexadas sobre AI, com afiliação Portuguesa, produzidas desde o ano 2000, que já ultrapassam mais de um milhar e se ordenam pelo seu número de citações, constata-se que, a mais citada de todas elas, de título "On instabilities of deep learning in image reconstruction and the potential costs of AI", foi publicada há apenas 4 anos, e curiosamente a mesma só tem afiliação de uma universidade Portuguesa, porque um dos co-autores é um investigador de Pós-Doutoramento, italiano, que trabalha na universidade do Porto e que vale a pena dizê-lo, constitui uma excelente (e muito louvável) contratação por parte daquela universidade. https://orcid.org/0000-0002-8243-8350

Número de publicações científicas indexadas sobre IA produzidas desde Janeiro de 2023

Univ. do Porto...............121 publicações
Univ. de Lisboa..............89     
Univ. de Coimbra...........55      
Univ. do Minho...............49     
Univ. de Aveiro...............43    
Univ. Nova.....................48      
ISCTE............................34         
UTAD..............................28        
Inst. Pol. do Porto...........26          
Univ.  Beira Interior.........22        
Inst.Pol. de Bragança.....17         
Inst. Pol. de Leiria...........16        
Inst. Pol. de Lisboa.........15         
UALG………………....….12      
Inst. Pol. Santarém..........8       
Inst. Pol. de Coimbra.......8      
Inst. Pol. de Setúbal........7     
Inst. Pol. de V.Castelo.....6        
Univ. da Madeira..............6      
IPCA................................6       
Inst. Pol. de Portalegre....6         
Univ. Aberta.....................5        
Inst. Pol. de Viseu...........4        
Inst. Pol. de Tomar..........4        
U.de Évora......................4  
Inst. Pol. de C.Branco…..3            
Univ. dos Açores..............2        
Inst. Pol. de Beja..............2       
Inst. Pol. da Guarda.........2

Lista de países, que desde Janeiro de 2023, produziram mais de 500 publicações sobre IA, ordenados pelo rácio de publicações por milhões de habitantes: 

1 - Singapore…..117 publicações por milhão de habitantes
2 - Switzerland.....97
3 - Norway……....97
4 - UAE………....94
5 - Finland………92
6 - Sweden……..73
7 - Australia…….70
8 - Netherlands...65
9 - Austria……....62
10 - Portugal…....60