Paper - How to exploit ChatGPT for Large-Scale Citation Fraud on Google Scholar

In the past, I have criticized the scientist rankings produced by Research.com because they are based on Google Scholar, which has well-known limitations. Specifically, these rankings do not satisfy any of the three fundamental criteria: disambiguation, removal of self-citations, and fractional counting. 

Recently, researchers from New York University identified an additional and highly concerning limitation in Google Scholar's citations. Their study demonstrated that it is possible to create a profile for a fictitious author and upload fabricated articles generated by ChatGPT to ResearchGate. These fake articles can then cite the fictitious author, artificially boosting their citation count on Google Scholar. As noted on page 15 of the study:

"Google Scholar neither censored the profile, nor reached out for further verification, despite the numerous red flags: (i) having an affiliation that does not exist; (ii) 100% of their 380 citations are stemming from their own papers; and (iii) all of their papers are ChatGPT-generated without any scientific contributions whatsoever" https://arxiv.org/pdf/2402.04607

This demonstrates that Google Scholar citations have limited value and should never be used to rank scientists. Instead, citations from publications indexed in Scopus or Web of Science are more valuable. This assertion is supported by Clarivate Analytics' success in predicting the names of 75 Nobel laureates using a citation-based methodology.

PS - There is only one global ranking of scientists that meets all three fundamental criteria: disambiguation, removal of self-citations, and fractional counting.  https://19-pacheco-torgal-19.blogspot.com/2023/10/october-2023-update-of-stanford.html  

Nem todas as citações valem o mesmo: Há as que tem muito valor, as que tem valor nulo (auto-citações) e as de valor negativo

 

https://pachecotorgal.com/2022/04/09/instituto-superior-tecnico-promove-ranking-de-cientistas-da-treta/

Sobre o tal ranking de cientistas da treta, que critiquei no post supra, porquanto é baseado nas citações da plataforma Google Académico, que indexa publicações que nem sequer passaram pelo processo de revisão tradicional e outras de muito reduzido valor académico, convém também acrescentar as publicações fictícias, vide recente estudo que mostrou que é possível criar um perfil de um autor fictício e depois carregar artigos da treta produzidos pelo ChatGPT, na plataforma ResearchGate que citam esse autor, dessa forma gerando citações fictícias, no seu perfil do Google Académico, que valem menos do que zero   https://arxiv.org/pdf/2402.04607

Na página 15 do artigo pode ler-se que, "o Google Académico não censurou o perfil, nem procurou uma verificação adicional, apesar dos numerosos sinais de alerta: (i) possuir uma afiliação que não existe; (ii) 100% das suas 380 citações provêm dos seus próprios artigos; e (iii) todos os seus artigos são gerados pelo ChatGPT, sem nenhuma contribuição científica"

Moral da história, as únicas citações com valor são somente aquelas da Scopus e da Web of Science, como o prova a metodologia, da Clarivate Analytics, baseada em artigos excepcionalmente citados, que já conseguiu acertar no nome de 75 prémios Nobel.  Citações com valor são também aquelas que podem ser aferidas pelo indíce-K (sem auto-citações). Que é uma métrica que foi apresentada pela primeira vez em 2018, na revista científica Physica A: Statistical Mechanics and its Applications, e a qual é mais robusta do que o h-index, pois provou-se que apresenta uma maior correlação com o prémio Nobel. 

Declaração de interesses – Declaro que o índice-K (Scopus) do dono deste blogue é 178, tendo porém em conta que em 2019 o valor desse índice-K era 76, isso significa que nos últimos cinco anos aumentou mais de 130%, curiosamente no mesmo período o índice-K da famosa (quase quase Nobel) catedrática Elvira Fortunato aumentou apenas 42% https://pacheco-torgal.blogspot.com/2019/12/lista-actualizada-de-50-cientistas.html

Imperfection as Catalyst: Anarchy and the Progress of Science in the 21st Century

 

https://19-pacheco-torgal-19.blogspot.com/2024/03/10-essential-criteria-for-crafting.html

When considering anarchy as a strategy for organizing science in the 21st century (refer to the post of March 6 linked above), it's worth examining a recent paper by a scientist from the University of Southern California. The study posits that life inherently thrives on a certain degree of instability. While stable systems tend to resist change and risk becoming obsolete, unstable systems strike a delicate balance, allowing for adaptation without descending into excessive chaos.

Unfortunately, among the 202 references cited in that paper, none pertain to the book "Genesis: The Story of How Everything Began" by physicist Guido Tonelli. In his book, Tonelli emphasizes the necessity of imperfection, asserting that perfection is not conducive to progress, "if we want...dynamics, we must not ask for perfection"   https://pacheco-torgal.blogspot.com/2020/07/perfection-is-not-destiny-of-universe.html

But if imperfection is what we really need, then it's crucial to honor narratives of failure as much, if not more, than those of success, echoing Tim Leberecht's sentiments in 'Gegen die Diktatur der Gewinner.' A book that I previously emphasized in a post dated January 7, 2024. Consequently, the emerging motto ought to be: 'One who has never failed has yet to impart true wisdom". Furthermore, since only those who have taken risks can experience failure, this leads to another important principle: "If you have never risked anything, you have accomplished very little of true significance."