sábado, 11 de maio de 2024

Análise Scopus - Desempenho das IES Portuguesas na área da Inteligência Artificial


Na sequência do post anterior, nomeadamente da sua parte final, onde foi mencionado um artigo sobre Deep Learning que já recebeu mais de 140.000 citações, aproveito para revelar abaixo o resultado de uma pesquisa efectuada hoje na base Scopus. 

A referida pesquisa analisou as publicações produzidas desde o ano 2000 em todo o Planeta, que continham os termos GPT OR AI OR LLM nos campos título, resumo e palavras chave, e depois selecionando somente as publicações que contém as palavras-chave "Artificial Inteligence" OR "Machine Learning" OR "Deep Learning". 

Essa pesquisa mostra que nos primeiros 15 anos do novo milénio, as publicações anuais totais estiveram sempre abaixo de 500, em 2018 ultrapassaram um milhar e em 2023 as publicações anuais já ultrapassam 20.000. O que significa que em menos de uma década a produção mundial anual aumentou 4000%. Se olharmos só para o período a partir de 2023 obtêm-se o valor de 32700 publicações. No final deste post apresenta-se a lista dos 36 países mais produtivos com mais de 300 publicações desde 2023, onde Portugal aparece na 29ª posição. 

A instituição de ensino superior mais produtiva, foi a Harvard Medical School com 276 publicações indexadas, a universidade europeia com o melhor desempenho foi a universidade de Oxford com 208 publicações. Já para Portugal listam-se abaixo as instituições de ensino superior Portuguesas mais produtivas, mas somente as que conseguiram produzir mais de uma dezena de publicações. Aí se pode constatar que as quatro universidades Portuguesas mais produtivas produziram no total menos do que a pequena universidade de Oxford. 

Quando se analisam as citações e em particular as publicações do grupo Top1% mais citadas, constata-se que Portugal tem apenas 5 publicações naquele subgrupo. Comparativamente, Singapura, que desde 2023 tem apenas mais 10% de publicações do que o nosso país, possui uma vantagem de quase 100% daquelas altamente citadas  e a Austria que no mesmo período, até possui menos publicações do que Portugal (menos 5%) também possui uma vantagem de quase 100% de publicações altamente citadas. 

Nada que constitua afinal grande novidade, porque sendo certo e sabido que muito embora os investigadores Portugueses até produzem bastante, como mostrei de forma clara aqui, possuem no entanto reconhecidas limitações, no que respeita a produzir ciencia de elevado impacto, pelo menos aqueles de certas áreas científicas. Vide a este respeito, um post anterior sobre as áreas científicas mais competitivas de Portugal https://pacheco-torgal.blogspot.com/2023/11/lista-das-areas-cientificas-portuguesas.html Ver também a este respeito, o post sobre a estranha (errada) opção de avaliação das unidades de investigação que não privilegia como deveria o impacto científico https://19-pacheco-torgal-19.blogspot.com/2024/03/a-urgente-reorientacao-da-equivocada.html

  • IES Portuguesas que produziram mais de 10 publicações desde 2023:

Univ. do Porto...........68
Univ. de Lisboa.........52
Univ. de Coimbra......38
Univ. do Minho..........30
Univ. Nova................ 27
Univ. de Aveiro..........24
Iscte............................22
Inst. Pol. do Porto......17
UTAD.........................17
Univ.  Beira Interior....14
Inst.Pol. de Bragança..13
Inst. Pol. de Leiria.......12

  • Países que produziram mais de 300 publicações desde 2023: 
 1.    United States: 6815

2.    India: 5337

3.    China: 4554

4.    United Kingdom: 2657

5.    Germany: 2159

6.    Italy: 1795

7.    South Korea: 1268

8.    Canada: 1203

9.    Australia: 1199

10.  Saudi Arabia: 1099

11.  Spain: 1017

12.  France: 882

13.  Japan: 761

14.  Netherlands: 750

15.  United Arab Emirates: 593

16.  Turkey: 589

17.  Taiwan: 588

18.  Switzerland: 531

19.  Malaysia: 516

20.  Pakistan: 511

21.  Sweden: 457

22.  Egypt: 438

23.  Brazil: 437

24.  Poland: 423

25.  Greece: 423

26.  Singapore: 415

27.  Hong Kong: 385

28.  Iran: 384

29.  Portugal: 380

30.  Austria: 362

31.  Russia: 337

32.  Norway: 331

33.  Finland: 323

34.  Ireland: 318

35.  Belgium: 317

36.  Denmark: 301

quarta-feira, 8 de maio de 2024

The Inquiry Paradox: AI’s Divergent Reasoning and the Human Quest for Meaningful Questions



Reflecting on a profound statement uttered by Professor Sobrinho Simões (named the most influential pathologist globally by the British magazine "The Pathologist,") during an event at the Belém Palace, the official residence of the President of Portugal, in 2017, wherein he posited that "the true hallmark of the human species lies not merely in our ability to provide answers, but rather in our capacity to pose meaningful questions," I find myself compelled to raise the following inquiry: Why is it that when tasked with identifying the most paramount question, two cutting-edge artificial intelligence systems, ChatGPT and Microsoft Copilot, offer disparate responses, as illustrated below?

ChatGPT's Response: That's quite the existential question! The most relevant question may vary depending on context and individual perspectives. However, a fundamental question that resonates across cultures and disciplines could be: "What is the meaning of life?" It's a timeless inquiry that has puzzled philosophers, theologians, scientists, and thinkers throughout history. The pursuit of understanding our purpose and existence seems to be a central theme in human thought and exploration.

Microsoft Copilot's response:  That’s a profound question. If I were to select one question that could be considered universally relevant, it might be: “What can we do to improve the well-being of all?” This question encompasses a range of important aspects such as health, education, equality, and the environment, reflecting the interconnectedness of our global community. It encourages us to think collectively and act in ways that benefit not just ourselves, but everyone.

Upon posing the identical question to the Scopus AI model (that I previously discussed in this blog), the resultant answer proves somewhat unremarkable. However, nestled within the Foundational Documents section, emerges a publication titled "Attention is all you need," boasting an impressive accolade. In merely seven years, this publication has garnered over 50,000 citations in the Scopus database. Authored by eight former Google employees, it unveils an exceptionally groundbreaking discovery, pivotal enough to catalyze their departure from the company, subsequently founding ventures collectively valued at $4 billion https://www.japantimes.co.jp/opinion/2023/07/19/commentary/world-commentary/google-ai-discovery/

P.S. - Reflecting on the 20th century, prior to the emergence of Google, the notion that corporations could rival the world's top universities in producing essential knowledge would have been met with skepticism. However, this once far-fetched idea has solidified into an undeniable reality. An article featured on page 56 of The Economist magazine's February 4 to 10, 2023 edition underscored this paradigm shift, revealing that Amazon and Meta “respectively produce two-thirds and four-fifths as much AI research as Stanford University". Furthermore, the scholarly output of Alphabet and Microsoft exceeded that of Stanford. In fact, it was within this latter company that one of the most cited articles of all time was authored: 'Deep residual learning for image recognition.' This seminal work has garnered over 140,000 citations in the Scopus database to date.   In the existing paradigm, universities are facing a potentially dismal future, unless they can pinpoint and harness their innate abilities that distinguish them from what commercial firms are unwilling, unable, or inherently incapable of undertaking.

terça-feira, 7 de maio de 2024

Análise comparativa entre três modelos de IA generativa inspirada por um improvável catedrático de medicina



Há vários anos atrás, recordei uma afirmação do catedrático Sobrinho Simões, que em 2017, no Palácio de Belém disse que "aquilo que distingue a espécie humana não é a capacidade de dar respostas mas a de fazer perguntas", vide post acessível no link supra, nesse sequência sou a formular a seguinte pergunta, porque será que quando questionados sobre qual é a pergunta mais importante que existe, os dois modelos de inteligência artificial generativa, ChatGPT e Microsoft Copilot apresentam respostas diferentes, que abaixo se reproduzem ? 

Resposta do ChatGPTThat's quite the existential question! The most relevant question may vary depending on context and individual perspectives. However, a fundamental question that resonates across cultures and disciplines could be: "What is the meaning of life?" It's a timeless inquiry that has puzzled philosophers, theologians, scientists, and thinkers throughout history. The pursuit of understanding our purpose and existence seems to be a central theme in human thought and exploration.

Resposta do Microsoft CopilotThat’s a profound question. If I were to select one question that could be considered universally relevant, it might be: “What can we do to improve the well-being of all?” This question encompasses a range of important aspects such as health, education, equality, and the environment, reflecting the interconnectedness of our global community. It encourages us to think collectively and act in ways that benefit not just ourselves, but everyone.

Quando se coloca a mesma questão ao modelo Scopus AI (que recordo comentei neste blogue no passado dia 4 de Maio), a resposta não é muito interessante, porém na secção Foundational Documents, aparece uma publicação de título "Attention is all you need" que conseguiu um recorde, em apenas 7 anos, já recebeu mais de 50.000 citações na base Scopus. A referida publicação foi produzida por 8 funcionários da Google, que nela descrevem uma descoberta absolutamente extraordinária, que foi suficiente para os levar a abandonar aquela empresa, tendo criado outras com o valor de 4 biliões de dólares https://www.japantimes.co.jp/opinion/2023/07/19/commentary/world-commentary/google-ai-discovery/

PS - Durante o século XX, ainda antes do aparecimento da Google, seria motivo de risota admitir que algumas empresas conseguissem competir com as melhores universidades do Planeta na produção de conhecimento essencial, porém não só isso se tornou uma realidade irrefutável, como num artigo publicado na página 56 da revista The Economist, edição de 4 a 10 de fevereiro de 2023, foi possível ler que a Amazon e a Meta, produziam respectivamente dois terços e quatro quintos dos artigos sobre IA, que eram produzidos na riquíssima Universidade de Stanford e que esta por sua vez já produzia menos artigos do que a Alphabet e a Microsoft. Foi aliás nesta última empresa que foi produzido um dos artigos científicos mais citados de todos os tempos, "Deep residual learning for image recognition" que já recebeu até ao momento mais de 140.000 citações na base Scopus.  No presente contexto, o futuro das universidades afigura-se sem dúvida péssimo, a não ser que aquelas consigam descobrir, o que é que elas podem fazer que as empresas não querem, não conseguem ou simplesmente não podem.