U.Stanford - IA generativa produz novas ideias de investigação mais inovadoras do que as produzidas por humanos

 https://19-pacheco-torgal-19.blogspot.com/2024/09/evolucao-ao-longo-dos-ultimos-5-meses.html

Ainda na sequência do post anterior, link supra, onde se avaliou a deprimente produção científica na área da inteligência artificial de quase 30 Universidades e Politécnicos Portugueses, é pertinente divulgar um recente e interessante estudo de dois investigadores da prestigiada universidade de Stanford sobre as capacidades de modelos de IA generativa. 

O estudo envolveu várias fases, incluindo ideias produzidas por dezenas de especialistas humanos, ideias geradas por IA e uma abordagem híbrida, na qual as ideias geradas por IA foram reavaliadas por humanos. Um total de 79 especialistas avaliou essas ideias quanto à novidade, eficácia e viabilidade.  o estudo concluiu que os modelos de IA generativa podem gerar ideias mais inovadoras, do que as propostas por especialistas humanos  https://arxiv.org/abs/2409.04109 

No inicio do passado mês de Agosto um artigo publicado na conhecida revista The Economist informava que os modelos de IA generativa se estavam a tornar mais inteligentes https://www.economist.com/schools-brief/2024/08/06/how-ai-models-are-getting-smarter e esse facto permite perspectivar que essa evolução irá continuar nos próximos anos, de tal forma que as capacidades futuras desses modelos serão muito superiores aquelas que agora conhecemos. O limite dessa evolução é aquele sobre o qual escreveu há alguns anos o cientista Alemão Jürgen Schmidhuber, Scopus Highly Cited Scientist (h-index=78) https://pacheco-torgal.blogspot.com/2020/02/2040o-ano-da-singularidade.html

Declaração de interesses - Não gostei de ler que os investigadores da Universidade de Stanford utilizaram a base Scholar Google, em vez da Scopus ou da Web of Science, para escolher os especialistas, pois a primeira, é passível de manipulação fraudulenta, como foi demonstrado há poucos meses num estudo de investigadores da universidade de Nova York https://19-pacheco-torgal-19.blogspot.com/2024/05/paper-how-to-exploit-chatgpt-for-large.html

PS - A universidade de Stanford é a mais produtiva a nível mundial em termos do número de publicações indexadas sobre IA e a melhor europeia é a universidade de Oxford, que sozinha consegue produzir mais do que todas as universidades e Politécnicos Portugueses. 

UStanford: Generative AI Surpasses Humans in Producing Novel Research Ideas

 

https://19-pacheco-torgal-19.blogspot.com/2024/08/the-list-of-companies-that-are.html

Following up on the previous post about the list of companies producing the most highly cited research and patents in AI (linked above), it's worth highlighting a recent study by Stanford University researchers on the capabilities of generative AI models in generating novel research ideas.

In the study, over 100 NLP researchers were recruited to generate novel ideas, with blind reviews comparing ideas from both large language models (LLMs) and human experts. The findings showed that LLM-generated ideas were judged to be more novel than those from human experts, though slightly weaker in terms of feasibility https://arxiv.org/abs/2409.04109 

In early August of this year, an article published in the well-known The Economist reported that generative AI models are becoming smarter. This observation allows us to anticipate that this evolution will continue in the coming years, such that the future capabilities of these models will far exceed those we are familiar with today. The limit of this evolution was discussed several years ago by the German scientist Jürgen Schmidhuber, a Scopus Highly Cited Scientist (h-index = 78) https://arxiv.org/pdf/cs/0606081

Declaration of Competing Interests - I am concerned about the reliance on Google Scholar as a primary tool for selecting human experts, Section 4.2, 'Expert Qualifications.' A recent study conducted by researchers at New York University has highlighted significant vulnerabilities in Google Scholar’s database, indicating that it is vulnerable to manipulation https://19-pacheco-torgal-19.blogspot.com/2024/05/paper-how-to-exploit-chatgpt-for-large.html

Do sonho à realidade: A fraca produtividade científica nas Faculdades de Direito

https://19-pacheco-torgal-19.blogspot.com/2024/09/o-sonho-de-uma-professora-da.html

Ainda na sequência do post anterior, sobre os bizarros sonhos de uma professora da universidade Nova, que não gosta de revistas científicas (link supra), talvez porque não consegue publicar nas mesmas, aproveito para recordar que eu sei alguma coisa sobre a produtividade científica das escolas de Direito Portuguesas, a que dediquei o meu tempo em Agosto de 2018. Informação essa que então partilhei com alguns milhares de Colegas, e um dos que me respondeu, foi um catedrático de Direito da Universidade Nova de Lisboa, António Manuel Hespanha (foto supra), entretanto já falecido. Vide email no final deste post.

Acresce porém que eu nem preciso desse facto para sustentar as minhas criticas, basta atentar no teor dos relatórios dos revisores internacionais, que levaram a cabo a última avaliação de todas as unidades de investigação. O painél de revisores que avaliou as unidades da área de Direito, mencionou dezenas de vezes, a importância da publicação em revistas internacionais indexadas e não em revistas caseiras. Mas pelos vistos, mesmo assim, parece que houve quem não conseguido perceber essa mensagem, quem sabe talvez na próxima avaliação, eles tenham de chegar ao extremo de fazer um desenho.

PS - O catedrático António Manuel Hespanha, foi um dos investigadores Portugueses da área do Direito, com uma obra altamente citada, o seu perfil no Google Scholar, revela um total de citações superior a 15.000. Em termos comparativos, os catedráticos Jorge Reis Novais, da Universidade de Lisboa e o Paulo Mota Pinto, da Universidade de Coimbra, possuem menos de 4000 citações, e muitos outros professores catedráticos e professores associados (como a tal supracitada) possuem um desempenho muitíssimo inferior aqueles.

---

De: António Manuel Hespanha 
Enviado: 23 de Agosto de 2018 21:59
Para: F. Pacheco Torgal
Assunto: Produtividade das Faculdades de Direito

Caro Colega.

Muito interessantes estes números. Isto confirma justamente a minha ideia sobre a pobre produção científica das FDs, que conheço muito bem. Gostava muito de ter os mesmos relativos a Espanha, Itália, França e Alemanha, para testar a hipótese sobre as virtualidades explicativas dos modelos continental e anglo-saxónico do Direito. Não creio que as coisas vão por aí. Embora, nos países que conheço, as FDs não primem pela produção científica, pelo menos nos moldes em que a avaliamos hoje, suspeito que as nossas FDs estejam muito abaixo das suas congéneres de países de referência no continente. Seria possível colher esses números para os países que indico ? 

Muto obrigado.

António Manuel Hespanha