UStanford: Generative AI Surpasses Humans in Producing Novel Research Ideas

 

https://19-pacheco-torgal-19.blogspot.com/2024/08/the-list-of-companies-that-are.html

Following up on the previous post about the list of companies producing the most highly cited research and patents in AI (linked above), it's worth highlighting a recent study by Stanford University researchers on the capabilities of generative AI models in generating novel research ideas.

In the study, over 100 NLP researchers were recruited to generate novel ideas, with blind reviews comparing ideas from both large language models (LLMs) and human experts. The findings showed that LLM-generated ideas were judged to be more novel than those from human experts, though slightly weaker in terms of feasibility https://arxiv.org/abs/2409.04109 

In early August of this year, an article published in the well-known The Economist reported that generative AI models are becoming smarter. This observation allows us to anticipate that this evolution will continue in the coming years, such that the future capabilities of these models will far exceed those we are familiar with today. The limit of this evolution was discussed several years ago by the German scientist Jürgen Schmidhuber, a Scopus Highly Cited Scientist (h-index = 78) https://arxiv.org/pdf/cs/0606081

Declaration of Competing Interests - I am concerned about the reliance on Google Scholar as a primary tool for selecting human experts, Section 4.2, 'Expert Qualifications.' A recent study conducted by researchers at New York University has highlighted significant vulnerabilities in Google Scholar’s database, indicating that it is vulnerable to manipulation https://19-pacheco-torgal-19.blogspot.com/2024/05/paper-how-to-exploit-chatgpt-for-large.html

Do sonho à realidade: A fraca produtividade científica nas Faculdades de Direito

https://19-pacheco-torgal-19.blogspot.com/2024/09/o-sonho-de-uma-professora-da.html

Ainda na sequência do post anterior, sobre os bizarros sonhos de uma professora da universidade Nova, que não gosta de revistas científicas (link supra), talvez porque não consegue publicar nas mesmas, aproveito para recordar que eu sei alguma coisa sobre a produtividade científica das escolas de Direito Portuguesas, a que dediquei o meu tempo em Agosto de 2018. Informação essa que então partilhei com alguns milhares de Colegas, e um dos que me respondeu, foi um catedrático de Direito da Universidade Nova de Lisboa, António Manuel Hespanha (foto supra), entretanto já falecido. Vide email no final deste post.

Acresce porém que eu nem preciso desse facto para sustentar as minhas criticas, basta atentar no teor dos relatórios dos revisores internacionais, que levaram a cabo a última avaliação de todas as unidades de investigação. O painél de revisores que avaliou as unidades da área de Direito, mencionou dezenas de vezes, a importância da publicação em revistas internacionais indexadas e não em revistas caseiras. Mas pelos vistos, mesmo assim, parece que houve quem não conseguido perceber essa mensagem, quem sabe talvez na próxima avaliação, eles tenham de chegar ao extremo de fazer um desenho.

PS - O catedrático António Manuel Hespanha, foi um dos investigadores Portugueses da área do Direito, com uma obra altamente citada, o seu perfil no Google Scholar, revela um total de citações superior a 15.000. Em termos comparativos, os catedráticos Jorge Reis Novais, da Universidade de Lisboa e o Paulo Mota Pinto, da Universidade de Coimbra, possuem menos de 4000 citações, e muitos outros professores catedráticos e professores associados (como a tal supracitada) possuem um desempenho muitíssimo inferior aqueles.

---

De: António Manuel Hespanha 
Enviado: 23 de Agosto de 2018 21:59
Para: F. Pacheco Torgal
Assunto: Produtividade das Faculdades de Direito

Caro Colega.

Muito interessantes estes números. Isto confirma justamente a minha ideia sobre a pobre produção científica das FDs, que conheço muito bem. Gostava muito de ter os mesmos relativos a Espanha, Itália, França e Alemanha, para testar a hipótese sobre as virtualidades explicativas dos modelos continental e anglo-saxónico do Direito. Não creio que as coisas vão por aí. Embora, nos países que conheço, as FDs não primem pela produção científica, pelo menos nos moldes em que a avaliamos hoje, suspeito que as nossas FDs estejam muito abaixo das suas congéneres de países de referência no continente. Seria possível colher esses números para os países que indico ? 

Muto obrigado.

António Manuel Hespanha

O sonho de uma professora da Universidade Nova__Elevar uma cadela a catedrática

Uma professora Associada com Agregação, da Universidade Nova de Lisboa, de nome Helena Pereira de Melo, achou boa ideia ser hoje autora de um triste e deplorável artigo no jornal Público, de título "Vanessa Lucrécia publica numa revista jurídica internacional", onde fala de sonhos, alegadamente ficcionais (acredita quem quer), inclusive do sonho de elevar uma cadela a professora catedrática. Tenho muitas dúvidas que muitos leitores do Público consigam ler sem desagrado o seu infeliz artigo e tenho a certeza que muitos deles, que contribuem para lhe pagar o salário, achem que de uma académica, ainda por cima uma que está quase no topo da carreira, se pode e deve esperar algo menos dissimulado, menos rasteiro, mais edificante e mais instrutivo.

O referido e muito lamentável artigo, evidencia notórias frustrações pessoais da sua autora, com a conhecida base de literatura científica indexada a nível mundial, Scopus, que bem se percebem pelo facto dela só lá possuir uma única solitária publicação. É pena que nenhuma alminha caridosa, lhe tenha explicado a importância crucial daquela base de dados, em especial no contexto do crescimento de revistas "científicas" predadoras, que como informou a revista The Economist em 2020, conseguiram em apenas duas décadas ultrapassar mais de 10.000 https://pacheco-torgal.blogspot.com/2020/06/the-economistin-just-20-years-predatory.html

Ou quem sabe, talvez o desinteresse (e quase desprezo) da referida professora e de muitos outros Colegas dela, da área do Direito, pelo dever de investigar (e publicar) plasmado no Estatuto da Carreira Docente Universitária, tenha afinal muito mais que ver com o facto de eles estarem muitíssimo mais interessados em dedicarem o seu tempo a encher o bolso "à custa da rendosa prática dos pareceres jurídicos, de 20.000-30.000 euros cada um" https://19-pacheco-torgal-19.blogspot.com/2024/02/gpt-4-consegue-reduzir-custos-com.html

Declaração de interesses - Declaro que já por diversas vezes critiquei a Universidade Nova, pelo facto daquela, de ano para ano, cada vez mais se afundar no prestigiado ranking Shanghai, ficando abaixo inclusive de universidades de países do terceiro mundo. Recordo também que há apenas dois cursos de Direito em Portugal, que por conta da sua produção científica conseguiram aparecer no último ranking Shanghai por áreas, e como é evidente, entre eles não está o curso da Universidade Nova de Lisboa.

PS - Admito que poderá haver um grupo de pessoas que gostaram bastante do reprovável artigo da professora Associada com Agregação, Helena Pereira de Melo. É um grupo constituído por uma amálgama de três subgrupos, o subgrupo daqueles que nunca foram capazes de publicar em revistas científicas (não predadoras), como aquele professor que foi despedido da universidade do Porto, o danoso subgrupo daqueles que negam evidências científicas (sobre vacinas ou alterações climáticas), e que defendem pseudociências, que não seguem o método científico e finalmente o subgrupo daqueles que defendem que as opiniões pessoais tem o mesmo valor que o conhecimento cientifico. https://pacheco-torgal.blogspot.com/2020/11/phd-thesis-my-ignorance-is-just-as-good.html