A amplitude destes números pode, contudo, criar uma impressão enganadora de exaustividade. Mais de 100 milhões de registos bibliográficos não significam mais de 100 milhões de documentos integralmente analisáveis. Para a maioria das publicações, o LeapSpace dispõe apenas do título, do resumo e dos metadados, estando o acesso ao texto integral limitado às publicações da Elsevier e ao conteúdo seleccionado de um conjunto de parceiros. Uma análise publicada pela Science estimou que a Elsevier e os seus parceiros representavam apenas cerca de 22% dos artigos de investigação e revisão publicados.
Existe ainda uma limitação metodológica fundamental, as pesquisas do LeapSpace são probabilísticas. A própria Elsevier reconhece que uma mesma pergunta pode, em momentos diferentes, produzir respostas e conjuntos de referências ligeiramente distintos. Por essa razão, recomenda que os termos identificados pela ferramenta sejam posteriormente convertidos numa pesquisa booleana no Scopus, de modo a gerar resultados determinísticos e reprodutíveis. Um relatório produzido pelo LeapSpace não constitui, portanto, uma estratégia de pesquisa que outro investigador possa repetir exactamente e obter necessariamente os mesmos resultados.
Esta limitação torna-se particularmente problemática quando se pretende demonstrar a novidade de uma investigação. O facto de o LeapSpace não encontrar determinado estudo não significa que esse estudo não exista; significa apenas que não foi recuperado no universo documental a que a plataforma teve acesso nem através da estratégia de pesquisa automaticamente seleccionada. O silêncio da ferramenta não constitui portanto uma prova cabal de inexistência. Por conseguinte, não é cientificamente legítimo afirmar que “não existem estudos publicados” apenas porque a ferramenta LeapSpace não os identificou.
As reservas supracitadas não anulam de todo a utilidade do LeapSpace; apenas delimitam o alcance científico das conclusões que dele podem ser retiradas. É sobretudo nas fases preliminares de uma investigação que esta ferramenta revela o seu maior valor, oferecendo uma primeira cartografia de áreas ainda pouco familiares, ajudando a reconhecer a terminologia especializada e os autores mais relevantes e permitindo formular questões mais rigorosas antes de se avançar para uma pesquisa bibliográfica formal e reprodutível.
