Cent-sept millions d'articles scientifiques réduits en miettes textuelles
Une organisation met à disposition l'index géant de plus de cent millions d'articles scientifiques passés au mixeur textuel. De quoi ravir les amateurs de statistiques textuelles un brin obsessionnelles.

Amis de la grande bibliothèque et des fichiers qui pèsent plus lourd que votre conscience, réjouissez-vous ! Le réseau Tor nous réserve parfois des pèlerinages inattendus, comme cette halte sur les vénérables serveurs de l'Internet Archive pour y découvrir un monument de la démesure documentaire : « The General Index ». Derrière ce nom de super-méchant bureaucratique se cache en réalité un projet titanesque mené par l'organisation Public Resource, bien décidée à disséquer la littérature scientifique mondiale.
Le principe frôle l'art conceptuel par sa rigueur mathématique. Prenez 107 233 728 articles scientifiques, passez le tout à la moulinette de l'outil SpaCy et extrayez-en des milliards de n-grammes — ces fameux morceaux de phrases découpés du unigramme au quintuple. Ajoutez-y un second tableau de mots-clés générés par Yake et un troisième pour lier le tout à des identifiants d'articles. Le résultat ? Une archive de plusieurs dizaines de gigaoctets de données brutes, prête à être téléchargée par quiconque possède un disque dur en bonne santé et une patience angélique.
La page d'accueil, formidablement austère, s'accompagne même d'une déclaration de soutien signée par de venerables pionniers du net, dont le célèbre Vinton Cerf en personne. On y apprend que ce gigantesque travail se veut un « accès non-consumptif » à la connaissance, c'est-à-dire que l'on ne lit pas les articles, on contemple leurs entrailles lexicales. Une façon tout à fait fascinante de se promener sur les épaules des géants de la science en ne regardant finalement que leurs chaussures poussiéreuses.


