Des chercheurs ont utilisé une combinaison d’analyse de texte automatisée et le « robot scientifique » Eve pour semi-automatiser le processus de reproduction des résultats de recherche. 

Les chercheurs, dirigés par l’Université de Cambridge, ont analysé plus de 12 000 articles de recherche sur la biologie cellulaire du cancer du sein. Après avoir réduit l’ensemble à 74 articles de grand intérêt scientifique, moins d’un tiers – 22 articles – se sont avérés reproductibles. Dans deux cas, Eve a pu faire des découvertes fortuites.

Les résultats, rapportés dans le Journal of the Royal Society Interface démontrent qu’il est possible d’utiliser la robotique et l’intelligence artificielle pour contribuer à résoudre la crise de la reproductibilité.

Une expérience réussie est celle où un autre scientifique, dans un autre laboratoire et dans des conditions similaires, peut obtenir le même résultat. Mais plus de 70 % des chercheurs ont essayé de reproduire les expériences d’un autre scientifique sans y parvenir, et plus de la moitié n’ont pas réussi à reproduire certaines de leurs propres expériences : C’est la crise de la reproductibilité.

« La bonne science repose sur la reproductibilité des résultats, sans quoi ceux-ci n’ont pratiquement aucun sens », a déclaré le professeur Ross King, du département de génie chimique et de biotechnologie de Cambridge, qui a dirigé les recherches.

« C’est particulièrement important en biomédecine : Si je suis un patient et que je lis des informations sur un nouveau traitement potentiel prometteur, mais que les résultats ne sont pas reproductibles, comment suis-je censé savoir quoi croire ? Le résultat pourrait être que les gens perdent confiance dans la science. »

Il y a plusieurs années, King a mis au point le robot scientifique Eve, un système informatique/robotique qui utilise des techniques d’intelligence artificielle (IA) pour réaliser des expériences scientifiques.

« L’un des grands avantages de l’utilisation de machines pour faire de la science est qu’elles sont plus précises et enregistrent les détails plus exactement qu’un humain »,

a déclaré King. « Cela les rend bien adaptées à la tâche consistant à tenter de reproduire des résultats scientifiques ».

Dans le cadre d’un projet financé par la DARPA

King et ses collègues du Royaume-Uni, des États-Unis et de Suède ont conçu une expérience qui utilise une combinaison d’IA et de robotique pour aider à résoudre la crise de la reproductibilité, en amenant les ordinateurs à lire les articles scientifiques et à les comprendre, et en amenant Eve à tenter de reproduire les expériences.

Pour le présent article, l’équipe s’est concentrée sur la recherche sur le cancer.

« La littérature sur le cancer est énorme, mais personne ne fait jamais deux fois la même chose, ce qui fait de la reproductibilité un problème énorme »,

a déclaré King.

« Compte tenu des sommes considérables consacrées à la recherche sur le cancer et du nombre de personnes touchées par le cancer dans le monde, c’est un domaine où il est urgent d’améliorer la reproductibilité. »

À partir d’un ensemble initial de plus de 12 000 articles scientifiques publiés, les chercheurs ont utilisé des techniques d’exploration de texte automatisées pour extraire des déclarations liées à un changement de l’expression génétique en réponse à un traitement médicamenteux dans le cancer du sein.

Dans cet ensemble, 74 articles ont été sélectionnés.

Deux équipes humaines différentes ont utilisé Eve et deux lignées cellulaires de cancer du sein et ont tenté de reproduire les 74 résultats. Des preuves statistiquement significatives de répétabilité ont été trouvées pour 43 articles, ce qui signifie que les résultats pouvaient être reproduits dans des conditions identiques ; et des preuves significatives de reproductibilité ou de robustesse ont été trouvées pour 22 articles, ce qui signifie que les résultats pouvaient être reproduits par différents scientifiques dans des conditions similaires. Dans deux cas, l’automatisation a permis de faire des découvertes fortuites.

Bien que seuls 22 des 74 articles aient été jugés reproductibles dans cette expérience, les chercheurs affirment que cela ne signifie pas que les autres articles ne sont pas scientifiquement reproductibles ou robustes.

« Il y a beaucoup de raisons pour lesquelles un résultat particulier peut ne pas être reproductible dans un autre laboratoire »

, a déclaré King.

« Les lignées cellulaires peuvent parfois changer de comportement dans différents laboratoires dans des conditions différentes, par exemple. La différence la plus importante que nous avons trouvée est que la personne qui fait l’expérience a son importance, car chaque personne est différente. »

King affirme que ce travail montre que les techniques automatisées et semi-automatisées pourraient être un outil important pour aider à résoudre la crise de la reproductibilité.

« C’est assez choquant de voir à quel point la reproductibilité est un problème dans la science, et cela va nécessiter une révision complète de la façon dont une grande partie de la science est faite »,

a déclaré King.

« Nous pensons que les machines ont un rôle clé à jouer pour aider à y remédier ».