Tutkijat julistivat, että järjestelmä oli suoriutunut paremmin kuin radiologit. Tulokset eivät kuitenkaan vakuuttaneet kaikkia, ja jo samaisen vuoden lokakuussa Naturessa ilmestyi huolestuneiden tutkijoiden vastine. He kritisoivat yksityiskohtien puutetta metodeissa ja algoritmin koodissa, jotka heikensivät julkaisun tieteellistä arvoa. He alleviivasivat, että artikkelin heikkoudet eivät tee tutkimuksesta tiedettä, vaan lähinnä suljetun teknologian mainostusta.
Edellä kuvattu tapaus on yksi esimerkki tekoälytutkimukseen ja -kehitykseen liittyvistä kokeiden toistettavuusongelmista. Nämä ongelmat eivät kuitenkaan ole alalla uusi asia, eivätkä ne koske vain tietojenkäsittelyä tai sen tutkimushaaroja. Esimerkiksi 2000-luvulla on julistettu erityisesti psykologian ajautuneen ”replikaatiokriisiin”, joka lyhykäisyydessään tarkoittaa ongelmia tieteellisten kokeiden ja tutkimustulosten toistettavuudessa.
Tilastollisten metodien käyttö on syössyt monia aloja toistettavuusongelmiin. Erityisen herkkiä tälle ongelmalle ovat olleet tekoälyyn liittyvät ja sitä hyödyntävät tutkimukset. Tekoälyn toimintaperiaatteiden sekä niiden heikkouksien ja vahvuuksien ymmärtäminen vaatii monenlaista erityisosaamista, joka ei kuitenkaan ole kasvanut samassa tahdissa järjestelmien käyttöönoton kanssa. Toistettavuuteen liittyvät ongelmat ovat synnyttäneet vyyhdin, joka ei näyttäisi olevan aukeamassa ainakaan hetkeen.
DIG1t0-hankkeen tutkijat tarkastelevat tuoreessa artikkelissaan tekoälyä hyödyntävän tutkimuksen replikaatio-ongelmia. Juho Rantalan, Paula Alasen ja Jaana Parviaisen artikkeli ”Mitä toistettavuusongelmat tuovat tullessaan tekoälytutkimukseen?”on julkaistu niin&näin 4/2022 lehdessä.