Yksityisyys on termi, jonka merkitys on muokkautunut historian saatossa merkittävästi. Useimmiten sillä viitataan arvoon tai näkemykseen, että ihmisen tulisi pystyä hallitsemaan tai rajoittamaan, mitä muut hänestä tietävät. Yksityisyyden kunnioittaminen onkin tekoälyn kontekstissa usein ymmärretty yksilön henkilökohtaisen datan luottamuksellisena käsittelynä ja tietoturvan takaamisena.
Yksityisyydensuojaan ja tietoturvaan liittyvät huolenaiheet ovat olleet tekoälyä koskevan keskustelun keskiössä. Koneoppimisalgoritmeilla voidaan löytää hienovaraisia tilastollisia yhteyksiä suurista datamassoista, jolloin ihmisyksilöistä ja -ryhmistä voidaan päätellä arkaluontoista tietoa – niin tarkoituksellisesti kuin tarkoittamattakin. Cambridgen yliopiston tutkijat esimerkiksi osoittivat, että Facebook-tykkäysten perusteella voidaan päätellä tietoa käyttäjien seksuaalisesta suuntautumisesta, sukupuolesta, iästä, etnisyydestä, uskonnollisista ja poliittisista näkemyksistä, persoonallisuuspiirteistä, älykkyydestä, onnellisuudesta ja päihteidenkäytöstä. (Lue englanninkielinen Kosinskin ym. tutkimus vuodelta 2013 täältä.)
Yksilöllä on oikeus siihen, että hänen dataansa käsitellään turvallisesti ja luottamuksellisesti. Hänellä on myös oikeus hallita dataansa ja sen käyttöä. Näitä “digitaalisia oikeuksia” on turvattu muun muassa Euroopan yleisessä tietosuoja-asetuksessa eli GDPR:ssä.
Teoreetikko Helen Nissenbaum on painottanut, että yksityisyyden kunnioittaminen on hyvin kontekstisidonnaista. Ihmisillä on erilaisia odotuksia tiedon omaamisen ja säilytyksen, sen kulkemisen ja paljastamisen suhteen. Nämä odotukset riippuvat siitä, minkälaisesta tiedosta on kyse, mitkä toimijat voivat mahdollisesti saada tietoa käsiinsä ja miksi. Yksityisyyden kunnioittamista ei tulekaan samaistaa kapeasti vain tietosuojaan eli datan turvalliseen säilytykseen. Yksityisyyden kunnioittaminen liittyy olennaisesti myös yksilöiden ja ryhmien tunteeseen siitä, että he voivat olla “kotonaan yhteiskunnassa” ja liikkua esimerkiksi julkisilla paikoilla ilman tarkkailua muiden toimesta. Tästä syystä esimerkiksi biometristä valvontaa, kuten kasvojentunnistusteknologian käyttöä julkisilla paikoilla (ks. osio Tekoäly yhteiskunnassa), on vastustettu kovasti tutkimusryhmien ja kansalaisjärjestöjen toimesta. (Lue esimerkiksi AccessNow:n englanninkielinen avoin kirje täältä.)