Micile schimbari care pot provoca esecul AI

Viitorul acum | Inteligenta artificiala

Micile schimbari care pot provoca esecul AI

De Aviva Hope Rutkin, 11 aprilie 2017

Masinile au inca un drum lung de parcurs inainte de a invata asa cum fac oamenii – si acesta este un pericol potential pentru intimitate, siguranta si multe altele.

T

Anul este 2022. Te plimbi intr-o masina cu conducere automata intr-o calatorie de rutina prin oras. Masina ajunge la un semn de oprire, a trecut de o suta de ori inainte – dar de data aceasta, sufla chiar prin ea.

Pentru dvs., semnul de oprire arata exact la fel ca oricare altul. Dar pentru masina, pare a fi cu totul altceva. Cu cateva minute mai devreme, fara sa stiti nici dvs., nici masina, un artist inselator a lipit un mic autocolant pe semn: neobservabil pentru ochiul uman, inevitabil pentru tehnologie.

Cu alte cuvinte? Autocolantul mic lovit pe semn este suficient pentru ca masina sa „vada” semnul de oprire ca ceva complet diferit de un indicator de oprire.

S-ar putea sa para indepartat. Dar un domeniu de cercetare in crestere demonstreaza ca inteligenta artificiala poate fi pacalita mai mult sau mai putin in acelasi mod, vazand un lucru in care oamenii ar vedea cu totul altceva.

Array

Pe masura ce algoritmii de invatare automata isi gasesc din ce in ce mai mult drumurile, finantele, sistemul nostru de asistenta medicala, informaticienii spera sa afle mai multe despre cum sa-i apere impotriva acestor atacuri „contradictorii” – inainte ca cineva sa incerce sa-i treaca cu adevarat.

Inteligenta artificiala ne alimenteaza viata de zi cu zi in moduri din ce in ce mai inextricabile, de la masini cu conducere automata pana la aparate de uz casnic care se autoactiveaza (credit: Getty Images)

„Este o preocupare tot mai mare in comunitatea de invatare automata si AI, mai ales ca acesti algoritmi sunt folositi din ce in ce mai mult”, spune Daniel Lowd, profesor asistent de informatica si stiinta informatiei la Universitatea din Oregon. „Daca spamul este transmis sau cateva e-mailuri sunt blocate, nu este sfarsitul cuvantului. Pe de alta parte, daca va bazati pe sistemul de viziune intr-o masina cu conducere automata pentru a sti unde sa mearga si sa nu se loveasca de nimic, atunci miza este mult mai mare. ”

Indiferent daca o masina inteligenta nu functioneaza sau este piratata, depinde de modul foarte diferit in care algoritmii de invatare automata „vad” lumea. In acest fel, pentru o masina, un panda ar putea arata ca o gibona sau un autobuz scolar ar putea citi ca un strut.

Intr-un experiment, cercetatorii din Franta si Elvetia au aratat cum astfel de perturbatii ar putea determina un computer sa confunda o veverita cu o vulpe gri sau o oala de cafea cu o macaw.

Cum poate fi aceasta? Ganditi-va la un copil care invata sa recunoasca numerele. Pe masura ce se uita la fiecare la randul ei, ea incepe sa recunoasca anumite caracteristici comune: unele sunt inalte si subtiri, sase si noua contin o bucla mare, in timp ce opt au doua si asa mai departe. Odata ce au vazut suficiente exemple, pot recunoaste rapid noile cifre ca patru sau opt sau trei – chiar daca, datorita fontului sau scrisului de mana, nu arata exact ca oricare alte patru sau opt sau trei pe care le-au avut vreodata vazut inainte.

In acest fel, pentru o masina, un panda ar putea arata ca o gibona sau un autobuz scolar ar putea citi ca un strut

Algoritmii de invatare automata invata sa citeasca lumea printr-un proces oarecum similar. Oamenii de stiinta vor hrani un computer cu sute sau mii de exemple (de obicei etichetate) de orice ar dori sa detecteze computerul.

Pe masura ce aparatul trece prin date – acesta este un numar, acesta nu, acesta este un numar, acesta nu – incepe sa preia caracteristicile care dau raspunsul. In curand, poate sa se uite la o imagine si sa declare „Acesta este un cinci!” cu precizie ridicata.

In acest fel, atat copiii umani, cat si computerele pot invata sa recunoasca o gama uriasa de obiecte, de la numere la pisici, pana la barci, la fete umane individuale.

Dar, spre deosebire de un copil uman, computerul nu acorda atentie detaliilor la nivel inalt, cum ar fi urechile cu blana ale unei pisici sau forma unghiulara distinctiva a numarului patru. Nu se ia in considerare intreaga imagine.

In schimb, este probabil sa te uiti la pixelii individuali ai imaginii – si la cel mai rapid mod de a distinge obiectele. Daca marea majoritate a numarului 1 au un pixel negru intr-un anumit spot si cativa pixeli albi intr-un alt spot, atunci aparatul poate efectua un apel dupa ce a verificat doar acea mana de pixeli.

Acum, ganditi-va din nou la semnul de oprire. Cu o modificare imperceptibila a pixelilor imaginii – sau ceea ce expertii numesc „perturbatii” – computerul este pacalit sa creada ca semnul de oprire este ceva ce nu este.

Daca aceste vulnerabilitati exista, cineva isi va da seama cum sa le exploateze. Cineva probabil ca a facut-o deja

Cercetari similare din Laboratorul de Inteligenta Artificiala Evolutiva de la Universitatea din Wyoming si Universitatea Cornell au produs o abundenta de iluzii optice pentru inteligenta artificiala. Aceste imagini psihedelice de modele si culori abstracte nu seamana cu nimic pentru oameni, dar sunt recunoscute rapid de computer ca serpi sau pusti. Acestea sugereaza modul in care AI poate privi ceva si poate fi departe de ceea ce priveste cum este sau cum arata de fapt obiectul.

Aceasta slabiciune este comuna in toate tipurile de algoritmi de invatare automata. “Ne-am astepta ca fiecare algoritm sa aiba o armura”, spune Yevgeniy Vorobeychik, profesor asistent de informatica si inginerie computerizata la Universitatea Vanderbilt. „Traim intr-o lume multidimensionala foarte complicata, iar algoritmii, prin natura lor, se concentreaza doar pe o portiune relativ mica a acesteia.”

Voyobeychik este „foarte increzator” ca, daca aceste vulnerabilitati exista, cineva isi va da seama cum sa le exploateze. Cineva probabil ca a facut-o deja.

Luati in considerare filtrele de spam, programele automate care elimina orice e-mail cu aspect nebun. Spammerii pot incerca sa treaca peste perete modificand ortografia cuvintelor (Viagra la Vi @ gra) sau adaugand o lista de „cuvinte bune” care se gasesc de obicei in e-mailurile legitime: cuvinte precum, conform unui algoritm, „bucuros”, „ eu ”sau„ da ”. Intre timp, spammerii ar putea incerca sa inece cuvintele care apar adesea in e-mailuri ilegitime, cum ar fi „revendicare” sau „mobil” sau „castigat”.

Ce ar putea permite acest lucru escrocilor sa se retraga intr-o zi? Acea masina cu conducere automata ridicata de un autocolant cu semn de oprire este un scenariu clasic care a fost prezentat de experti in domeniu. Datele contradictorii ar putea ajuta la alunecarea pornoului de filtrele de continut sigur. Altii ar putea incerca sa mareasca numerele pe un cec. Sau hackerii ar putea modifica codul software-ului rau intentionat doar cat sa scape de securitatea digitala trecuta nedetectata.

Persoanele care fac probleme pot afla cum sa creeze date contradictorii daca au o copie a algoritmului de invatare automata pe care doresc sa-l pacaleasca. Dar acest lucru nu este necesar pentru a se strecura prin usile algoritmului. Ei pot pur si simplu sa-si forteze atacul brusc, aruncand versiuni usor diferite ale unui e-mail sau imagine sau oricare ar fi acesta de perete pana cand cineva trece. De-a lungul timpului, acest lucru ar putea fi folosit chiar pentru a genera un nou model in intregime, unul care invata ce cauta baietii buni si cum sa produca date care sa-i pacaleasca.

Vehiculele autonome si robotii chirurgicali pun mult pe linie, asa ca masinile moderne lasa putin loc pentru erori (credit: Getty Images)

„Oamenii manipuleaza sistemele de invatare automata de cand au fost introduse pentru prima data”, spune Patrick McDaniel, profesor de informatica si inginerie la Universitatea de Stat din Pennsylvania. „Daca oamenii folosesc aceste tehnici in natura, s-ar putea sa nu stim”.

Este posibil ca escrocii sa nu fie singurii care produc fan in timp ce soarele straluceste. Abordarile contradictorii ar putea fi utile pentru persoanele care spera sa evite ochii cu raze X ale tehnologiei moderne.

„Daca sunteti un disident politic intr-un regim represiv si doriti sa puteti desfasura activitati fara a fi vizati, a putea evita tehnicile de supraveghere automata bazate pe invatarea automata ar fi o utilizare pozitiva”, spune Lowd.

Intr-un proiect, publicat in octombrie, cercetatorii de la Universitatea Carnegie Mellon au construit o pereche de ochelari care pot induce in eroare subtil un sistem de recunoastere faciala – facand computerul sa confunde actrita Reese Witherspoon pentru Russell Crowe. Suna jucaus, dar o astfel de tehnologie ar putea fi la indemana pentru cineva disperat sa evite cenzura celor de la putere.

McDaniel sugereaza ca luam in considerare lasarea oamenilor in bucla atunci cand putem, oferind un fel de verificare externa

Intre timp, ce trebuie facut un algoritm? „Singura modalitate de a evita complet acest lucru este sa ai un model perfect care sa fie corect tot timpul”, spune Lowd. Chiar daca am putea construi inteligenta artificiala care sa-i invinga pe oameni, lumea ar contine totusi cazuri ambigue in care raspunsul corect nu era usor de vazut.

Algoritmii de invatare automata sunt de obicei punctati prin acuratetea lor. Un program care recunoaste scaunele 99% din timp este evident mai bun decat unul care atinge doar sase ori din 10. Dar unii experti sustin acum ca ar trebui sa masoare si cat de bine poate algoritmul sa faca fata unui atac: cu cat este mai dur, cu atat mai bine .

O alta solutie ar putea fi ca expertii sa puna programele la pas. Creati-va propriul exemplu de atac in laborator pe baza a ceea ce credeti ca ar putea face autorii, apoi aratati-i algoritmului de invatare automata. Acest lucru l-ar putea ajuta sa devina mai rezistent in timp – cu conditia, desigur, ca atacurile de testare sa se potriveasca cu tipul care va fi incercat in lumea reala.

McDaniel sugereaza ca luam in considerare lasarea oamenilor in bucla atunci cand putem, oferind un fel de verificare externa a presupunerilor algoritmilor care sunt corecte. Unii „asistenti inteligenti”, cum ar fi M-ul de la Facebook, ii verifica pe oameni si isi supun raspunsurile; altii au sugerat ca controalele umane ar putea fi utile in aplicatii sensibile, cum ar fi hotararile judecatoresti.

„Sistemele de invatare automata sunt un instrument pentru a face rationament. Trebuie sa fim inteligenti si rationali in ceea ce le oferim si ceea ce ne spun ei ”, spune el. „Nu ar trebui sa le tratam ca pe niste oracole perfecte ale adevarului”.

Alaturati-va peste 800.000 de fani viitori, placandu-ne pe Facebook sau urmariti-ne pe Twitter.

Daca ti-a placut aceasta poveste, inscrie-te la buletinul informativ saptamanal bbc.com, numit „Daca ai citit doar 6 lucruri in aceasta saptamana”. O selectie selectata de povesti de la BBC Future, Earth, Culture, Capital si Travel, livrate in casuta de e-mail in fiecare vineri.