Apple Computer Company teadlased on leidnud tõendeid, et tehisarupõhiste suurte keelemudelite (LLM) näiliselt intelligentsed vastused on pigem illusioon kui tegelik intelligents. Oma hiljutises artiklis, mis avaldati arXivi serveris, väidavad teadlased, et pärast mitme suure keelemudeli testimist jõudsid nad järeldusele, et need need pole võimelised tõeliseks loogiliseks arutlemiseks.
Apple´i teadlased: tehisaru on siiski vaid illusioon mõtlemisest (2)
Viimastel aastatel on LLMid, nagu näiteks ChatGPT, arenenud sedavõrd palju edasi, et paljud kasutajad on hakanud mõtlema, kas need masinad võivad omada tõelist intelligentsust.
Apple’i teadlased keskendusid sellele küsimusele, lähtudes eeldusest, et intelligentsuse olemasolu eeldab võimet mõista lihtsates olukordades peituvaid nüansse, mis nõuavad loogilist mõtlemist.
Üks selline nüanss on võime eristada asjakohast teavet ebaolulisest. Näiteks kui laps küsib vanemalt, kui palju õunu on kotis, märkides samas, et mitmed neist on liiga väikesed söömiseks, mõistavad mõlemad, et õunte suurus pole seotud nende kogusega. See peegeldab loogilist arutlemisvõimet, mis on inimestele omane.
Oma uuringus testisid teadlased mitut LLMi, et hinnata nende tegelikku võimet mõista, mida neilt küsitakse, ja ignoreerida ebaolulist infot.
Selleks esitati mudelitele sadu küsimusi, mida on varem kasutatud LLMide võimete hindamiseks, kuid nüüd lisasid teadlased küsimustesse ka ebaolulist teavet. Nad avastasid, et pelgalt selle lisainfo kaasamine suutis tekitada LLMides suurt segadust, mille tõttu need vastasid valesti või pakkusid isegi absurdseid vastuseid küsimustele, millele varem õigesti vastasid.
See avastus viitab teadlaste sõnul, et LLMid ei mõista tegelikult, mida neilt küsitakse. Nad tunnevad ära lause struktuuri ja annavad vastuse, mis põhineb nende masinõppe algoritmide abil õpitud mustritel, kuid ei suuda eristada asjakohast infot ebaolulisest.
Samuti märgivad teadlased, et enamik testitud LLMe annavad sageli vastuseid, mis näivad õiged, kuid lähemal vaatlusel pole seda. Näiteks kui neilt küsitakse, kuidas need end tunnevad. Sellised vastused võivad jätta mulje, et tehisintellekt suudab midagi tunda ja seda välja näidata, kuid see on ikkagi vaid illusioon.