Austraalia võimud: tehisaru teeb inimestega võrreldes ülimalt kehva tööd

AI Foto: AI/Kyraxys/Pixabay

Uus uuring näitab, et tehisintellekt on võrreldes inimestega informatsioonist kokkuvõtete tegemisel äärmiselt ebatäpne. Austraalia väärtpaberi- ja investeerimiskomisjoni (Australian Securities and Investment Commission ehk ASIC) jaoks korraldatud katse tulemused, mida kajastas Austraalia väljaanne Crikey, tõstavad esile tehisintellekti piiratud võimekuse.

Katse tehisintellekti ärikasutuse potentsiaali kohta

Katse viis läbi Amazon Web Services, kes analüüsis tehisintellekti võimekust ärikeskkonnas. Tulemused olid pettumust valmistavad. Pimehindamises, kus võrreldi valitsusdokumentide kokkuvõtteid, saavutas AI 47-protsendilise tulemuse, samas kui inimeste koostatud kokkuvõtted olid 81 protsendi tasemel.

Tulemused peegeldavad laialt levinud arusaama, et tänapäeva tehisintellekti mudelid ei suuda inimtöötajaid asendada.

Meta Llama2-70B mudeli ebaõnnestumine

Hindamiseks kasutati Meta avatud lähtekoodiga mudelit, millel on kuni 70 miljardit parameetrit. See pidi kokku võtma parlamendi uurimismaterjalid, keskendudes eriti ASICiga seotud viidetele, sealhulgas allikate leheküljenumbritele. Samal ajal koostasid ASICi töötajad oma versioonid samadest kokkuvõtetest.

Viis hindajat lugesid nii algdokumente kui ka kokkuvõtteid, teadmata, milline oli AI ja milline inimeste koostatud. Pärast katset ütlesid kolm hindajat, et kahtlustasid AI kasutamist, mis iseenesest on muret tekitav.

AI tõrgete rohkus

AI tulemused olid inimestega võrreldes kõigi hindamiskriteeriumite puhul halvemad. Esiteks ei suutnud AI mudel anda viiteid koos leheküljenumbritega, mida küll tehnilise kohandamisega oleks võimalik parandada. Kuid tõsisem probleem oli tehisintellekti suutmatus tabada dokumentide nüansse ja konteksti. Lisaks kaldus AI sageli rõhutama ebaolulist informatsiooni ja oli liigselt sõnakas.

Kõige olulisem järeldus oli, et AI-l põhinevate kokkuvõtete kasutamine oleks isegi aja- ja ressursimahukam, kuna nende kontrollimine ja parandamine vajaks lisatööd. See seab kahtluse alla tehisintellekti kasutamise tõhususe aja ja kulude kokkuhoius.

Kokkuvõte

Katse tulemus näitab, et tehisintellekt pole veel inimeste asendamiseks sobiv, eriti sellistes ülesannetes, nagu informatsioonist kokkuvõtete tegemine. AI-l põhinevad kokkuvõtted on tihti ebatäpsed ja vajavad suurel määral kontrollimist, mis vähendab tehnoloogia väidetavat tõhusust.

Allikas: Futurism