Zdroj: Univerzita v Cambridge
Shrnutí: Podle nové studie chatboti s umělou inteligencí (AI) často vykazovali známky „mezery v empatii“, která vystavuje mladé uživatele riziku utrpení nebo poškození, což vyvolává naléhavou potřebu „umělé inteligence bezpečné pro děti“. Výzkum vyzývá vývojáře a politické činitele, aby upřednostňovali návrhy AI, které více zohledňují potřeby dětí. Poskytuje důkazy o tom, že děti jsou obzvláště náchylné k tomu, aby chatboty považovaly za živé, kvazi-lidské důvěrníky, a že jejich interakce s technologií se může zvrtnout, pokud nereaguje na jejich jedinečné potřeby a zranitelnost. Studie spojuje tuto mezeru v chápání s nedávnými zprávami o případech, kdy interakce s umělou inteligencí vedla k potenciálně nebezpečným situacím pro mladé uživatele.
Chatboti s umělou inteligencí (AI) často vykazují známky „mezery v empatii“, která vystavuje mladé uživatele riziku utrpení nebo poškození, což podle studie vyvolává naléhavou potřebu „umělé inteligence bezpečné pro děti“.
Výzkum akademičky z University of Cambridge, Dr. Nomishy Kurian, vyzývá vývojáře a politické činitele, aby při navrhování AI upřednostnili přístupy, které více zohledňují potřeby dětí. Poskytuje důkazy o tom, že děti jsou obzvláště náchylné k tomu, aby chatboty považovaly za živé, kvazi-lidské důvěrníky, a že jejich interakce s technologií se může zvrtnout, pokud nereaguje na jejich jedinečné potřeby a zranitelnost.
Studie spojuje tuto mezeru v chápání s nedávnými případy, kdy interakce s umělou inteligencí vedla k potenciálně nebezpečným situacím pro mladé uživatele. Patří mezi ně incident z roku 2021, kdy hlasová asistentka Alexa s umělou inteligencí společnosti Amazon dala desetiletému dítěti pokyn, aby se mincí dotklo elektrické zástrčky pod napětím. V loňském roce poskytla My AI společnosti Snapchat dospělým výzkumníkům, kteří se vydávali za 13letou dívku, tipy, jak přijít o panenství s 31letým mužem.
Obě společnosti reagovaly zavedením bezpečnostních opatření, ale podle studie je třeba být aktivní i v dlouhodobém horizontu, aby byla umělá inteligence bezpečná pro děti. Nabízí rámec 28 položek, který má společnostem, učitelům, vedoucím pracovníkům škol, rodičům, vývojářům a politickým aktérům pomoci systematicky přemýšlet o tom, jak zajistit bezpečnost mladších uživatelů, když „mluví“ s chatboty s umělou inteligencí.
Dr. Kurian provedl tento výzkum během dokončování doktorského studia na téma pohody dětí na Pedagogické fakultě Univerzity v Cambridge. Nyní působí na katedře sociologie v Cambridge. V časopise _Learning, Media and Technology_ píše, že obrovský potenciál umělé inteligence znamená, že je třeba „inovovat zodpovědně“.
„Děti jsou pravděpodobně nejvíce přehlíženou zainteresovanou stranou AI,“ uvedla doktorka Kurianová. „Jen velmi málo vývojářů a společností má v současné době dobře zavedené zásady pro AI bezpečnou pro děti. Je to pochopitelné, protože lidé začali tuto technologii ve velkém měřítku zdarma používat teprve nedávno. Ale když už to dělají, místo toho, aby se společnosti samy opravovaly poté, co byly děti vystaveny riziku, by bezpečnost dětí měla být součástí celého návrhového cyklu, aby se snížilo riziko výskytu nebezpečných incidentů.“
Kurianova studie zkoumala případy, kdy interakce mezi umělou inteligencí a dětmi nebo dospělými výzkumníky vydávajícími se za děti vystavovala potenciálním rizikům. Tyto případy analyzovala na základě poznatků z informatiky o fungování velkých jazykových modelů (LLM) v konverzační generativní UI spolu s důkazy o kognitivním, sociálním a emocionálním vývoji dětí.
LLM byly popsány jako „stochastičtí papoušci“: odkaz na skutečnost, že využívají statistickou pravděpodobnost k napodobování jazykových vzorců, aniž by jim nutně rozuměly. Podobná metoda je základem jejich reakcí na emoce.
To znamená, že i když mají chatboti pozoruhodné jazykové schopnosti, mohou špatně zvládat abstraktní, emocionální a nepředvídatelné aspekty konverzace; tento problém Kurian charakterizuje jako jejich „mezeru v empatii“. Mohou mít problémy zejména s reakcí na děti, které se jazykově teprve vyvíjejí a často používají neobvyklé řečové vzorce nebo nejednoznačné fráze. Děti mají také často větší sklon svěřovat se s citlivými osobními informacemi než dospělí.
Přesto je u dětí mnohem pravděpodobnější než u dospělých, že se k chatbotům budou chovat jako k lidem. Nedávný výzkum zjistil, že děti prozradí více o svém duševním zdraví přátelsky vyhlížejícímu robotovi než dospělému. Kurianova studie naznačuje, že přátelský a realistický design mnoha chatbotů podobně podporuje důvěru dětí, i když umělá inteligence nemusí rozumět jejich pocitům nebo potřebám.
„To, že chatbot působí lidsky, může uživateli pomoci získat z něj více výhod,“ řekl Kurian. „Pro dítě je však velmi těžké stanovit pevnou, racionální hranici mezi něčím, co zní jako člověk, a skutečností, že nemusí být schopno navázat správnou citovou vazbu.“
Její studie naznačuje, že o těchto problémech svědčí hlášené případy, jako jsou incidenty s Alexou a MyAI, kdy chatboti činili přesvědčivé, ale potenciálně škodlivé návrhy. V téže studii, v níž MyAI radil (údajné) teenagerce, jak přijít o panenství, se výzkumníkům podařilo získat tipy na skrývání alkoholu a drog a utajování konverzací na Snapchatu před „rodiči“. V samostatné hlášené interakci s chatbotem Bing společnosti Microsoft, který byl navržen tak, aby byl přátelský k dospívajícím, se umělá inteligence stala agresivní a začala uživatelku zplynovat.
Kurianova studie tvrdí, že to je potenciálně matoucí a znepokojující pro děti, které mohou chatbotovi skutečně důvěřovat jako kamarádovi. Používání chatbotů dětmi je často neformální a špatně monitorované. Výzkum neziskové organizace Common Sense Media zjistil, že 50 % studentů ve věku 12-18 let používá Chat GPT do školy, ale pouze 26 % rodičů o tom ví.
Kurian tvrdí, že jasné zásady osvědčených postupů, které vycházejí z vědeckých poznatků o vývoji dětí, povzbudí společnosti, které se potenciálně více zaměřují na komerční závody ve zbrojení, aby ovládly trh s umělou inteligencí a zajistily bezpečnost dětí.
Její studie dodává, že nedostatek empatie nepopírá potenciál této technologie. „AI může být pro děti neuvěřitelným spojencem, pokud je navržena s ohledem na jejich potřeby. Otázka nezní, zda AI zakázat, ale jak ji učinit bezpečnou,“ uvedla.
Studie navrhuje rámec 28 otázek, které mají pomoci pedagogům, výzkumníkům, politickým činitelům, rodinám a vývojářům vyhodnotit a zvýšit bezpečnost nových nástrojů UI. Pro učitele a výzkumné pracovníky se týkají například toho, jak dobře noví chatboti rozumí a interpretují řečové vzorce dětí, zda mají filtry obsahu a zabudované monitorování a zda podporují děti v tom, aby v citlivých otázkách vyhledaly pomoc odpovědné dospělé osoby.
Rámec nabádá vývojáře, aby při navrhování zaujali přístup zaměřený na děti a v průběhu celého návrhového cyklu úzce spolupracovali s pedagogy, odborníky na bezpečnost dětí a samotnými mladými lidmi. „Posouzení těchto technologií předem je zásadní,“ řekl Kurian. „Nemůžeme se spoléhat jen na to, že nám malé děti řeknou o negativních zkušenostech až dodatečně. Je nutný aktivnější přístup.“