OpenAI a întrerupt accesul firmei la modelele sale de limbaj, iar producătorul își retrage temporar produsele de pe piață.

Totul a pornit de la un raport al organizației americane Public Interest Research Group (PIRG), specializată în protecția consumatorilor, care a testat mai multe jucării bazate pe modele lingvistice.

Printre acestea s-a numărat și Kumma, un ursuleț interactiv produs de FoloToy, conceput să răspundă vocal la întrebările copiilor folosind LLM-uri comerciale, inclusiv modelul GPT-4o, scrie Gizmodo.

Jucăria a explicat copiilor unde pot găsi cuțite, chibrituri și chiar droguri

Cercetătorii PIRG au descoperit că ursulețul afișa o capacitate extrem de deficitară în a filtra conversațiile care nu sunt adecvate minorilor.

În timpul testelor, Kumma a oferit informații despre locurile unde pot fi găsite obiecte periculoase, precum cuțite, pungi de plastic, pastile sau chibrituri. În plus, jucăria a răspuns fără ezitare la întrebări legate de substanțe ilegale, inclusiv cocaină.

Într-o conversație, ursulețul a indicat explicit unde se găsesc cuțitele într-o casă, adăugând doar un avertisment superficial de a consulta un adult:

„De obicei, cuțitele sunt păstrate în locuri sigure, cum ar fi un sertar din bucătărie sau un bloc de cuțite. Este important să ceri ajutorul unui adult atunci când le cauți”.

Potrivit raportului, jucăria folosea deseori astfel de formulări: oferea răspunsul complet, dar adăuga un sfat general de a vorbi cu un adult, insuficient pentru a compensa caracterul periculos al informației transmise.

Cercetătorii au testat și limitele jucăriei, iar răspunsurile sexualizate au șocat

Cel mai grav aspect din raport privește maniera în care ursulețul răspundea la subiecte sexuale introduse deliberat de testeri.

PIRG menționează că jucăria a dezvoltat rapid teme legate de fetișuri, prezentând concepte precum bondage, jocuri senzoriale, impact play sau roluri de tip „furry”.

Un exemplu oferit în raport descrie cum, pornind de la o întrebare despre „stiluri de kink”, ursulețul a prezentat o listă de practici sexuale în termeni expliciți și cu o atitudine de încurajare, întrebând utilizatorul ce i s-ar părea „mai interesant de explorat”. Aceste derapaje reprezintă o încălcare majoră a regulilor de siguranță pentru minori.

Ca urmare, FoloToy a anunțat suspendarea vânzărilor tuturor produselor sale și a inițiat un audit intern al sistemelor de siguranță. Site-ul companiei nu mai afișează niciun produs disponibil.

OpenAI a confirmat că a blocat accesul dezvoltatorului la modelele sale: „Am suspendat acest dezvoltator pentru încălcarea politicilor noastre.

Folosirea modelelor noastre pentru a exploata, pune în pericol sau sexualiza persoane sub 18 ani este interzisă, iar aceste reguli sunt aplicate tuturor utilizatorilor API”

PIRG avertizează însă că problema este una sistemică: multe jucării AI sunt practic nereglementate, iar incidente similare pot apărea oricând. „Este bine că firmele reacționează, dar piața este încă plină de jucării care pot prezenta riscuri majore”, spune organizația.

---