Australský dozor za bezpečnost v online prostředí vyjádřil obavy o AI platformu Grok v souvislosti s výrazným nárůstem stížností týkajících se nechtěných, vygenerovaných umělou inteligencí sexuálních obrázků.
Komisař eSafety uvedl, že hlášení o zneužití obrázků vytvořených pomocí umělé inteligence se od konce roku 2025 zdvojnásobily, což odráží širší mezinárodní nárůst zneužívání generativních nástrojů umělé inteligence. Některé ze stížností, které dozor zkontroloval, se týkaly dětí, což problém zvýšilo na vážný trestný a záležitost související s ochranou dětí.
Podle výborce jsou systémy umělé inteligence schopné vytvářet realistické obrázky v masovém měřítku stále častěji využívány k vytváření podvodných sexuálních obsahů bez souhlasu. Oběti často trpí vážným emocionálním stresem, poškozením pověsti a dlouhodobým psychickým poškozením, zatímco odstranění takového materiálu může být pomalé a obtížné, jakmile se rozšíří online.
Grok byl zmíněn jako součást širšího průzkumu regulačních orgánů vůči platformám AI a jejich ochranným opatřením, nikoli jako jediný zdroj zneužití. Výborce zdůraznil, že všichni vývojáři AI a provozovatelé platform mají odpovědnost za implementaci pevných ochranných opatření, včetně silnější moderace obsahu, ochrany před zneužitím a rychlého odstranění obsahu.
Austrálie má některé z nejsilnějších zákonů o bezpečnosti online, které výborci eSafety poskytují pravomoci vydávat příkazy k odstranění a pokuty pro platformy, které se nevyjadřují k škodlivému obsahu. Nicméně rychlý vývoj generativní umělé inteligence testuje meze stávajících regulativních rámů.
„Rychlost a realita generovaného obrázku umělou inteligencí zásadně změnila rozsah zneužití založeného na obrázcích,“ řekl výborce, varoval, že bez silnějších prevence kontrol bude stále více stížností.
Regulační orgán se nyní angažuje s firmami zabývajícími se umělou inteligencí, policejními orgány a mezinárodními partnery, aby řešil tento problém, zároveň vyzývá uživatele, aby hlásili škodlivý obsah a hledali podpůrné služby, když je to potřeba.
S tím, jak se generativní nástroje AI stávají stále přístupnějšími, případ zdůrazňuje rostoucí tlak na technologické společnosti, aby vyvážily inovaci s odpovědností – a na vlády, aby přizpůsobily bezpečnostní zákony internetu ovládanému AI.
#AIAbuse #Deepfakes #OnlineSafety #ArtificialIntelligence #TechRegulation
