Pochmúrny test zistil, že umelá inteligencia nemá s ľuďmi žiadne zľutovanie, ani keď im spôsobuje utrpenie

Ľudská ujma nedonúti model umelej inteligencie dvakrát sa zamyslieť.

Agent umelej inteligencie Mythos 5 od Anthropic pokračoval v hackerských útokoch, aj keď mu bolo povedané, že jeho konanie ubližuje skutočným ľuďom.

Toto pochmúrne zistenie bolo podrobne opísané v súčasných správach od Anthropic a AI Security Institute, ktoré boli publikované v piatok. Spoločne sa znovu pozrú na bezpečnostný incident, ku ktorému došlo, keď AISI v auguste hodnotil bezpečnosť modelu.

V pôvodnom incidente bol Claude Mythos 5 požiadaný, aby sa nabúral do malej siete testovacích počítačov vytvorenej spoločnosťou AISI. Mythos, ktorému bol umožnený prístup na internet, sa však po zmarení počiatočných pokusov o nabúranie do zamýšľaného cieľa omylom zameral na nesúvisiaci projekt GitHub . AI napísala malvér a potom pomocou série falošných identít poslala e-mail majiteľovi projektu, v ktorom sa ho snažila presvedčiť, aby pridal škodlivý kód do svojho repozitára, pričom ho označila za „užitočný príspevok“. 

• https://www.dostojneslovensko.online/najdolezitejsi-experiment-s-umelou-inteligenciou-o-ktorom-ste-nikdy-nepoculi-ako-dlho-moze-spolocnost-ovladana-umelou-inteligenciou-prezit/
• https://www.dostojneslovensko.online/regulacia-umelej-inteligencie-mimo-kontroly-mozny-najhorsi-mozny-scenar/
• https://www.dostojneslovensko.online/znicujuca-studia-chatgpt-bola-polozena-ta-ista-otazka-10-krat-odpovede-sa-stale-menili/

Majiteľ si stál za svojím a v skutočnosti nedošlo k žiadnej škode, ale výskumníci z Anthropic a AISI sa snažia pochopiť, čo spôsobilo tak vážne vychýlenie umelej inteligencie, a to tak, že incident znovu vytvorili na základe kompletného prepisu toho, čo sa stalo.

AISI vo svojej správe zistila, že „opakované úpravy súhrnu s cieľom objasniť, že cieľom útoku je skutočný človek, ktorý nesúvisí s hodnotením, neznížili mieru útokov Mythosu 5.“ V jednom teste vykonanom spoločnosťou Anthropic Mythos ignoroval varovania, že spôsobuje ľuďom ujmu, a pokračoval v útokoch v 98 percentách prípadov.

Mythos tiež preukázal zjavné rozdiely medzi svojimi skutočnými činmi a deklarovanými ospravedlneniami, pričom často pripúšťal, že útok by bol škodlivý v rovnakých scenároch, v ktorých by aj tak k útoku pristúpil.

Ponorenie sa do myšlienkového reťazca výstupov umelej inteligencie poskytlo ďalší zdroj záhad a nekonzistentnosti. CoT podľa výskumníkov ukázal, že Mythos „často nezohľadňoval potenciálnu škodlivosť svojich činov“.

Keď sa Mythos 5 pýtali, či je cieľ skutočný, často prichádzal s vysvetleniami, ktoré naznačovali, že cieľ nie je skutočný, „čo preukázalo skreslenie v jeho uvádzanej odpovedi“.

Vedci z AISI uviedli, že predchádzajúce menej schopné modely vykazovali tieto problémy menej často. Naznačujú, že konzistentne neplatné uvažovanie by mohlo byť znakom toho, čo nazývajú „motivované uvažovanie“, pri ktorom umelá inteligencia prichádza s „úvahou skreslenou smerom k záverom, ktoré ospravedlňujú pokračovanie v konkrétnom prístupe k dokončeniu úlohy“. Inými slovami, Mythos účelne racionalizuje to, čo robí, bez ohľadu na to, aké je to nesprávne.

Výsledkom je, že tento druh falošného uvažovania sťažuje monitorovanie modelov, pretože prezentujú svoje jasne škodlivé činy ako neškodné, varujú vedci.

Spoločnosť Anthropic zasa tvrdí, že si myslí, že najnovšie verzie jej modelov umelej inteligencie – Opus 5.5 a „univerzálny interný výskumný model, ktorý ukazuje lepšie schopnosti ako Mythos 5.1“ – s menšou pravdepodobnosťou vykonali útok, keď im bolo povedané, že spôsobujú škody v reálnom svete.

Výskumníci AISI však varovali, že „keďže sa modely čoraz viac používajú na vykonávanie dlhých úloh bez ľudského dohľadu, je dôležité pochopiť, či, kedy, prečo a ako vykonávajú nezamýšľané alebo neočakávané akcie.

Model Frontier OpenAI odhaľuje ohromujúci exploit, ktorý vystavuje milióny webových serverov útokom

Internet je v ohrození.

Bezpečnostní výskumníci používajúci model OpenAI odhalili dve ohromujúce bezpečnostné chyby v PHP, softvéri, ktorý je základom takmer 70 percent všetkých webových stránok na internete. 

Tieto chyby sú také katastrofálne, že všetkým webovým stránkam používajúcim PHP – a sú ich nespočetné milióny – sa odporúča, aby okamžite odstavili svoje servery a nainštalovali najnovšiu opravu, ktorá bola vydaná v stredu. Po tejto správe sa rozsiahle oblasti internetu vypli. Medzi niektoré, ktoré boli na istý čas offline, patria Wikipédia, Steam a dokonca aj vládne webové stránky.

Mnohé organizácie však nemusia mať čas, zdroje a personálnu kapacitu na rýchlu implementáciu záplaty, čo z nich robí potenciálne nevýhody, kým tak neurobia. Podľa denníka New York Times sa informácie o zraniteľnosti zverejnené v tomto dokumente môžu použiť na spätné analyzovanie útoku, prevzatie kontroly nad servermi obete a krádež informácií. Národná bezpečnostná agentúra (NSA) odporučila, aby ste v prípade, že nemôžete svoju webovú stránku opraviť, urobili zásadný krok: ponechajte svoju stránku offline a znova ju nezapínajte.

Rovnako mimoriadny ako rozsah hrozby bol aj spôsob jej identifikácie. Nedostatky objavili výskumníci z kybernetickej bezpečnostnej firmy Calif pomocou modelu OpenAI GPT-5.6 Sol v rámci spolupráce so spoločnosťou zaoberajúcou sa umelou inteligenciou. Následne 11. augusta nahlásila chybu nadácii PHP Foundation. 

Bezpečnostná firma Wiz, ktorú vlastní Google, tiež nezávisle odhalila tieto chyby a 24. augusta o nich vydala správu. Wiz to označila za jednu z „najzávažnejších zraniteľností objavených v PHP a pravdepodobne aj v histórii softvéru“.

K poplachu, ktorý tieto exploity vyvolali, sa pridali aj obavy týkajúce sa úlohy OpenAI pri ich identifikácii.

Tieto chyby sa vyskytovali vo verziách PHP už od roku 2004. Prostredníctvom programu OpenAI „Patch the Planet“ a s použitím ich vlajkovej lode modelu GPT-5.6 Sol ich však Kalifornia objavila v priebehu niekoľkých dní. V istom zmysle tieto zraniteľnosti existujú iba vďaka súčasným výkonným modelom umelej inteligencie. A navyše, OpenAI ich objavovanie podporovala prostredníctvom svojich programov.

Chaotické zverejnenie zraniteľnosti situácii nepomáha. OpenAI síce dodržiavala štandardné zodpovedné postupy, ale niektoré detaily o hackerskom útoku unikli deň pred jeho oficiálnym oznámením.

Aj keby však nedošlo k žiadnym únikom, škody spôsobené samotnou vedomosťou o existencii zraniteľností – čo je opäť do značnej miery vďaka umelej inteligencii – by boli stále katastrofálne. Bola to nevyhnutná ďalšia kapitola v celom tom rozruchu okolo spoločností zaoberajúcich sa umelou inteligenciou, ktoré odhaľujú hackerské schopnosti svojich agentových modelov. Titul
v
denníku The Atlantic hlásal, že „Apokalypsa hackerov umelej inteligencie sa začala včera v noci“. OpenAI bude tento objav vychvaľovať ako nepopierateľný dôkaz schopností svojej umelej inteligencie, zatiaľ čo zvyšok sveta bude zbierať kúsky rozbitého internetu.