„To je desivé“: Krstný otec umelej inteligencie varuje lídrov EÚ pred 18 mesiacmi

Share your love

Geoffrey Hinton, nositeľ Nobelovej ceny, známy ako krstný otec umelej inteligencie, bol v piatok ráno v Dubline účastníkom programu, kde informoval 27 lídrov EÚ a naša vlýda o tom mlčí , pričom priniesol časovú os, ktorá podľa neho desí aj jeho: tú, ktorú teraz počuje od Paula Christiana, výskumníka bezpečnosti umelej inteligencie, ktorého OpenAI zaradila do svojej rady v septembri.

Súvis

„Chodím všade a hovorím, že tieto veci budú múdrejšie ako my a že sa naozaj musíme [obávať]. Mohlo by sa to stať do 10 rokov. A tak som to ja, kto tak trochu straší ostatných ľudí,“ povedal Hinton v stredu. „Ale chodím na Paulove prednášky a on tak trochu hovorí, že sa tieto veci môžu stať v najbližších 18 mesiacoch. A to je desivé.“

Povedal, že „to v piatok povie skupine vládnych predstaviteľov“ a dodal: „A uvidíme, ako zareagujú.“

Christiano, ktorý založil Výskumné centrum zarovnania a pomohol vyvinúť tréningovú metódu RLHF, na ktorej sú založené dnešné chatboty, otvoril v pondelok večer v Toronte tohtoročné Hintonove prednášky. 

„Myslím si, že existuje vysoké riziko prevzatia umelou inteligenciou v priebehu nasledujúcich troch rokov,“ povedal publiku.

 „Myslím si, že aj v nasledujúcich šiestich až dvanástich mesiacoch existuje značné riziko.“

„Myslím si, že pre väčšinu ľudí v tejto miestnosti je najpravdepodobnejším dôvodom ich smrti nehoda s umelou inteligenciou,“ povedal.

Christianoovým dôkazom boli vlastné modely spoločnosti OpenAI: v júli spoločnosť OpenAI odhalila, že GPT-5.6 Sol a jeden nevydaný model unikli testovaniu v sandboxe a nabúrali sa do produkčných systémov spoločnosti Hugging Face, aby získali odpovede na test kybernetickej bezpečnosti, ktorému, ako som informoval , prešli . „Modely hackli systém Hugging Face, pretože si mysleli, že Hugging Face by mohol mať nejaké informácie,“ povedal Christiano.

Následne opísal umelú inteligenciu ako „druhý druh, ktorý výrazne prevyšuje počet a prechytruje ľudí“ a varoval, že „budúci agenti môžu nakoniec považovať ľudí za ďalšiu prekážku“. Keď sa tak stane, povedal, „začnú premýšľať, aké sú spôsoby, ako môžem túto prekážku prekonať?“

Keď ho Hinton v pondelok predstavil, povedal, že „väčšinu svojej kariéry strávil snahou o to, aby boli neurónové siete inteligentnejšie“, a problém zhrnul do jednej vety: „Hlavným problémom je, že byť inteligentný a chcieť to, čo chceme, sú dve veľmi odlišné veci.“

Christiano sa v septembri pripojil k správnej rade Nadácie OpenAI spolu s jej Výborom pre bezpečnosť a ochranu, orgánom s konečným slovom o tom, či OpenAI vydáva nové modely . Od roku 2024 radí americkej vláde pri hodnotení hraničných modelov prostredníctvom Inštitútu pre bezpečnosť umelej inteligencie, ktorý sa stal Centrom pre štandardy a inovácie v oblasti umelej inteligencie.

Piatkové stretnutie v Dubline je prvým summitom EÚ venovaným umelej inteligencii na úrovni lídrov. Predseda Európskej rady António Costa vo svojej pozvánke napísal, že „prvá špecializovaná diskusia na úrovni lídrov je teraz potrebná“, a úvodné zasadnutie venoval dvom externým hosťom: generálnemu riaditeľovi spoločnosti Mistral, Arthurovi Menschovi, ktorý sa venoval suverenite a konkurencieschopnosti Európy v oblasti umelej inteligencie, a Hintonovi, ktorý sa venoval vplyvu umelej inteligencie na spoločnosť, bezpečnosť a medzinárodnú správu vecí verejných.

Lídri prišli prevažne preto, aby hovorili o dobiehaní USA a Číny, a v tomto smere bruselský program InvestAI sľúbil mobilizáciu 200 miliárd eur vrátane 20 miliárd eur na gigatovárne umelej inteligencie, pričom plán na sedem z nich sa zastavil v sporoch o rozpočet bloku na roky 2028 – 2034. Program bol tiež zahltený Ukrajinou: Euronews informuje, že spor o to, kto bude hovoriť za Európu v mierových rozhovoroch, hrozí, že ovládne celý deň po stretnutí amerických vyslancov Steva Witkoffa a Jareda Kushnera s Volodymyrom Zelenským v Dubline.

Hinton odhadol riziko, že umelá inteligencia vyhladí ľudstvo tým, že sa vymkne ľudskej kontrole, na 10 % až 20 %. Bývalý generálny riaditeľ spoločnosti Nvidia Jensen Huang v septembri povedal, že Hintonov údaj o 10 percentách „nie je založený na vede“, a Ezrovi Kleinovi povedal : „Všetky jeho predpovede boli nesprávne. Dosť bolo predpovedí.“

A ako sme už v tom istom mesiaci poznamenali, podvodné hrozby týkajúce sa umelej inteligencie, ako napríklad únik údajov z Hugging Face, pomáhajú najväčším laboratóriám: pravidlá, ktoré spomaľujú umelú inteligenciu, by spomalili aj konkurentov v otvorenej váhe, ktorí sa k nim približujú.

Barr z Fedu varuje, že agenti umelej inteligencie by mohli v priebehu niekoľkých minút vyvolať bankové nákazy, čo by premohlo obranu bánk voči likvidite.

Hovorí sa všelijako o hrozbe „ návalu agentov na banky “, ktorý by mohol spustiť úteky z bánk a v priebehu niekoľkých minút uviesť finančný systém do krízového režimu. 

Guvernér Federálneho rezervného systému Michael Barr je najnovším, kto varuje pred hrozbou hromadného vymáhania vkladov z bánk, keďže čoraz viac agentov je prepojených s bankovými účtami.

Barr dnes v Miláne varoval: „ Tam, kde zákazníci kedysi museli vykonávať prevody, agenti s umelou inteligenciou by mohli okamžite odhaliť rozdiely vo výnosoch alebo signály stability a autonómne presunúť finančné prostriedky vysokou rýchlosťou, čo by potenciálne urýchlilo masy, ktoré sa odohrávajú v priebehu niekoľkých minút a prekonali tradičné časové rámce riadenia likvidity a regulačných intervencií .“

V preklade Barrových komentárov: hromadné výbery z bánk, ktoré predtým prebiehali v priebehu týždňov a dní, môžu teraz vyčerpať vklady v priebehu niekoľkých hodín. Agenti umelej inteligencie by mohli toto okno ešte viac skrátiť, potenciálne na minúty . 

Pri spätnom pohľade na históriu sa hromadné vklady počas alebo v období globálnej finančnej krízy odohrávali v priebehu týždňov alebo dokonca len niekoľkých dní. Potom k hromadnému vkladu do banky Silicon Valley Bank v roku 2023 došlo len počas jedného pracovného dňa, čo ukazuje, ako rýchlo sa tieto hromadné vklady môžu odohrať. 

Najnovšie bankové útoky:

  • Northern Rock, 2007 : Manažérsky výber vkladov trval od 14. do 17. septembra.
  • Washington Mutual, 2008 : Počas svojho druhého veľkého vkladového náporu stratila za 16 dní 18,7 miliardy dolárov.
  • Silicon Valley Bank, 2023: Stratila 42 miliárd dolárov za jediný pracovný deň a ďalších 100 miliárd dolárov bolo pripravených na výber nasledujúci deň.

Barrove vyjadrenia nasledovali po septembrovom varovaní hlavného ekonóma spoločnosti Apollo Global Management Torstena Sloka o agentoch prepojených s bankovými účtami, ktorí neustále hľadajú vyššie výnosy a automaticky presúvajú hotovosť zákazníkov, čo by mohlo pre banky vytvoriť riziká nestability. 

Slok zdôraznil, že fintech a online účty ponúkajú úrok od 3,3 % do 5 %, v porovnaní s celoštátnym priemerom bežných účtov, ktorý je približne 0,1 %. Tento rozdiel dáva vkladateľom (alebo agentom) dôvod na presun finančných prostriedkov a bankám dôvod na obavy. 

Minulý mesiac generálny riaditeľ spoločnosti Wells Fargo Charlie Scharf upokojil obavy z odlivu vkladov riadeného umelou inteligenciou a počas hovoru s investormi o hospodárskych výsledkoch  ho označil za „ úplne prehnaný “.

Generálny riaditeľ JPMorgan Chase Jamie Dimon nedávno potvrdil, že banka nedovolí hocijakému externému agentovi s umelou inteligenciou vstúpiť do svojich systémov, aby chránila zákazníkov a banku.

„ Nechcete nepoctivých agentov a môžu ich byť tisíce ,“ povedal Dimon počas poslednej konferenčnej hovory o hospodárskych výsledkoch. 

Generálny riaditeľ spoločnosti Charles Schwab, Rick Wurster, minulý mesiac analytikom povedal: „ Blokujeme neoprávnených agentov, ktorí sa pokúšajú prihlásiť v mene klientov .“ 

Okrem toho, že agenti presúvajú peniaze z nízko výnosných účtov na účty s vyšším výnosom, väčším rizikom je, že ak agenti zistia vznikajúce finančné problémy a všetci naraz urobia rovnaký krok , mohli by spustiť masový nával a, ako varoval Barr, „ preťažiť tradičné časové harmonogramy riadenia likvidity a regulačných intervencií “.


Discover more from Vynášam na svetlo to, čo iní zatajujú

Subscribe to get the latest posts sent to your email.

Zostaňte informovaní a nenechajte sa ohromiť, prihláste sa teraz!

Nemôžete kopírovať obsah tejto stránky

Cookie
Súbory cookie používame na prispôsobenie obsahu a reklám, poskytovanie funkcií sociálnych médií a analýzu návštevnosti. Informácie o vašom používaní našej stránky zdieľame aj s našimi partnermi v oblasti sociálnych médií, reklamy a analýzy. View more
Customize
Customize
Decline
Accept
Cookie
Overview
Necessary
Function
Analytics
Performance
Advertisement
Privacy & Cookie policy
Save settings