Zničujúca štúdia: ChatGPT bola položená tá istá otázka 10-krát – odpovede sa stále menili.

ChatGPT môže znieť presvedčivo, ale táto štúdia ukazuje, že stále má problém rozlíšiť, čo je v skutočnosti pravda.

Mesut Cicek, profesor na Washingtonskej štátnej univerzite, a jeho tím opakovane testovali ChatGPT tak, že systému predkladali hypotézy z vedeckých štúdií. Umelá inteligencia bola požiadaná, aby rozhodla, či je každé tvrdenie podložené výskumnými zisteniami – v podstate mala posúdiť, či je pravdivé alebo nepravdivé.

Celkovo výskumníci otestovali viac ako 700 hypotéz, pričom každú z nich zadali desaťkrát, aby preskúmali, aké konzistentné budú odpovede.

Výsledky presnosti a výkonnostné limity

V prvom experimente v roku 2024 dal ChatGPT správnu odpoveď v 76,5 % prípadov. Keď sa štúdia zopakovala v roku 2025, presnosť sa mierne zvýšila na 80 %. Po úprave výsledkov o náhodné chyby sa však výkon javil ako oveľa menej spoľahlivý. Umelá inteligencia dosiahla len približne o 60 % lepší výkon ako náhoda, čo výskumníci označili za pomerne slabý výkon.

Systém mal mimoriadne ťažkosti s identifikáciou nepravdivých tvrdení a správne ich klasifikoval iba v 16,4 % prípadov. Vykazoval tiež nekonzistentnosť. Keď bol presne ten istý výzva zadaný desaťkrát, ChatGPT poskytol konzistentné výsledky iba v približne 73 % prípadov.

Nekonzistentné odpovede na rovnaké otázky

„ Nejde len o presnosť, ale aj o nekonzistentnosť, pretože ak kladiete tú istú otázku znova a znova, dostanete rôzne odpovede ,“ povedal Cicek, docent na Katedre marketingu a medzinárodnej ekonomiky na Carson College of Business na WSU a hlavný autor novej publikácie.

„ Použili sme 10 otázok s úplne rovnakou otázkou. Všetko bolo identické. Niekedy bola odpoveď „pravda“, niekedy „nepravda“. Pravda, nepravda, nepravda, pravda. Bolo niekoľko prípadov, keď päť odpovedí bolo „pravda“ a päť „nepravda“. “

Plynulý jazyk umelej inteligencie verzus skutočné porozumenie

Štúdia publikovaná v Rutgers Business Review zdôrazňuje dôležitosť opatrnosti pri používaní umelej inteligencie pri kritických rozhodnutiach, najmä tých, ktoré si vyžadujú nuansy alebo zložité uvažovanie. Hoci generatívna umelá inteligencia dokáže vytvárať plynulý a presvedčivý jazyk, nemusí nevyhnutne preukazovať skutočné porozumenie.

Cicek povedal, že výsledky naznačujú, že umelá všeobecná inteligencia schopná skutočného logického uvažovania môže byť ďalej, než niektorí očakávajú.

„ Súčasné nástroje umelej inteligencie nechápu svet tak, ako ho chápeme my – nemajú „mozog“ ,“ povedal Cicek. „ Len ukladajú informácie a môžu vám poskytnúť určité poznatky, ale nerozumejú tomu, o čom hovoria. “

Návrh a metódy štúdie

Cicek spolupracoval so Sevincgul Ulu z Southern Illinois University, Canom Uslayom z Rutgers University a Kate Karniouchina z Northeastern University.

Tím analyzoval 719 hypotéz z vedeckých článkov publikovaných v obchodných časopisoch od roku 2021. Určenie, či výskumné zistenia podporujú hypotézu, je často zložité a závisí od mnohých faktorov, ktoré môžu ovplyvniť výsledok. Zníženie tejto zložitosti na jednoduché rozhodnutie áno alebo nie si vyžaduje starostlivé zváženie.

Výskumníci testovali bezplatnú verziu ChatGPT-3.5 v roku 2024 a aktualizovanú verziu ChatGPT-5 mini v roku 2025. Celkovo boli výsledky pre obe verzie podobné. Po úprave o náhodné efekty, ktorá viedla k 50 % pravdepodobnosti správnej odpovede, bol výkon umelej inteligencie v oboch rokoch len o približne 60 % vyšší ako úroveň náhodnej pravdepodobnosti.

Kľúčová slabina logického myslenia umelej inteligencie

Výsledky poukazujú na kľúčové obmedzenie systémov umelej inteligencie založených na modeloch rozsiahlych jazykov. Hoci dokážu generovať sofistikované a presvedčivé odpovede, často zápasia s hlbším logickým uvažovaním. To môže podľa Ciceka viesť k odpovediam, ktoré znejú presvedčivo, ale v skutočnosti sú nesprávne.

Prečo odborníci nabádajú k opatrnosti

Na základe týchto zistení výskumníci odporúčajú, aby manažéri preskúmali výsledky generované umelou inteligenciou a pristupovali k nim so skepticizmom. Zdôrazňujú tiež dôležitosť vzdelávania používateľov, aby pochopili silné aj slabé stránky nástrojov umelej inteligencie.

Hoci sa táto štúdia zamerala na ChatGPT, Cicek poznamenal, že podobné testy s inými systémami umelej inteligencie priniesli porovnateľné výsledky. Výskum tiež nadväzuje na predchádzajúcu prácu, ktorá zdôrazňovala obavy z humbuku okolo umelej inteligencie. Národný prieskum z roku 2024 zistil, že spotrebitelia s menšou pravdepodobnosťou kupujú produkty propagované so zameraním na umelú inteligenciu.

„ Vždy buďte skeptickí ,“ povedal. „ Nie som proti umelej inteligencii. Sám ju používam. Ale musíte byť veľmi opatrní. “ https://scitechdaily.com/