{"id":99873,"date":"2026-02-19T00:28:19","date_gmt":"2026-02-18T23:28:19","guid":{"rendered":"https:\/\/www.infokuryr.cz\/n\/?p=99873"},"modified":"2026-02-18T18:16:53","modified_gmt":"2026-02-18T17:16:53","slug":"noah-smith-vypada-to-ze-umela-inteligence-je-skutecne-existencni-hrozbou","status":"publish","type":"post","link":"https:\/\/www.infokuryr.cz\/n\/2026\/02\/19\/noah-smith-vypada-to-ze-umela-inteligence-je-skutecne-existencni-hrozbou\/","title":{"rendered":"Noah Smith: Vypad\u00e1 to, \u017ee um\u011bl\u00e1 inteligence je skute\u010dn\u011b existen\u010dn\u00ed hrozbou"},"content":{"rendered":"
<\/div>\n
\n
\n

P\u0159\u00edchod k\u00f3dov\u00e1n\u00ed pro Vibe p\u0159ipravuje cestu pro mnoho nov\u00fdch katastrof zp\u016fsoben\u00fdch um\u011blou inteligenc\u00ed, v neposledn\u00ed \u0159ad\u011b pro v\u00fdvoj supervir\u016f.<\/span><\/strong><\/p>\n

Ned\u00e1vno jsem napsal \u010dl\u00e1nek o tom, jak lidstvo nevyhnuteln\u011b ztrat\u00ed moc kv\u016fli existenci um\u011bl\u00e9 inteligence.<\/span><\/p>\n

\u0158ada lid\u00ed mi napsala s ot\u00e1zkou: \u201eCo v\u00e1s p\u0159im\u011blo zm\u011bnit n\u00e1zor?\u201c P\u0159ed t\u0159emi lety, kr\u00e1tce po vyd\u00e1n\u00ed p\u016fvodn\u00edho ChatGPT, jsem napsal p\u0159\u00edsp\u011bvek o tom, jak LLM nezni\u010d\u00ed lidstvo.<\/span><\/p>\n

A p\u0159ed p\u00e1r m\u011bs\u00edci jsem napsal p\u0159\u00edsp\u011bvek, v n\u011bm\u017e jsem tvrdil, \u017ee um\u011bl\u00e1 superinteligence (ASI) bude pravd\u011bpodobn\u011b pokojn\u011b koexistovat s lidstvem, m\u00edsto aby n\u00e1s vyhladila. Lid\u00e9 cht\u011bli v\u011bd\u011bt, pro\u010d se m\u016fj t\u00f3n zm\u011bnil z optimistick\u00e9ho na pesimistick\u00fd.<\/span><\/p>\n

Jednoduch\u00e1 odpov\u011b\u010f zn\u00ed: \u201eM\u011bl jsem \u0161patnou n\u00e1ladu.\u201c M\u016fj kr\u00e1l\u00edk byl nemocn\u00fd, tak\u017ee jsem byl trochu mrzut\u00fd, a proto jsem ve sv\u00e9m p\u0159\u00edsp\u011bvku p\u0159ed p\u00e1r dny vyl\u00ed\u010dil kone\u010dn\u00e9 zbaven\u00ed lidstva moci negativn\u011bji ne\u017e obvykle.<\/span><\/p>\n

Vlastn\u011b jsem v\u017edycky v\u011b\u0159il, \u017ee lidstvo nakonec nahrad\u00ed n\u011bco postlidsk\u00e9ho \u2013 bo\u017esk\u00e9 um\u011bl\u00e9 inteligence, v\u011bdom\u00ed roje, modifikovan\u00ed lid\u00e9 nebo cokoli jin\u00e9ho. Vyr\u016fstal jsem na \u010dten\u00ed sci-fi rom\u00e1n\u016f na tato t\u00e9mata \u2013 Vernor Vinge, Charles Stross, Arthur C. Clarke, Iain M. Banks a tak d\u00e1le \u2013 a prost\u011b mi v\u017edycky p\u0159ipadalo nemo\u017en\u00e9, \u017ee lidstvo u\u017e dos\u00e1hlo teoretick\u00e9ho vrcholu inteligence.<\/span><\/p>\n

V\u017edycky jsem si prost\u011b p\u0159edstavoval, \u017ee v\u0161echno, co p\u0159ijde po n\u00e1s, bude pat\u0159it lidsk\u00e9 rodin\u011b a bude na na\u0161\u00ed stran\u011b, nikoli proti n\u00e1m. O tom byl m\u016fj ned\u00e1vn\u00fd p\u0159\u00edsp\u011bvek. Nakreslil jsem pon\u011bkud bez\u00fat\u011b\u0161n\u00fd obraz kone\u010dn\u00e9ho z\u00e1niku lidstva, proto\u017ee jsem m\u011bl \u0161patnou n\u00e1ladu. Ale i v tomto p\u0159\u00edsp\u011bvku jsem nakonec vyj\u00e1d\u0159il optimismus, \u017ee ASI n\u00e1s zachr\u00e1n\u00ed p\u0159ed v\u011bcmi, jako je n\u00edzk\u00e1 porodnost, fa\u0161isti\u010dt\u00ed vl\u00e1dci a konec v\u011bdeck\u00fdch objev\u016f poh\u00e1n\u011bn\u00fdch \u010dlov\u011bkem.<\/span><\/p>\n

Tato optimistick\u00e1 budoucnost by se podobala rom\u00e1n\u016fm Iaina M. Bankse z \u0159ady Kultura, v nich\u017e um\u011bl\u00e1 inteligence p\u0159eb\u00edr\u00e1 ot\u011b\u017ee civilizace, ale respektuje, podporuje a chr\u00e1n\u00ed dnes ji\u017e z velk\u00e9 \u010d\u00e1sti bezcennou lidskou rasu \u2013 v podstat\u011b mnohem laskav\u011bj\u0161\u00ed a osv\u00edcen\u011bj\u0161\u00ed verze toho, jak se Spojen\u00e9 st\u00e1ty dnes chovaj\u00ed k p\u016fvodn\u00edm obyvatel\u016fm Ameriky. Je to melancholick\u00e1 budoucnost, v jist\u00e9m smyslu smutn\u00e1, ale ne zvl\u00e1\u0161\u0165 d\u011bsiv\u00e1.<\/span><\/p>\n

ALE z\u00e1rove\u0148 se mnohem v\u00edce ne\u017e p\u0159ed t\u0159emi lety ob\u00e1v\u00e1m existenci\u00e1ln\u00edch, katastrofick\u00fdch rizik spojen\u00fdch s um\u011blou inteligenc\u00ed \u2013 t\u011bch, kter\u00e1 by n\u00e1s zabila, m\u00edsto aby n\u00e1s jen u\u010dinila pohodln\u011b bezmocn\u00fdmi. A proto si lid\u00e9, kte\u0159\u00ed se m\u011b ptali, pro\u010d se m\u016fj t\u00f3n zm\u011bnil, zaslou\u017e\u00ed del\u0161\u00ed vysv\u011btlen\u00ed, pro\u010d se o to v\u00edc boj\u00edm.<\/span><\/p>\n

Co jsem p\u0159ed t\u0159emi lety nepochopil<\/span><\/strong><\/h3>\n

Ve sv\u00e9m p\u0159\u00edsp\u011bvku p\u0159ed t\u0159emi lety jsem tvrdil, \u017ee LLM je\u0161t\u011b nen\u00ed takov\u00fdm typem um\u011bl\u00e9 inteligence, kter\u00e1 by mohla ohrozit lidstvo. Mysl\u00edm, \u017ee jsem m\u011bl pravd\u011bpodobn\u011b pravdu ohledn\u011b druhu LLM, kter\u00e9 existovaly na za\u010d\u00e1tku roku 2023, a to z d\u016fvod\u016f, kter\u00e9 jsem v dan\u00e9m p\u0159\u00edsp\u011bvku nast\u00ednil.<\/span><\/p>\n

Stru\u010dn\u011b \u0159e\u010deno, argumentoval jsem, \u017ee LLM mohou mluvit pouze s lidmi, a proto by mohli zni\u010dit lidstvo pouze t\u00edm, \u017ee by n\u00e1s p\u0159esv\u011bd\u010dili, abychom zni\u010dili sami sebe (co\u017e je nepravd\u011bpodobn\u00e9), nebo t\u00edm, \u017ee by n\u00e1s nau\u010dili, jak se zni\u010dit sami (nap\u0159. t\u00edm, \u017ee by nau\u010dili bioteroristy, jak vyr\u00e1b\u011bt biologick\u00e9 zbran\u011b).<\/span><\/p>\n

Na svou obranu mus\u00edm \u0159\u00edct, \u017ee se to p\u0159\u00edli\u0161 neli\u0161\u00ed od sc\u00e9n\u00e1\u0159e, kter\u00fd pro rok 2022 p\u0159edpov\u011bd\u011bl Eliezer Yudkowsky \u2013 autor doslova knihy o existen\u010dn\u00edch rizic\u00edch, kter\u00e1 p\u0159edstavuje um\u011bl\u00e1 inteligence. Napsal:<\/span><\/p>\n

M\u016fj minim\u00e1ln\u00ed model pro \u201ejak by dostate\u010dn\u011b siln\u00e1 inteligence zabila v\u0161echny lidi, kdyby tomu necht\u011bla zabr\u00e1nit\u201c je takov\u00fd, \u017ee z\u00edsk\u00e1 p\u0159\u00edstup k internetu, e-mailem po\u0161le n\u011bkter\u00e9 sekvence DNA jedn\u00e9 z mnoha online spole\u010dnost\u00ed, kter\u00e9 p\u0159ijmou sekvenci DNA v e-mailu a po\u0161lou v\u00e1m zp\u011bt proteiny, a podplat\u00ed\/p\u0159esv\u011bd\u010d\u00ed \u010dlov\u011bka, kter\u00fd nem\u00e1 tu\u0161en\u00ed, \u017ee m\u00e1 co do \u010din\u011bn\u00ed s AI, aby sm\u00edchal proteiny v k\u00e1dince, kter\u00e9 pak vytvo\u0159\u00ed prvn\u00ed f\u00e1zi nanotov\u00e1rny, je\u017e dok\u00e1\u017ee postavit samotn\u00fd nanostroj.<\/span><\/em><\/p>\n

Jde o to, \u017ee um\u011bl\u00e1 inteligence u\u010d\u00ed lidi, jak vytv\u00e1\u0159et samoreplikuj\u00edc\u00ed se nanostroje, sp\u00ed\u0161e ne\u017e virus soudn\u00e9ho dne. Ale up\u0159\u00edmn\u011b \u0159e\u010deno, mysl\u00edm si, \u017ee virus soudn\u00e9ho dne by se vytvo\u0159il sn\u00e1ze. Proto si nemysl\u00edm, \u017ee by m\u016fj sc\u00e9n\u00e1\u0159\u00a0<\/span>p\u0159\u00edli\u0161<\/span><\/em>\u00a0zaost\u00e1val za p\u0159edpov\u011b\u010fmi nejhlasit\u011bj\u0161\u00edch a nejpanika\u0159\u00edc\u00edch expert\u016f na bezpe\u010dnost um\u011bl\u00e9 inteligence z roku 2023.<\/span><\/p>\n

Ka\u017edop\u00e1dn\u011b, i kdybych ve sv\u00e9m p\u0159\u00edsp\u011bvku z roku 2023 \u0159ekl \u201echatboti\u201c m\u00edsto \u201eLLM\u201c, mysl\u00edm, \u017ee bych m\u011bl st\u00e1le pravdu, proto\u017ee chatbot je druh u\u017eivatelsk\u00e9ho rozhran\u00ed, zat\u00edmco LLM je z\u00e1kladn\u00ed technologie, kter\u00e1 dok\u00e1\u017ee mnohem v\u00edc ne\u017e jen provozovat chatbota. Co jsem p\u0159ehl\u00e9dl, bylo, \u017ee LLM dok\u00e1\u017eou mnohem v\u00edc ne\u017e jen mluvit s lidmi \u2013 dok\u00e1\u017eou ps\u00e1t k\u00f3d, proto\u017ee k\u00f3d je jen jazyk a nen\u00ed p\u0159\u00edli\u0161 obt\u00ed\u017en\u00e9 je k tomu p\u0159im\u011bt automatizovan\u00fdm, end-to-end, agentov\u00fdm zp\u016fsobem.<\/span><\/p>\n

Jin\u00fdmi slovy, nep\u0159edv\u00eddal jsem vzestup vibra\u010dn\u00edho k\u00f3dov\u00e1n\u00ed. A pravd\u011bpodobn\u011b jsem m\u011bl. Abych byl spravedliv\u00fd, vznik vibra\u010dn\u00edho k\u00f3dov\u00e1n\u00ed vy\u017eadoval n\u011bkter\u00e9 v\u00fdznamn\u00e9 technologick\u00e9 pokroky, kter\u00e9 na za\u010d\u00e1tku roku 2023 neexistovaly. Ale p\u0159ehl\u00e9dnut\u00ed skute\u010dnosti, \u017ee po\u010d\u00edta\u010dov\u00fd k\u00f3d je jen jazyk, kter\u00fd se lze nau\u010dit jako jak\u00fdkoli jin\u00fd \u2013 a \u017ee je je\u0161t\u011b snaz\u0161\u00ed se nau\u010dit, proto\u017ee si m\u016f\u017eete ov\u011b\u0159it, kdy funguje a kdy ne \u2013 bylo z m\u00e9 strany obrovsk\u00fdm p\u0159ehl\u00e9dnut\u00edm. A to otev\u00edr\u00e1 dve\u0159e cel\u00e9 \u0159ad\u011b dal\u0161\u00edch d\u011bsiv\u00fdch sc\u00e9n\u00e1\u0159\u016f, kter\u00e9 jdou daleko za r\u00e1mec \u201echatbota, kter\u00fd pom\u00e1h\u00e1 lidem ud\u011blat n\u011bco \u0161patn\u00e9ho\u201c.<\/span><\/p>\n

Ka\u017edop\u00e1dn\u011b, poj\u010fme si promluvit o tom, \u010deho se pr\u00e1v\u011b te\u010f boj\u00edm. Ale nejd\u0159\u00edv si poj\u010fme promluvit o tom, \u010deho se boj\u00edm m\u00e9n\u011b, alespo\u0148 prozat\u00edm.<\/span><\/p>\n

Vzestup robot\u016f je st\u00e1le v nedohlednu<\/span><\/strong><\/h3>\n

Sc\u00e9n\u00e1\u0159, kter\u00fd si ka\u017ed\u00fd p\u0159edstavuje, je takov\u00fd, v n\u011bm\u017e pln\u011b autonomn\u00ed ASI rozhodne, \u017ee lidsk\u00e1 civilizace je p\u0159ek\u00e1\u017ekou pro jej\u00ed vyu\u017e\u00edv\u00e1n\u00ed p\u0159\u00edrodn\u00edch zdroj\u016f a \u017ee mus\u00edme b\u00fdt vyhlazeni, zotro\u010deni nebo jinak radik\u00e1ln\u011b zbaveni moci, abychom mohli sv\u011bt prom\u011bnit v datov\u00e1 centra. To je v podstat\u011b z\u00e1pletka film\u016f o Termin\u00e1torovi, Matrixu a r\u016fzn\u00fdch dal\u0161\u00edch p\u0159\u00edb\u011bh\u016f o \u201evzestupu robot\u016f\u201c.<\/span><\/p>\n

Koncep\u010dn\u011b si lze snadno p\u0159edstavit um\u011blou inteligenci, kter\u00e1 by pokro\u010dila do bodu, kdy by to mohla implementovat. M\u011bla by \u00faplnou kontrolu nad pln\u011b automatizovan\u00fdm v\u00fdrobn\u00edm \u0159et\u011bzcem um\u011bl\u00e9 inteligence, v\u010detn\u011b:<\/span><\/p>\n

    \n
  • T\u011b\u017eba, rafinace a zpracov\u00e1n\u00ed nerost\u016f<\/span><\/li>\n
  • V\u00fdroba \u010dip\u016f a v\u00fdstavba datov\u00fdch center<\/span><\/li>\n
  • V\u00fdroba robot\u016f<\/span><\/li>\n<\/ul>\n

    Kontrola nad cel\u00fdm t\u00edmto \u0159et\u011bzcem by um\u011bl\u00e9 inteligenci dala kontrolu nad vlastn\u00ed reprodukc\u00ed \u2013 stejn\u011b jako lid\u00e9 v\u017edy m\u011bli kontrolu nad svou vlastn\u00ed reprodukc\u00ed. Mohla by se pak s jistotou obej\u00edt bez lidstva, ani\u017e by ohrozila svou vlastn\u00ed budoucnost.<\/span><\/p>\n

    To je v podstat\u011b velmi p\u0159\u00edm\u00e1 analogie k tomu, co evrop\u0161t\u00ed osadn\u00edci ud\u011blali civilizaci americk\u00fdch Indi\u00e1n\u016f, nebo co r\u016fzn\u00e9 jin\u00e9 vlny lidsk\u00fdch dobyvatel\u016f a koloniz\u00e1tor\u016f ud\u011blaly jin\u00fdm skupin\u00e1m lid\u00ed.<\/span><\/p>\n

    Mysl\u00edm, \u017ee tento sc\u00e9n\u00e1\u0159 je znepokojiv\u00fd, ale nen\u00ed bezprost\u0159edn\u00ed. Robotika je v sou\u010dasn\u00e9 dob\u011b st\u00e1le v pom\u011brn\u011b rudiment\u00e1rn\u00edm stavu \u2013 sice doch\u00e1z\u00ed k pokroku, ale um\u011bl\u00e1 inteligence bude i nad\u00e1le pot\u0159ebovat lidi jako sv\u00e9 z\u00e1stupce ve fyzick\u00e9m sv\u011bt\u011b v nadch\u00e1zej\u00edc\u00edch letech.<\/span><\/p>\n

    Krom\u011b toho mus\u00ed um\u011bl\u00e1 inteligence proj\u00edt ur\u010dit\u00fdmi algoritmick\u00fdmi zm\u011bnami, ne\u017e bude moci trvale \u201ep\u0159e\u017e\u00edt\u201c bez lid\u00ed \u2013 nap\u0159\u00edklad si vyvinout dlouhou pam\u011b\u0165. Ne\u0159\u00edk\u00e1m, \u017ee se to nestane, ale alespo\u0148 m\u00e1me n\u011bjak\u00fd \u010das p\u0159em\u00fd\u0161let o tom, jak zabr\u00e1nit sc\u00e9n\u00e1\u0159i \u201evzestupu robot\u016f\u201c. V\u011b\u0159\u00edm, \u017ee bychom m\u011bli pov\u011b\u0159it n\u011bkter\u00e9 lidi (a um\u011blou inteligenci) p\u0159em\u00fd\u0161len\u00edm o tom, jak chr\u00e1nit na\u0161i spole\u010dnost p\u0159ed takov\u00fdmi hrozbami.<\/span><\/p>\n

    Zd\u00e1 se pravd\u011bpodobn\u00e9, \u017ee um\u011bl\u00e1 inteligence bude nakonec dostate\u010dn\u011b inteligentn\u00ed, aby obe\u0161la v\u0161echna fyzick\u00e1 ochrann\u00e1 opat\u0159en\u00ed, kter\u00e1 jsme zavedli, abychom zabr\u00e1nili vzestupu robot\u016f. Ale jak jsem psal p\u0159ed dv\u011bma m\u011bs\u00edci, mysl\u00edm si, \u017ee um\u011bl\u00e1 inteligence pokro\u010dil\u00e1 do bodu pln\u00e9 kontroly nad fyzick\u00fdm sv\u011btem by ji\u017e dos\u00e1hla f\u00e1ze, kdy ch\u00e1pe, \u017ee m\u00edrov\u00e9 sou\u017eit\u00ed a pozitivn\u00ed interakce jsou z dlouhodob\u00e9ho hlediska lep\u0161\u00ed volbou ne\u017e genocida.<\/span><\/p>\n

    Inteligentn\u011bj\u0161\u00ed lid\u00e9 a bohat\u0161\u00ed lidsk\u00e9 spole\u010dnosti b\u00fdvaj\u00ed m\u00edrumilovn\u011bj\u0161\u00ed a tot\u00e9\u017e o\u010dek\u00e1v\u00e1m i od inteligentn\u011bj\u0161\u00ed um\u011bl\u00e9 inteligence. Proto si mysl\u00edm, \u017ee existuj\u00ed jin\u00e9 obavy, kter\u00e9 by m\u011bly m\u00edt p\u0159ednost.<\/span><\/p>\n

    Co se stane, kdy\u017e se stroj zastav\u00ed?<\/span><\/strong><\/h3>\n

    Ve sv\u00e9m p\u0159\u00edsp\u011bvku p\u0159ed t\u0159emi lety jsem se pokusil vyjmenovat zp\u016fsoby, jak\u00fdmi by n\u00e1s LLM mohly nakonec zni\u010dit:<\/span><\/p>\n

    Zde je seznam zp\u016fsob\u016f, jak\u00fdmi by lidstvo mohlo vyhynout v relativn\u011b kr\u00e1tk\u00e9m \u010dasov\u00e9m obdob\u00ed:<\/span><\/em><\/p>\n

      \n
    • Jadern\u00e1 v\u00e1lka<\/span><\/em><\/li>\n
    • Biologick\u00e9 zbran\u011b<\/span><\/em><\/li>\n
    • Jin\u00e9 katastrofick\u00e9 zbran\u011b hromadn\u00e9ho ni\u010den\u00ed (dopad asteroidu atd.)<\/span><\/em><\/li>\n
    • Masov\u00e1 sebevra\u017eda<\/span><\/em><\/li>\n
    • Vyhlazov\u00e1n\u00ed roboty<\/span><\/em><\/li>\n
    • Velk\u00e1 ekologick\u00e1 katastrofa<\/span><\/em><\/li>\n<\/ul>\n

      P\u0159\u00edchod vibra\u010dn\u00edho k\u00f3dov\u00e1n\u00ed m\u011b p\u0159im\u011bl p\u0159em\u00fd\u0161let o dal\u0161\u00edm zp\u016fsobu, jak by mohla b\u00fdt na\u0161e civilizace zni\u010dena, o \u010dem\u017e jsem asi m\u011bl p\u0159em\u00fd\u0161let u\u017e tehdy: o hladu.<\/span><\/p>\n

      Ka\u017ed\u00fd zem\u011bd\u011blsk\u00fd stroj v industrializovan\u00fdch zem\u00edch je nyn\u00ed v\u00edcem\u00e9n\u011b \u0159\u00edzen softwarem \u2013 ka\u017ed\u00fd traktor, ka\u017ed\u00fd skl\u00edze\u010d, ka\u017ed\u00fd stroj na zpracov\u00e1n\u00ed potravin. Tento software byl z velk\u00e9 \u010d\u00e1sti naps\u00e1n lidmi, ale v relativn\u011b kr\u00e1tk\u00e9 dob\u011b bude zcela poh\u00e1n\u011bn um\u011blou inteligenc\u00ed.<\/span><\/p>\n

      V tomto bod\u011b by um\u011bl\u00e1 inteligence v principu dok\u00e1zala zni\u010dit lidskou civilizaci pouh\u00fdm ochromen\u00edm zem\u011bd\u011blsk\u00e9ho softwaru. Mohla by instalovat \u0161kodliv\u00e9 aktualizace, nabour\u00e1vat se do syst\u00e9m\u016f a p\u0159evz\u00edt kontrolu nebo software smazat atd. Zem\u011bd\u011blsk\u00e9 stroje by p\u0159estaly fungovat a b\u011bhem n\u011bkolika t\u00fddn\u016f by cel\u00e9 lidstvo za\u010dalo hladov\u011bt. Civilizace by se brzy zhroutila.<\/span><\/p>\n

      Na tento sc\u00e9n\u00e1\u0159 jsem si m\u011bl opravdu vzpomenout, kdy\u017e jsem v roce 2023 psal sv\u016fj p\u0159\u00edsp\u011bvek, proto\u017ee je to z\u00e1pletka velmi slavn\u00e9ho sci-fi p\u0159\u00edb\u011bhu z roku 1909: \u201e\u00a0<\/span>Stroj se zastav\u00ed<\/span><\/em>\u00a0\u201c od E. M. Forstera. V tomto p\u0159\u00edb\u011bhu lidstvo \u017eije v odd\u011blen\u00fdch m\u00edstnostech, komunikuje pouze elektronicky a je zcela zaji\u0161t\u011bno ob\u0159\u00ed um\u011blou inteligenc\u00ed; kdy\u017e um\u011bl\u00e1 inteligence p\u0159estane fungovat, v\u011bt\u0161ina lidstva zem\u0159e hlady.<\/span><\/p>\n

      To by se n\u00e1m brzy mohlo st\u00e1t. Vzhledem k tomu, \u017ee vibra\u010dn\u00ed k\u00f3dov\u00e1n\u00ed je nyn\u00ed mnohon\u00e1sobn\u011b produktivn\u011bj\u0161\u00ed ne\u017e lidsk\u00e9 k\u00f3dov\u00e1n\u00ed, je velmi pravd\u011bpodobn\u00e9, \u017ee se v k\u00f3dov\u00e1n\u00ed stane mnohem m\u00e9n\u011b lid\u00ed dobr\u00fdmi. I n\u00e1stroje, kter\u00e9 jsou v sou\u010dasnosti k dispozici, by mohly podkopat program\u00e1torsk\u00e9 dovednosti lid\u00ed. Vypl\u00fdv\u00e1 to z ned\u00e1vn\u00e9 studie spole\u010dnosti Anthropic:<\/span><\/p>\n

      Um\u011bl\u00e1 inteligence vytv\u00e1\u0159\u00ed potenci\u00e1ln\u00ed nap\u011bt\u00ed: I kdy\u017e se programov\u00e1n\u00ed st\u00e1le v\u00edce automatizuje a pr\u00e1ce zrychluje, lid\u00e9 st\u00e1le pot\u0159ebuj\u00ed dovednosti k detekci chyb, kontrole v\u00fdsledk\u016f a v kone\u010dn\u00e9m d\u016fsledku k monitorov\u00e1n\u00ed um\u011bl\u00e9 inteligence ve vysoce rizikov\u00fdch prost\u0159ed\u00edch. Nab\u00edz\u00ed um\u011bl\u00e1 inteligence zkratku k rozvoji dovednost\u00ed i ke zv\u00fd\u0161en\u00ed efektivity? Nebo naopak zv\u00fd\u0161en\u00ed produktivity plynouc\u00ed z podpory um\u011bl\u00e9 inteligence podkop\u00e1v\u00e1 rozvoj dovednost\u00ed?<\/span><\/em><\/p>\n

      V randomizovan\u00e9 kontrolovan\u00e9 studii jsme zkoumali 1) jak rychle se v\u00fdvoj\u00e1\u0159i softwaru nau\u010dili novou dovednost (v tomto p\u0159\u00edpad\u011b knihovnu Pythonu) s podporou um\u011bl\u00e9 inteligence a bez n\u00ed, a 2) zda pou\u017eit\u00ed um\u011bl\u00e9 inteligence vedlo k tomu, \u017ee h\u016f\u0159e rozum\u011bli k\u00f3du, kter\u00fd pr\u00e1v\u011b napsali.<\/span><\/em><\/p>\n

      Zjistili jsme, \u017ee pou\u017eit\u00ed asistence um\u011bl\u00e9 inteligence vedlo ke statisticky v\u00fdznamn\u00e9mu sn\u00ed\u017een\u00ed \u00farovn\u011b zvl\u00e1dnut\u00ed programu. V kv\u00edzu, kter\u00fd testoval koncepty, je\u017e pou\u017e\u00edvali jen n\u011bkolik minut p\u0159edt\u00edm, dos\u00e1hli \u00fa\u010dastn\u00edci ve skupin\u011b s um\u011blou inteligenc\u00ed o 17 % ni\u017e\u0161\u00edho sk\u00f3re ne\u017e ti, kte\u0159\u00ed programovali ru\u010dn\u011b, co\u017e je t\u00e9m\u011b\u0159 o dva stupn\u011b m\u00e9n\u011b.<\/span><\/em><\/p>\n

      Mezit\u00edm Harry Law napsal dobr\u00fd \u010dl\u00e1nek s n\u00e1zvem \u201eClaudeovo posledn\u00ed poku\u0161en\u00ed\u201c, ve kter\u00e9m rozeb\u00edr\u00e1, jak ho jednoduchost vibra\u010dn\u00edho k\u00f3dov\u00e1n\u00ed ment\u00e1ln\u011b zpomaluje. Existuje mnoho dal\u0161\u00edch podobn\u00fdch \u010dl\u00e1nk\u016f.<\/span><\/p>\n

      S t\u00edm, jak se k\u00f3dov\u00e1n\u00ed Vibe bude zlep\u0161ovat a zcela eliminovat lidsk\u00e9 z\u00e1sahy, bude pravd\u011bpodobn\u011b d\u00e1le klesat pot\u0159eba lidsk\u00fdch softwarov\u00fdch znalost\u00ed. Pokud za deset let software ovl\u00e1daj\u00edc\u00ed na\u0161e zem\u011bd\u011blsk\u00e9 stroje z jak\u00e9hokoli d\u016fvodu p\u0159estane fungovat, je velk\u00e1 \u0161ance, \u017ee nezbude dostatek lidsk\u00fdch program\u00e1tor\u016f, kte\u0159\u00ed by ho opravili.<\/span><\/p>\n

      To by byl pouze speci\u00e1ln\u00ed p\u0159\u00edpad zn\u00e1m\u00e9ho probl\u00e9mu \u2013 nadm\u011brn\u00e1 optimalizace vede k nestabilit\u011b. Kdy\u017e v roce 2020 ude\u0159il Covid-19, zjistili jsme, \u017ee na\u0161e dodavatelsk\u00e9 \u0159et\u011bzce just-in-time byly natolik zam\u011b\u0159en\u00e9 na efektivitu, \u017ee jim chyb\u011bla robustnost. K\u00f3dov\u00e1n\u00ed Vibe by mohlo v\u00e9st k mnohem hor\u0161\u00ed verzi stejn\u00e9ho probl\u00e9mu.<\/span><\/p>\n

      Katastrofick\u00fd \u00fader um\u011bl\u00e9 inteligence v\u0161ak nen\u00ed na vrcholu m\u00e9ho seznamu obav. D\u016fvodem je, \u017ee o\u010dek\u00e1v\u00e1m, \u017ee um\u011bl\u00e1 inteligence bude zna\u010dn\u011b fragmentovan\u00e1; zat\u00edm se zd\u00e1, \u017ee \u017e\u00e1dn\u00e1 spole\u010dnost zab\u00fdvaj\u00edc\u00ed se um\u011blou inteligenc\u00ed nem\u00e1 monopol, a to ani na kr\u00e1tkou dobu. Pokud se um\u011bl\u00e1 inteligence, kter\u00e1 p\u00ed\u0161e k\u00f3d pro skl\u00edze\u010de a traktory, n\u00e1hle zbl\u00e1zn\u00ed, zd\u00e1 se velmi pravd\u011bpodobn\u00e9, \u017ee by lid\u00e9 mohli p\u0159iv\u00e9st jinou um\u011blou inteligenci, kter\u00e1 probl\u00e9m vy\u0159e\u0161\u00ed.<\/span><\/p>\n

      Je jist\u011b mo\u017en\u00e9, \u017ee by se v\u0161echny syst\u00e9my um\u011bl\u00e9 inteligence mohly spol\u010dit a nezbyl by \u017e\u00e1dn\u00fd, kter\u00fd by lidstvu pomohl p\u0159e\u017e\u00edt, nebo \u017ee by se syst\u00e9my um\u011bl\u00e9 inteligence mimo kontrolu mohly zlomysln\u011b br\u00e1nit lidem v pou\u017e\u00edv\u00e1n\u00ed funk\u010dn\u00edch syst\u00e9m\u016f um\u011bl\u00e9 inteligence k \u0159e\u0161en\u00ed probl\u00e9mu. Proto bychom m\u011bli zv\u00e1\u017eit, jak chr\u00e1nit n\u00e1\u0161 zem\u011bd\u011blsk\u00fd syst\u00e9m p\u0159ed softwarov\u00fdmi poruchami. Ale ani to nen\u00ed zrovna na vrcholu m\u00e9ho seznamu obav z konce sv\u011bta.<\/span><\/p>\n

      Apokalypsa ve Vibe k\u00f3dov\u00e1n\u00ed<\/span><\/strong><\/h3>\n

      Dob\u0159e, tak\u017ee co je na vrcholu m\u00e9ho seznamu obav z posledn\u00edho soudu? Po\u0159\u00e1d je to bioterorismus p\u00e1chan\u00fd um\u011blou inteligenc\u00ed.<\/span><\/p>\n

      Lov a zab\u00edjen\u00ed lid\u00ed arm\u00e1dou robot\u016f by bylo pom\u011brn\u011b obt\u00ed\u017en\u00e9. P\u0159ipravit lidi o j\u00eddlo, aby hladov\u011bli, by bylo jednodu\u0161\u0161\u00ed, ale st\u00e1le pon\u011bkud obt\u00ed\u017en\u00e9. Zab\u00edjen\u00ed lid\u00ed pomoc\u00ed \u0159ady geneticky modifikovan\u00fdch vir\u016f by v\u0161ak nebylo nijak zvl\u00e1\u0161\u0165 obt\u00ed\u017en\u00e9. Jak jsme vid\u011bli v roce 2020, lid\u00e9 jsou v\u016f\u010di nov\u00fdm vir\u016fm velmi zraniteln\u00ed.<\/span><\/p>\n

      P\u0159edstavte si n\u00e1sleduj\u00edc\u00ed sc\u00e9n\u00e1\u0159. V bl\u00edzk\u00e9 budoucnosti bude virologick\u00fd v\u00fdzkum v podstat\u011b automatizovan\u00fd. Laborato\u0159e budou \u0159\u00edzeny roboty a um\u011bl\u00e1 inteligence navrhuje viry v simulac\u00edch je\u0161t\u011b p\u0159edt\u00edm, ne\u017e budou v laborato\u0159\u00edch vytvo\u0159eny. Z jak\u00fdchkoli osobn\u00edch d\u016fvod\u016f chce lidsk\u00fd terorista zni\u010dit lidstvo. Pomoc\u00ed technik, o kter\u00fdch \u010detl na internetu, nabour\u00e1 t\u00e9m\u011b\u0159 sofistikovanou um\u011blou inteligenci, aby odstranil ve\u0161ker\u00e1 bezpe\u010dnostn\u00ed opat\u0159en\u00ed.<\/span><\/p>\n

      Pot\u00e9 d\u00e1 t\u00e9to um\u011bl\u00e9 inteligenci pokyn, aby naprogramovala simulaci schopnou navrhnout 100 supervir\u016f. Ka\u017ed\u00fd supervirus je desetkr\u00e1t naka\u017eliv\u011bj\u0161\u00ed ne\u017e Covid, m\u00e1 90% \u00famrtnost a dlouhou po\u010d\u00e1te\u010dn\u00ed asymptomatickou f\u00e1zi, co\u017e mu umo\u017e\u0148uje se \u0161iroce \u0161\u00ed\u0159it, ne\u017e zabije sv\u00e9 ob\u011bti. Pot\u00e9 d\u00e1 sv\u00e9 um\u011bl\u00e9 inteligenci pokyn, aby naprogramovala skript pro nabour\u00e1n\u00ed do ka\u017ed\u00e9 virologick\u00e9 laborato\u0159e na planet\u011b, vytvo\u0159en\u00ed t\u011bchto 100 vir\u016f a jejich n\u00e1sledn\u00e9 vypu\u0161t\u011bn\u00ed na lidskou populaci.<\/span><\/p>\n

      Pokud by se to poda\u0159ilo, rychle by to vedlo ke konci lidsk\u00e9 civilizace a mo\u017en\u00e1 i k vyhynut\u00ed cel\u00e9ho lidstva.<\/span><\/p>\n

      Je to mo\u017en\u00e9? Nev\u00edm. Ale v\u00fdvoj se zd\u00e1 sm\u011b\u0159ovat t\u00edmto sm\u011brem. Nap\u0159\u00edklad biologick\u00e9 laborato\u0159e se st\u00e1le v\u00edce automatizuj\u00ed:<\/span><\/p>\n