{"id":115213,"date":"2026-09-07T00:29:39","date_gmt":"2026-09-06T22:29:39","guid":{"rendered":"https:\/\/www.infokuryr.cz\/n\/?p=115213"},"modified":"2026-09-06T16:04:54","modified_gmt":"2026-09-06T14:04:54","slug":"david-dvorak-premysleni-v-mozku-ai","status":"publish","type":"post","link":"https:\/\/www.infokuryr.cz\/n\/2026\/09\/07\/david-dvorak-premysleni-v-mozku-ai\/","title":{"rendered":"David Dvo\u0159\u00e1k: \u201eP\u0159em\u00fd\u0161len\u00ed\u201c v mozku AI"},"content":{"rendered":"
<\/div>\n

M\u00e1me op\u011bt ned\u011bli a to je \u010das odpo\u010dinout si od politiky. Dnes tedy d\u00e1v\u00e1m t\u0159et\u00ed \u010d\u00e1st seri\u00e1lu o tom, jak vlastn\u011b AI pracuje.<\/p>\n

\u00davodem vysv\u011btl\u00edm, \u017ee nejsem \u017e\u00e1dn\u00fd expert na AI a k t\u00e9matu jsem se dostal d\u00edky sv\u00e9 zv\u011bdavosti. Jako IT pracovn\u00edka m\u011b princip fungov\u00e1n\u00ed AI za\u010dal zaj\u00edmat, kdy\u017e jsem zjistil, \u017ee AI m\u016f\u017ee b\u00fdt nainstalov\u00e1na na lok\u00e1ln\u00edm PC a m\u016f\u017ee pracovat\u00a0bez p\u0159ipojen\u00ed k internetu<\/strong>. K dovr\u0161en\u00ed zv\u011bdavosti pomohl fakt, \u017ee ta\u00a0lok\u00e1ln\u00ed instalace \u201ecel\u00e9 AI\u201c zab\u00edr\u00e1 n\u011bco m\u00e1lo p\u0159es 20GB dat<\/strong>\u00a0(pro AI model 32b), co\u017e je objem dat pro cca 10 hodinov\u00fdch film\u016f v HD kvalit\u011b \u2026 a data t\u00e9to velikosti prost\u011b nemohou obsahovat \u201ev\u0161echnu moudrost sv\u011bta\u201c ve form\u011b n\u011bjak\u00e9 datab\u00e1ze, lexikonu apod. Tak\u017ee moje z\u00e1kladn\u00ed ot\u00e1zka zn\u011bla \u2013 jak to vlastn\u011b cel\u00e9 funguje? \u2026 a napadlo m\u011b zeptat se na m\u00edst\u011b nejpovolan\u011bj\u0161\u00edm, tedy p\u0159\u00edmo AI.<\/p>\n

V\u0161echny texty, resp. p\u0159irovn\u00e1n\u00ed a zobecn\u011bn\u00ed jsou z \u010d\u00e1sti d\u00edlem AI a z \u010d\u00e1sti d\u00edlem m\u00fdm. Ka\u017edop\u00e1dn\u011b, p\u0159ed zve\u0159ejn\u011bn\u00edm m\u011bla AI posledn\u00ed slovo, jako\u017eto korektor. Ostatn\u011b, stejn\u011b mohl postupovat ka\u017ed\u00fd<\/em>\u00a0\ud83d\ude42\u00a0.<\/p>\n

Opakov\u00e1n\u00ed je matka moudrosti \u2026<\/strong><\/h3>\n

V minul\u00fdch \u010dl\u00e1nc\u00edch jsem uvedl, \u017ee AI modely maj\u00ed v ozna\u010den\u00ed \u201e1b\u201c<\/strong>, \u201e7b<\/strong>\u201c,\u00a014b<\/strong>\u201c, \u201e32b<\/strong>\u201c, \u201e64b<\/strong>\u201c \u2026 atd., kde p\u00edsmeno \u201eb<\/strong>\u201c je od anglick\u00e9ho \u201ebilion\u201c \u2013 tedy \u010desky miliarda a ozna\u010den\u00ed v podstat\u011b uv\u00e1d\u00ed, s kolika parametry (v miliard\u00e1ch) doty\u010dn\u00fd model pracuje \u2013 jen p\u0159ipomenu, \u017ee ekvivalentn\u00ed ozna\u010den\u00ed pro lidsk\u00fd mozek se odhaduje mezi\u00a0\u201e100 000b\u201c<\/strong>\u00a0\u2013\u00a0\u201e1 000 000b\u201c<\/strong>. D\u00e1le jsem uvedl, \u017ee model AI 32b je pro lok\u00e1ln\u00ed instalaci v podstat\u011b soubor dat o velikosti cca 20GB \u2013 pro srovn\u00e1n\u00ed opakuji \u017ee je to velikost cca 10 hodinov\u00fdch film\u016f v HD kvalit\u011b, co\u017e vylu\u010duje form\u00e1t \u201ev\u0161ech znalost\u00ed lidstva\u201c ve stylu datab\u00e1ze, encyklopedie apod.\u00a0Pozn. \u2013 \u201eFull\u201c (nekvatizovan\u00fd) AI model 32b m\u00e1 cca 64GB, pro lok\u00e1ln\u00ed instalaci se ale pou\u017e\u00edv\u00e1 \u201ekvantizovan\u00fd\u201c model, kter\u00fd<\/em>\u00a0z\u00edsk\u00e1me\u00a0<\/em>v podstat\u011b zaokrouhlen\u00edm \u010d\u00edseln\u00fdch hodnot<\/em>.<\/em><\/p>\n

D\u00e1le jsem uvedl, \u017ee \u201emozek AI\u201c nepracuje se slovy, ale tokeny a jednu tabulku p\u0159ece jenom obsahuje \u2013 je to\u00a0z\u00e1kladn\u00ed tabulka token\u016f<\/strong>, kter\u00e1 m\u00e1 nej\u010dast\u011bji okolo 250.000 \u0159\u00e1dk\u016f a 4.096 sloupc\u016f Na ka\u017ed\u00e9m \u0159\u00e1dku tabulky je tedy 1 token, kter\u00fd m\u00e1 4.096 parametr\u016f \u2013 v ka\u017ed\u00e9m sloupci jeden. Vstupn\u00ed dotaz je nap\u0159ed \u201erozsek\u00e1n\u201c na tokeny (tokenizace), pro kter\u00e9 jsou v dal\u0161\u00edm kroku (embedding matici) vybr\u00e1ny parametry \u2013> ka\u017ed\u00fd token z dotazu je tak pomoc\u00ed embedding matice p\u0159eveden na soustavu \u010d\u00edsel (vektor\u016f).<\/p>\n

Nyn\u00ed nastal \u010das zopakovat m\u00e9 p\u0159esv\u011bd\u010den\u00ed, \u017ee AI \u201enep\u0159em\u00fd\u0161l\u00ed\u201c, proto\u017ee se jedn\u00e1 o po\u010d\u00edta\u010dov\u00fd program a o po\u010d\u00edta\u010di je v\u0161eobecn\u011b zn\u00e1mo, \u017ee um\u00ed v principu jen po\u010d\u00edtat ve dvojkov\u00e9 soustav\u011b. To, \u017ee pokro\u010dil\u00fd matematick\u00fd v\u00fdpo\u010det m\u016f\u017ee budit zd\u00e1n\u00ed \u201ep\u0159em\u00fd\u0161len\u00ed\u201c je v\u011bc druh\u00e1.<\/strong><\/em><\/p>\n

Vy\u0161\u0161\u00ed d\u00edv\u010d\u00ed<\/strong><\/h3>\n

Vstupn\u00ed dotaz m\u00e1me tedy p\u0159eveden na tokeny a ke ka\u017ed\u00e9mu z nich je p\u0159i\u0159azeno nej\u010dast\u011bji 4.096 parametr\u016f ze z\u00e1kladn\u00ed tabulky token\u016f. M\u00e1me tedy skupinu \u010d\u00edsel (vektor\u016f), kter\u00e1 postupuje do t\u0159et\u00ed, hlavn\u00ed v\u00fdpo\u010detn\u00ed \u010d\u00e1sti \u201emozku AI\u201c (Transformeru), kde doch\u00e1z\u00ed k po\u010d\u00edt\u00e1n\u00ed nejpravd\u011bpodobn\u011bj\u0161\u00edho (m\u016f\u017eeme taky \u0159\u00edct\u201cnejspr\u00e1vn\u011bj\u0161\u00edho\u201c) n\u00e1sleduj\u00edc\u00edho tokenu. Tato t\u0159et\u00ed \u010d\u00e1st obsahuje po\u010det parametr\u016f, kter\u00fd je v n\u00e1zvu modelu \u2013 model AI 32b m\u00e1 tedy v t\u00e9to hlavn\u00ed \u201ev\u00fdpo\u010detn\u00ed\u201c \u010d\u00e1sti 32 miliard parametr\u016f. Pomoc\u00ed t\u011bchto parametr\u016f se (v n\u011bkolika vln\u00e1ch) zpracuje soubor \u010d\u00edsel (vektor\u016f), kter\u00fd jsme z\u00edskali extrahov\u00e1n\u00edm ze z\u00e1kladn\u00ed tabulky token\u016f (embedding matice) pro tokeny ze vstupn\u00edho dotazu.<\/p>\n

P\u0159izn\u00e1m se, \u017ee prvn\u00ed dva d\u00edly jsem si celkem dovedl p\u0159edstavit, jak to asi m\u016f\u017ee fungovat, ale u tohoto t\u0159et\u00edho m\u00e1m jen mlhavou r\u00e1mcovou p\u0159edstavu o zp\u016fsobu v\u00fdpo\u010dtu \u2026 a asi nebudu jedin\u00fd\u00a0\ud83d\ude42\u00a0, proto\u017ee se bav\u00edme o nep\u0159edstaviteln\u00fdch 32 miliard\u00e1ch parametr\u016f \u2013 viz. n\u00ed\u017ee<\/p>\n

Jak jsem ji\u017e napsal, mozek AI pracuje ve 4 kroc\u00edch a v tom nejjednodu\u0161\u0161\u00edm p\u0159\u00edm\u011bru si m\u016f\u017eeme p\u0159edstavit cel\u00fd matematick\u00fd propo\u010det AI n\u00e1sledovn\u011b:<\/p>\n

    \n
  1. V z\u00e1kladn\u00ed tabulce token\u016f si ty parametry v ka\u017ed\u00e9m sloupci u ka\u017ed\u00e9ho \u0159\u00e1dku\/tokenu p\u0159edstavte nikoliv jako abstraktn\u00ed \u010d\u00edslo, ale jako \u201e\u0161telovac\u00ed \u0161roube\u010dek\u201c a parametr je hodnota \u201euta\u017een\u00ed nebo pooto\u010den\u00ed \u0161roube\u010dku\u201c \u2026 nap\u0159. \u0159\u00e1dek tokenu \u201esva\u0159\u201c m\u00e1 4.096 sloupc\u016f s parametry \u2192 p\u0159edstavte si to jako 4.096 \u201e\u0161telovac\u00edch \u0161roube\u010dk\u016f\u201c a uveden\u00e9 hodnoty pak ud\u00e1vaj\u00ed jak p\u0159esn\u011b je \u201e\u0161roube\u010dek\u201c nastaven, resp. za\u0161roubov\u00e1n. P\u0159ipom\u00edn\u00e1m, \u017ee parametry jsou mal\u00e1 \u010d\u00edsla a po\u010det desetinn\u00fdch m\u00edst m\u00e1 vliv na p\u0159esnost v\u00fdpo\u010dtu, co\u017e se jev\u00ed jako \u201einteligence\u201c AI \u2013 nap\u0159. parametr tokenu \u201esva\u0159\u201c m\u016f\u017ee m\u00edt ve sloupci 2.034 hodnotu 0,00128 \u2026 tedy \u0161roube\u010dek \u010d. 2.034 je za\u0161roubov\u00e1n na 0,00128. Tyto parametry\/\u0161roube\u010dky v podstat\u011b velmi p\u0159esn\u011b charakterizuj\u00ed vlastnosti tokenu \u2013 nap\u0159. jestli m\u00e1 token bl\u00ed\u017ee k \u017eivotn\u00e9mu nebo ne\u017eivotn\u00e9mu stavu, bl\u00ed\u017ee k \u010de\u0161tin\u011b nebo angli\u010dtin\u011b atd. a p\u0159esn\u00e9 hodnoty se ustanovuj\u00ed p\u0159i tr\u00e9ninku AI.<\/li>\n
  2. Hlavn\u00ed v\u00fdpo\u010detn\u00ed \u010d\u00e1st (Transformer) si pak p\u0159edstavte obdobn\u011b \u2013 jako stroj, kter\u00fd m\u00e1 sice 32 miliard parametr\u016f, ale ka\u017ed\u00fd parametr p\u0159edstavuje \u201e\u0161telovac\u00ed \u0161roube\u010dek\u201c, resp. p\u0159esnou hodnotu jeho pooto\u010den\u00ed\/nastaven\u00ed a ve v\u00fdsledku v\u0161echny \u201e\u0161roube\u010dky\/parametry\u201c ur\u010d\u00ed, jak bude prob\u00edhat v\u00fdpo\u010det.\u00a0Pozn. \u2013 nejbli\u017e\u0161\u00ed p\u0159irovn\u00e1n\u00ed m\u011b napad\u00e1 s \u0159\u00edd\u00edc\u00ed jednotkou (ECU) automobilov\u00e9ho motoru, kter\u00fd m\u016f\u017ee m\u00edt 30.000 \u2013 70.000 parametr\u016f, podle kter\u00fdch pak cel\u00fd motor pracuje. Parametry ECU \u0159\u00edd\u00ed chod motoru, parametry Transformeru AI pak matematick\u00fd v\u00fdpo\u010det.<\/em><\/li>\n
  3. Pokud tedy v druh\u00e9m kroku z\u00edsk\u00e1v\u00e1me soubor \u010d\u00edsel (vektor\u016f) z token\u016f zadan\u00fdch na vstupn\u00edm dotazu, pak ve t\u0159et\u00ed \u010d\u00e1sti se tento soubor \u010d\u00edsel propo\u010d\u00edt\u00e1v\u00e1 podle nastaven\u00ed 32 miliard \u201e\u0161telovac\u00edch \u0161roube\u010dk\u016f\u201c<\/li>\n
  4. V\u00fdsledkem v\u00fdpo\u010dtu je op\u011bt jen soubor \u010d\u00edsel, kter\u00fd je ve \u010dtvrt\u00e9 \u010d\u00e1sti \u201emozku\u201c AI jen zp\u011bt p\u0159eveden na tokeny\/slova.<\/li>\n<\/ol>\n

    Podstata tr\u00e9nov\u00e1n\u00ed<\/strong><\/h3>\n

    D\u0159\u00edve jsem uvedl, \u017ee na \u00fapln\u00e9m za\u010d\u00e1tku, tj. p\u0159i prvn\u00edm sestaven\u00ed\u00a0nenatr\u00e9novan\u00e9\u00a0<\/strong>AI (nem\u00e1 zmrazen\u00e9 v\u00e1hy), jsou parametry v z\u00e1kladn\u00ed tabulce token\u016f a 32 miliard parametr\u016f v hlavn\u00ed, t\u0159et\u00ed, v\u00fdpo\u010detn\u00ed \u010d\u00e1sti nahodil\u00e1 \u010d\u00edsla. Podstatn\u00e9 je, \u017ee parametr nesm\u00ed b\u00fdt roven nule nebo pr\u00e1zdn\u00fd. Pokud tedy p\u0159i\u00a0prvn\u00edm spu\u0161t\u011bn\u00ed nenatr\u00e9novan\u00e9<\/strong>\u00a0AI zad\u00e1te nap\u0159. dotaz:\u00a0\u201eJak\u00e9 je hlavn\u00ed m\u011bsto \u010cR?\u201c<\/em>, tak se spust\u00ed cel\u00fd proces v\u00fdpo\u010dtu, ale proto\u017ee v\u0161echny parametry jsou nahodil\u00e9, tak v\u00fdsledek bude nesmysln\u00fd \u2013 nap\u0159.:\u00a0Hlavn\u00ed m\u011bsto \u010cR je\u00a0xj?*3z<\/strong>.<\/em>\u00a0Spr\u00e1vn\u00e1 odpov\u011b\u010f je ale \u201ePraha\u201c. Prvn\u00ed odpov\u011b\u010f AI ozna\u010d\u00ed v\u00fdvoj\u00e1\u0159i jako chybnou a uvedou spr\u00e1vnou odpov\u011b\u010f\u00a0\u201ePraha\u201c<\/em>. No a nyn\u00ed nastane n\u011bco, co si p\u0159edstavte jako \u201ezp\u011btn\u00fd chod\u201c nebo zp\u011btn\u00fd propo\u010det, kdy AI si n\u011bkter\u00e9 parametry uprav\u00ed na nov\u00e9 hodnoty tak, aby p\u0159i opakovan\u00e9m stejn\u00e9m vstupn\u00edm zad\u00e1n\u00ed vypo\u010d\u00edtal jako spr\u00e1vn\u00e9 slovo \u201ePraha\u201c.<\/p>\n

    Pozn. 1 \u2013 V ur\u010dit\u00e9m stupni tr\u00e9nov\u00e1n\u00ed se model AI v\u017edy tzv. zmraz\u00ed\/uzav\u0159e a vyd\u00e1 pro lok\u00e1ln\u00ed pou\u017e\u00edv\u00e1n\u00ed ve stavu \u201eread-only\u201c. Model se \u201ezmrazen\u00fdmi v\u00e1hami\u201c nelze klasicky \u201edotr\u00e9novat\u201c, jen up\u0159esnit pomoc\u00ed \u201efine-tuningu\u201c. Na origin\u00e1l modelu se pak pokra\u010duje s tr\u00e9nov\u00e1n\u00edm d\u00e1le a p\u0159i p\u0159\u00ed\u0161t\u00edm \u201ezmrazen\u00ed vah\u201c dostaneme natr\u00e9novan\u011bj\u0161\u00ed, tj. chyt\u0159ej\u0161\u00ed model \u2026<\/em><\/p>\n

    Pozn. 2 \u2013 Tento \u201ezp\u011btn\u00fd chod\u201c (odborn\u011b backpropagation) tedy nikdy neprob\u00edh\u00e1 u v\u00e1s doma na po\u010d\u00edta\u010di. Lok\u00e1ln\u00ed verze AI je u\u017e hotov\u00e1 a pevn\u011b zam\u010den\u00e1. Tento proces u\u010den\u00ed\/tr\u00e9ninku prob\u00edhal p\u0159ed uzav\u0159en\u00edm\/zmrazen\u00edm vah AI v ob\u0159\u00edch datov\u00fdch centrech pod dohledem v\u00fdvoj\u00e1\u0159\u016f. Tam po\u010d\u00edta\u010de mili\u00f3nkr\u00e1t dokola zkou\u0161ely vypo\u010d\u00edt\u00e1vat n\u00e1sleduj\u00edc\u00ed slova, porovn\u00e1valy je se\u00a0spr\u00e1vn\u00fdmi texty z internetu<\/strong>(?)<\/strong>\u00a0a pomoc\u00ed zp\u011btn\u00e9ho chodu ladily t\u011bch 32 miliard \u0161roube\u010dk\u016f tak dlouho, dokud model neza\u010dal odpov\u00eddat spr\u00e1vn\u011b. Dom\u016f si tedy stahujete hotov\u00fd, \u201ezafixovan\u00fd\/natr\u00e9novan\u00fd\u201c model AI.<\/em><\/p>\n

    Jestli\u017ee v z\u00e1kladn\u00ed tabulce token\u016f m\u00e1me pro ka\u017ed\u00fd token 4.096 parametr\u016f, tak tohle si je\u0161t\u011b asi jde p\u0159edstavit a dosledovat, kter\u00fd \u201e\u0161roube\u010dek\u201c byl pooto\u010den, o kolik a pro\u010d. Ov\u0161em v hlavn\u00ed v\u00fdpo\u010detn\u00ed \u010d\u00e1sti m\u00e1me 32 miliard \u201e\u0161roube\u010dk\u016f\u201c a tvrd\u00edm, \u017ee po sv\u011bt\u011b nechod\u00ed moc lid\u00ed, kte\u0159\u00ed by um\u011bli zd\u016fvodnit pro\u010d a o kolik se n\u011bkter\u00fd z t\u011bch 32 miliard parametr\u016f zm\u011bnil. To jsou ty n\u00e1\u0159ky v\u00fdvoj\u00e1\u0159\u016f, \u017ee p\u0159esto\u017ee algoritmus znaj\u00ed, nejsou p\u0159esn\u011b schopni ur\u010dit, kter\u00fd parametr se zm\u011bnil, pro\u010d zrovna ten a ne jin\u00fd a o kolik ho bylo t\u0159eba zm\u011bnit.<\/p>\n

    No a t\u00edmto zp\u016fsobem se tr\u00e9nuje AI d\u00e1l \u2013 dal\u0161\u00ed dotaz nap\u0159. bude: Hlavn\u00ed m\u011bsto Polska \u2192 AI nap\u00ed\u0161e nesmysl, v\u00fdvoj\u00e1\u0159i nap\u00ed\u0161\u00ed spr\u00e1vnou odpov\u011b\u010f a AI spust\u00ed \u201ezp\u011btn\u00fd chod\u201c a uprav\u00ed n\u011bkter\u00e9 parametry tak, aby p\u0159i stejn\u00e9m dotazu bylo vypo\u010d\u00edt\u00e1no spr\u00e1vn\u011b \u201eVar\u0161ava\u201c. V podstat\u011b je to jak u\u010dit neznal\u00e9ho \u017e\u00e1ka \u2192 nap\u0159ed odpov\u00ed \u0161patn\u011b, Vy ho oprav\u00edte a \u0159eknete spr\u00e1vnou odpov\u011b\u010f a \u017e\u00e1k by si to m\u011bl zapamatovat tak, aby p\u0159i stejn\u00e9m dotazu v budoucnu odpov\u011bd\u011bl spr\u00e1vn\u011b. AI m\u00e1 oproti lidsk\u00e9mu \u017e\u00e1kovi v\u00fdhodu \u2013 nezn\u00e1 pr\u00e1zdniny, nezn\u00e1 sv\u00e1tky, nezn\u00e1 volno, nezapom\u00edn\u00e1 a v\u0161e si pamatuje d\u00edky tomu, \u017ee m\u00e1 32 miliard + 4.096 \u201e\u0161roube\u010dk\u016f\u201c, kter\u00e9 si nastavuje a p\u0159i opakovan\u00e9m stejn\u00e9m dotazu si jenom zjist\u00ed p\u0159esn\u00e9 nastaven\u00ed, kter\u00e9 m\u00e1 pou\u017e\u00edt ve v\u00fdpo\u010dtu.<\/p>\n

    To\u0165 op\u011bt vsjo \u2192\u00a0tr\u00e9nov\u00e1n\u00ed AI<\/strong>\u00a0nen\u00ed nic jin\u00e9ho ne\u017e pokl\u00e1d\u00e1n\u00ed ot\u00e1zek -> vyhodnocov\u00e1n\u00ed odpov\u011bd\u00ed a zad\u00e1n\u00ed spr\u00e1vn\u00e9 \u2192 \u201ezp\u011btn\u00fd chod AI\u201c \u2192 nastaven\u00ed n\u011bkter\u00fdch parametr\u016f v z\u00e1kladn\u00ed tabulce token\u016f (embedding matici) a v hlavn\u00ed \u201ev\u00fdpo\u010detn\u00ed \u010d\u00e1sti\u201c (Transformeru).<\/em><\/p>\n

    Rozd\u00edl oproti lidsk\u00e9mu u\u010den\u00ed je ten, \u017ee tr\u00e9nink AI m\u016f\u017ee b\u011b\u017eet 24\/7\/365 (AI nezn\u00e1 pr\u00e1zdniny, voln\u00e9 sv\u00e1tky, \u00fanavu\u2026 atd.), p\u0159i\u010dem\u017e na z\u00e1kladn\u00ed dotazy a odpov\u011bdi m\u016f\u017eete pou\u017e\u00edt n\u011bjakou formu automatizace, tak\u017ee u\u010den\u00ed m\u016f\u017ee b\u00fdt n\u00e1sobn\u011b rychlej\u0161\u00ed ne\u017e u lid\u00ed. Ale i tak se jedn\u00e1 o vy\u0161\u0161\u00ed mili\u00f3ny dotaz\u016f a odpov\u011bd\u00ed. Jen zopakuji \u2013 lok\u00e1ln\u00ed instalace AI modelu nejde tr\u00e9novat nebo dotr\u00e9novat, lok\u00e1ln\u00ed model je v\u017edy do n\u011bjak\u00e9 \u00farovn\u011b natr\u00e9novan\u00fd a uzav\u0159en\u00fd, resp. se zmrazen\u00fdmi vahami.<\/p>\n

    Dal\u0161\u00ed potenci\u00e1l je n\u00e1sleduj\u00edc\u00ed a p\u0159\u00edmo vypl\u00fdv\u00e1 z principu \u2013 \u0159ekn\u011bme, \u017ee m\u00e1me dva lidsk\u00e9 jedince a ka\u017ed\u00fd m\u00e1 vystudovan\u00e9 2 specializace na \u00farovni vysok\u00e9 \u0161koly. Tito dva pak mohou m\u00edt klidn\u011b i nebin\u00e1rn\u00ed styk, ale zat\u00edm neexistuje zp\u016fsob, jak by si b\u011bhem n\u011bkolika m\u00e1lo minut p\u0159edali sv\u00e9 v\u011bdomosti tak, aby ka\u017ed\u00fd m\u011bl znalosti ze v\u0161ech \u010dty\u0159 specializac\u00ed. U AI tomu ale\u00a0m\u016f\u017ee<\/strong>\u00a0b\u00fdt jinak, proto\u017ee ty v\u011bdomosti jsou pouze data jednotliv\u00fdch parametr\u016f \u2026 a p\u0159ehr\u00e1t je druh\u00e9 AI\u00a0m\u016f\u017ee b\u00fdt teoreticky<\/strong>\u00a0coby dup. Sice nem\u016f\u017eete snadno vz\u00edt \u201ep\u016flku mozku\u201c z jedn\u00e9 AI a nahr\u00e1t ji do druh\u00e9, ale m\u016f\u017eete nechat jednu AI, aby napsala sv\u00e9 znalosti do text\u016f,\u00a0ze kter\u00fdch se pak druh\u00e1 AI bleskov\u011b nau\u010d\u00ed.<\/em><\/p>\n

    Princip neuronov\u00e9 s\u00edt\u011b pro technicky zdatn\u011bj\u0161\u00ed<\/strong><\/h3>\n

    V\u00fd\u0161e jsem uvedl nejjednodu\u0161\u0161\u00ed p\u0159irovn\u00e1n\u00ed, kter\u00e9 m\u011b napadlo. Ve skute\u010dnosti se v podstat\u011b po\u010d\u00edtaj\u00ed velmi p\u0159esn\u00e9 prostorov\u00e9 vazby mezi jednotliv\u00fdmi tokeny.<\/p>\n

    Ka\u017ed\u00fd si dovede p\u0159edstavit t\u0159\u00edrozm\u011brn\u00fd prostor, ve kter\u00e9m jsou osy X,Y a Z (Z<\/strong><\/em>\u00a0se mo\u017en\u00e1 bude muset p\u0159ejmenovat a\u0165 to nen\u00ed propagace prorusk\u00fdch narativ\u016f<\/em>). Pokud by neuronov\u00e1 s\u00ed\u0165 pracovala jen s t\u0159\u00edrozm\u011brn\u00fdm prostorem, pak by z\u00e1kladn\u00ed tabulka token\u016f m\u011bla jen t\u0159i sloupce a v ka\u017ed\u00e9m pak parametr, kter\u00fd by ur\u010doval p\u0159esn\u00e9 um\u00edst\u011bn\u00ed dan\u00e9ho tokenu ve t\u0159\u00edrozm\u011brn\u00e9m prostoru. Jen\u017ee, z\u00e1kladn\u00ed tabulka token\u016f m\u00e1 4.096 sloupc\u016f\/parametr\u016f, tedy se v podstat\u011b jedn\u00e1 o v\u00edcerozm\u011brn\u00fd prostor, kter\u00fd nem\u00e1 jen 3 osy, ale m\u00e1 4.096 os. Ka\u017ed\u00fd parametr v z\u00e1kladn\u00ed tabulce token\u016f tak velmi p\u0159esn\u011b ur\u010duje polohu dan\u00e9ho tokenu v tomto 4096-rozm\u011brn\u00e9m prostoru.<\/p>\n

    Hlavn\u00ed, t\u0159et\u00ed, v\u00fdpo\u010detn\u00ed \u010d\u00e1st (transformer) \u201emozku\u201c AI pak d\u011bl\u00e1 to kouzlo, \u017ee tyto polohy v prostoru\u00a0dynamicky m\u011bn\u00ed a oh\u00fdb\u00e1 podle kontextu cel\u00e9 v\u011bty<\/strong>. T\u011bch 32 miliard \u0161roube\u010dk\u016f\/parametr\u016f za\u0159\u00edd\u00ed, \u017ee nap\u0159. slovo \u201ez\u00e1mek<\/em>\u201c se posune v prostoru bl\u00ed\u017e ke slovu \u201ekl\u00ed\u010d<\/em>\u201c nebo \u201ehrad<\/em>\u201c podle toho, o \u010dem byl vstupn\u00ed dotaz. V\u00fdsledkem cel\u00e9ho tohoto matematick\u00e9ho v\u00fdpo\u010dtu je nov\u00fd bod v prostoru.<\/p>\n

    Na \u00fapln\u00e9m konci se pak jednodu\u0161e pod\u00edv\u00e1 zp\u011bt do z\u00e1kladn\u00ed tabulky token\u016f a jako dal\u0161\u00ed slovo vybere to, kter\u00e9 je tomuto v\u00fdsledn\u00e9mu bodu\u00a0geometricky nejbl\u00ed\u017ee<\/strong>.\u201c<\/p>\n

    Opis t\u00e9ho\u017e procesu, ale jin\u00fdmi slovy m\u016f\u017ee b\u00fdt n\u00e1sleduj\u00edc\u00ed<\/strong><\/h3>\n

    1. Vstup a embedding prostor \u2013 pokud m\u00e1 embedding rozm\u011br 4096, pak je ka\u017ed\u00e9 slovo\/token reprezentov\u00e1no jako\u00a0bod (vektor) ve 4096-rozm\u011brn\u00e9m prostoru<\/strong>. Tyto sou\u0159adnice v sob\u011b nesou z\u00e1kladn\u00ed s\u00e9mantick\u00fd v\u00fdznam slova (nap\u0159. \u017ee \u201ekr\u00e1l\u201c m\u00e1 bl\u00edzko k \u201emu\u017e\u201c a \u201ekr\u00e1lovna\u201c k \u201e\u017eena\u201c).<\/p>\n

    2. V\u00fdpo\u010detn\u00ed \u010d\u00e1st (Transformer a Attention mechanismus) \u2013\u00a0Transformer nem\u011b\u0159\u00ed jen statickou vzd\u00e1lenost token\u016f, ale dynamicky m\u011bn\u00ed jejich v\u00fdznam na z\u00e1klad\u011b kontextu.<\/strong><\/p>\n