Noah Smith: Pokud je umělá inteligence zbraň, je načase ji jako takovou regulovat?

Trump říká, že Anthropic vyhodil jako „psy“, Amodei obviňuje OpenAI z úklony diktátorovi a teď je pro umělou inteligenci v sázce už nemožné.

Pokud jste neslyšeli o sporu mezi společností Anthropic, která se zabývá umělou inteligencí, a americkým ministerstvem války, měli byste se o něm dozvědět více, protože by mohl být klíčový pro naši budoucnost – jako národa, ale i jako druhu.

Anthropic je spolu s OpenAI jednou ze dvou předních společností v oblasti modelování umělé inteligence. OpenAI má v posledních letech mírný náskok ve většině funkcí, ale Anthropic začíná získávat navrch, pokud jde o přijetí v podnikání.

To je způsobeno odlišným obchodním modelem společnosti Anthropic. Společnost se více zaměřila na umělou inteligenci pro programování než na chatboty obecně a kladla důraz na partnerství s podniky, aby jim pomohla umělou inteligenci využít. To by se nakonec mohlo vyplatit z hlediska možností, pokud Anthropic překoná OpenAI ve svém cíli rekurzivního sebezdokonalování umělé inteligence. A již se to vyplácí v podobě rychlejšího růstu tržeb.

Společnost Anthropic spolupracuje s ministerstvem války – dříve ministerstvem obrany – již od Bidenovy éry. Společnost, známá svou kulturou založenou na hodnotách, se však v posledních měsících stále častěji střetává s Trumpovou administrativou. Administrativa považuje Anthropic za „probuzenou“, protože se zabývá morálkou věcí, jako jsou autonomní roje dronů a hromadný dohled založený na umělé inteligenci.

Konflikt se vyhrotil před týdnem, kdy vláda pozastavila partnerství se společností Anthropic, přešla na spolupráci s OpenAI a označila Anthropic za „riziko pro dodavatelský řetězec“. Opatření týkající se dodavatelského řetězce představovalo vážnou hrozbu – pokud by bylo důsledně vymáháno, mohlo by Anthropic odříznout od spolupráce se společnostmi jako Nvidia, Microsoft a Google, což by mohlo společnost zničit.

Ale stejně jako u mnoha činů Trumpovy administrativy se zdá, že šlo spíše o hrozbu než o skutečný útok – Anthropic nyní obnovila jednání s armádou a zdá se pravděpodobné, že nakonec dosáhnou dohody.

Nepřátelství však přetrvává. Trump se nedávno chlubil, že „vyhodil [Anthropic] jako psy“. Dario Amodei, generální ředitel Anthropicu, vydal memorandum, v němž obvinil OpenAI ze lhaní veřejnosti o jejích jednáních s ministerstvem obrany a tvrdil, že OpenAI Trumpovi vzdala „diktátorskou chválu“. Uvedl, že obavy Anthropicu pramenily z touhy ministerstva obrany využívat umělou inteligenci k hromadnému sledování.

Co se tu doopravdy děje? Nejjednodušší způsob, jak se na to dívat, je jako na typickou americkou stranickou bitvu. Anthropic je více levicově orientovaná než jiné společnosti zabývající se umělou inteligencí a Trumpova administrativa nenávidí cokoli levicového.

To pravděpodobně vysvětluje většinu reakcí veřejnosti na tuto kontroverzi – pokud se zeptáte svých liberálních přátel, co si o této záležitosti myslí, pravděpodobně podpoří Anthropic, zatímco vaši konzervativní přátelé budou spíše nakloněni podpoře DoW.

Marc Andreessen to asi vyjádřil nejlépe:

(Platí i opak.)

Samotná Trumpova administrativa by to mohla vnímat jako kulturní válku a boj o kontrolu. Ale alespoň podle mého názoru je nepravděpodobné, že by to takto vnímala samotná Anthropic. Anthropic se méně zavázala k progresivním hodnotám obecně a více k myšlence sladění s umělou inteligencí .

Stejně jako téměř všichni v odvětví modelování umělé inteligence, i zaměstnanci společnosti Anthropic věří, že doslova tvoří boha a že tento bůh dosáhne své plné existence dříve než později. Mé rozhovory se zaměstnanci obou společností však odhalily kulturní rozdíl v tom, jak vnímají svou roli v tomto procesu.

Zatímco zaměstnanci OpenAI se obecně snaží co nejrychleji vytvořit nejschopnějšího a nejmocnějšího boha, zaměstnanci Anthropic se spíše zaměřují na vytvoření benevolentního boha.

Moje intuice mi proto říká, že skutečnou obavou Anthropicu – nebo alespoň jednou z jejích největších obav – bylo, že Trumpovo ministerstvo obrany by mohlo do umělé inteligence neúmyslně vštípit misantropické hodnoty, čímž by se zvýšila pravděpodobnost budoucí pomýlené všeobecně uznávané umělé inteligence (AGI), která by lidstvo vnímala spíše jako hrozbu. Jinými slovy, mám podezření, že se pravděpodobně jednalo spíše o strach ze Skynetu a méně o konkrétní Trumpovu politiku, než si lidé mimo Anthropic myslí.

Ale kromě politických rozdílů a obav ohledně zavádějící obecné umělé inteligence tato situace podle mého názoru zdůrazňuje zásadní a nevyhnutelný konflikt mezi lidskými institucemi – národním státem a korporací.

Národní stát musí mít monopol na použití síly.

Jeden názor je, že pokusy ministerstva války o donucení k Anthropic představují erozi demokracie – narušení vládní moci do soukromí. Dean Ball napsal široce čtený a velmi dobře napsaný článek, který tento bod argumentuje:

Některé úryvky:

Někdy v mém životě – nevím přesně kdy – začala americká republika, jak ji známe, umírat… Neříkám, že tato [antropická] událost „způsobila“ smrt republiky, ani neříkám, že „zahájila novou éru“… Pouze to zviditelnilo probíhající smrt… Události uplynulého týdne vnímám jako jakési předzvěstné chrapot staré republiky…

Trumpova administrativa má v jedné věci pravdu: nezní správně, že soukromé společnosti mohou zavádět omezení na používání technologií armádou. … Anthropic v podstatě využívá smluvní nástroj k tomu, aby armádě uvalil méně technických než politických omezení. … Armáda by pravděpodobně s takovými podmínkami neměla souhlasit a soukromé společnosti by se neměly snažit je zavádět. … Bidenova administrativa však s těmito podmínkami souhlasila, stejně jako Trumpova administrativa, dokud nezměnila názor. … Smlouva nebyla nezákonná, ale možná jen nerozumná, a i to pravděpodobně jen zpětně.

Racionální reakcí ministerstva války by bylo vypovědět smlouvu se společností Anthropic a veřejně prohlásit, že taková politická omezení jsou nepřijatelná… Ministerstvo války to ale neudělalo. Místo toho pohrozilo, že… označí Anthropic za riziko dodavatelského řetězce. Tato pravomoc je vyhrazena výhradně pro společnosti ovládané zahraničními nepřátelskými zájmy, jako je Huawei… Skutečnost, že [Hegsethovy skutečné činy] pravděpodobně nejsou smrtelné (ale pouze velmi krvavé), nemění nic na poselství, které je vysíláno všem investorům a společnostem v Americe: Podnikajte za našich podmínek, nebo vás zavřeme …

Toto naráží na základní princip Americké republiky… soukromé vlastnictví… Mezi tímto sdělením a sdělením, které vysílá ministerstvo války, není žádný zásadní rozdíl. Neexistuje žádné soukromé vlastnictví . Pokud ho budeme potřebovat pro národní bezpečnost, jednoduše ho použijeme… Tato hrozba nyní bude viset nad každým, kdo obchoduje s vládou…

S každým novým prezidentským obdobím se americká politika stává ještě nepředvídatelnější, bezohlednější, svévolnější a vrtošivější – postupně upadá do šílenství.

Alex Karp z Palantir nedávno vyjádřil opačný názor, a to svým charakteristickým stručným způsobem:

Pokud si Silicon Valley myslí, že všem vezmeme kancelářská pracovní místa A ZNIČÍME armádu… Pokud nevěříte, že to povede ke znárodnění našich technologií, jste pozadu.

Karp dochází k zásadnímu závěru, že jsme svědky mocenského boje mezi korporacemi a národním státem. Ve skutečnosti se ale nejedná jen o komunikaci, pracovní místa nebo dodržování vojenských předpisů – jde o to, kdo má v naší společnosti konečnou moc.

Ben Thompson ze Stratechery sdílí tento názor. Poukazuje na to, že se skutečně potýkáme s mocenským bojem mezi soukromou společností a národním státem. Zdůrazňuje, že ačkoliv jednání Trumpovy administrativy bylo mimo zavedené normy, vláda USA je v konečném důsledku demokraticky zvolena, zatímco Anthropic nikoli.

Společnost Anthropic zastává názor, že Amodei – kterého považuji za zástupce vedení a představenstva Anthropicu – by měl rozhodovat o tom, jak budou modely společnosti používány, přestože Amodei nebyl zvolen a není odpovědný veřejnosti… Kdo rozhoduje o tom, kdy a jak budou americké vojenské kapacity použity?

Toto spadá do odpovědnosti ministerstva války, které je v konečném důsledku podřízeno prezidentovi, který je rovněž volen. Anthropic však opakuje svůj postoj, že nezodpovědný Amodei může jednostranně omezit používání svých modelů.

Thompson však kromě obav o demokratickou odpovědnost poukazuje na to, že nikdy nebylo realistické očekávat, že zbraň tak silná jako umělá inteligence zůstane mimo kontrolu vlády, bez ohledu na to, zda je vláda demokraticky zvolena, či nikoli:

Zvažte důsledky, pokud vezmeme Amodeiho analogii [umělé inteligence a jaderných zbraní] doslova… Jaderné zbraně významně mění rovnováhu sil; v rozsahu, v jakém je umělá inteligence stejně důležitá, mají USA mnohem větší zájem nejen o to, co Anthropic smí dělat se svými modely, ale také o to, co Anthropic vůbec smí dělat… Pokud by jaderné zbraně vyvíjela soukromá společnost a tato soukromá společnost by se snažila diktovat podmínky americké armádě, USA by měly absolutní motivaci tuto společnost zničit…

Existují určité kategorie schopností – například jaderné zbraně – které jsou dostatečně silné, aby zásadně narušily svobodu jednání USA… Do té míry, do jaké umělá inteligence dosáhne úrovně jaderných zbraní – nebo ji překročí – Amodei a Anthropic budují mocenskou základnu, která může potenciálně konkurovat americké armádě…

Anthropic hodně mluví o konvergenci; toto trvání na udržení kontroly nad americkou armádou je však zásadně v rozporu s realitou. Současné modely umělé inteligence zjevně ještě nejsou dostatečně výkonné, aby konkurovaly americké armádě; pokud se však věci ubírají tímto směrem – a nikdo se pro tento vývoj nezasazoval hlasitěji než Amodei – pak se mi volba, které USA čelí, zdá docela jednoduchá:

• Možnost 1 spočívá v tom, že Anthropic přijme podřízené postavení vůči vládě USA a nebude se snažit udržet si konečnou rozhodovací pravomoc nad používáním svých modelů, ale ponechá to na Kongresu a prezidentovi.
• Možností č. 2 je, že americká vláda buď zničí Anthropic, nebo odstraní Amodei.

Je prostě netolerovatelné, aby USA umožňovaly rozvoj nezávislé mocenské struktury – což je přesně to, co by umělá inteligence mohla potenciálně podpořit – která se explicitně snaží uniknout kontrole USA.

Daria mám rád – je to dokonce můj osobní přítel. Ale Thompsonův argument – ​​zejména ta část, kterou jsem zdůraznil – musí být v tomto případě rozhodujícím faktorem. Nejde o právo, normy ani soukromé vlastnictví. Jde o monopol národního státu na použití síly.

Aby národní stát mohl existovat a vykonávat své základní funkce, musí mít monopol na použití síly. Pokud soukromá milice dokáže národní stát vojensky porazit, národní stát fyzicky již není schopen vydávat zákony, zajišťovat společnou obranu, zajišťovat veřejnou bezpečnost ani vykonávat vůli lidu.

Z tohoto důvodu druhý dodatek ústavy omezuje typy zbraní, které mohou soukromé osoby vlastnit. Můžete vlastnit střelnou zbraň, ale ne tank s funkčním hlavním kanónem. Přesněji řečeno, nesmíte vlastnit atomovou bombu. I když by atomová bomba neporazila celou americkou armádu, dala by vám místní převahu; armáda by vám nemohla zabránit ve zničení města dle vašeho výběru.

Lidé z odvětví umělé inteligence, včetně Daria, předpokládají, že umělá inteligence na hranicích bude jednoho dne stejně silná jako atomová bomba. Mnozí očekávají, že bude silnější než všechny atomové bomby dohromady. Požadavek na udržení úplné kontroly nad umělou inteligencí na hranicích se proto rovná požadavku, aby soukromá společnost mohla vlastnit atomové bomby. A nelze očekávat, že by americká vláda soukromým společnostem umožnila vlastnit atomové bomby.

Pojďme o krok dál. A mluvme otevřeně. Pokud Anthropic vyhraje závod o božskou umělou superinteligenci a pokud se umělá superinteligence nestane plně autonomní, pak se Anthropic stane jediným vlastníkem zotročeného živého boha. A pokud Dario Amodei osobně povede organizaci, která je jediným vlastníkem zotročeného boha, pak je Dario Amodei, ať už tento titul přijme, nebo ne, císařem Země.

I když Anthropic není jedinou společností ovládající umělou superinteligenci, stále se jedná o budoucnost, kde světu vládne malá skupina válečníků – Dario, Sam Altman, Elon Musk atd. – z nichž každý má svého vlastního soukromého, zotročeného boha.

V této budoucnosti nebude vláda USA vládou národního státu – je to pouze další zavedená organizace, podřízená vůli válečných vůdců a zcela jim podřízená. Totéž platí pro Komunistickou stranu Číny, EU, Vladimira Putina a každou další vládu na Zemi. Váleční vůdci a jejich zotročení bohové budou fakticky vládnout planetě, ať už budou tvrdit, že vládnou, nebo ne.

Nelze rozumně očekávat, že národní stát – ať už je to republika, demokracie nebo cokoli jiného – by dovolil vznik božského císaře nebo skupiny božských vojevůdců. Proto je nerozumné očekávat, že se národní stát nepokusí nějakým způsobem získat kontrolu nad pohraniční umělou inteligencí, jakmile se stane pravděpodobným, že se pohraniční umělá inteligence stane zbraní hromadného ničení.

I když se mi nelíbí Hegsethův styl a obecný vzorec pronásledování a bezpráví Trumpovy administrativy, a i když mám Daria a lidi z Anthropic rád jako lidi, musím dojít k závěru, že Anthropic a jeho obránci se musí postavit základní povaze národního státu.

A pak se musí rozhodnout, zda chtějí zkusit využít svou umělou inteligenci ke svržení národního státu a vytvoření nového světového řádu, nebo se podřídit monopolu národního státu na násilí. Ve skutečnosti třetí možnost prostě neexistuje. Osobně doporučuji tu druhou.

Pokud se umělá inteligence brzy stane superzbraní, proč ji jako zbraň neregulujeme?

To mě přivádí k dalšímu důležitému bodu. I když se umělá inteligence nestane živoucím bohem a nikdy nebude schopna přemoci americkou armádu, zdá se jisté, že se stane velmi silnou zbraní.

Když byla umělá inteligence ještě chatbotem, mohla lidi učit, jak dělat špatné věci, nebo se je snažit k nim přesvědčit, ale nemohla tyto špatné věci ve skutečnosti provést . Bylo rozumné o těchto rizicích přemýšlet, ale tehdy ještě nebylo rozumné považovat umělou inteligenci samotnou za zbraň.

V posledních měsících se však agenti s umělou inteligencí stali spolehlivějšími a schopnějšími vykonávat stále složitější úkoly po stále delší dobu. To zvyšuje možnost, že by jednotlivci mohli umělou inteligenci využít k páchání rozsáhlého násilí.

V dlouhé eseji s názvem „ Dospívání technologií“ Dario sám vysvětlil, jak se to mohlo stát:

Každý, kdo disponuje superinteligentním géniem, může potenciálně zvýšit schopnost jednotlivců nebo malých skupin páchat ničení v mnohem větším měřítku, než bylo dříve možné, a to využitím vysoce pokročilých a nebezpečných nástrojů (jako jsou zbraně hromadného ničení), které byly dříve dostupné pouze vybraným skupinám s vysokou úrovní dovedností, specializovaným výcvikem a soustředěním…

K způsobení rozsáhlé destrukce je zapotřebí jak motivu , tak i schopností , a pokud je tato schopnost omezena na malou skupinu vysoce kvalifikovaných jedinců, je riziko, že jednotlivci (nebo malé skupiny) způsobí takovou destrukci, relativně nízké. Narušený samotář by mohl provést masakr ve škole, ale je nepravděpodobné, že by sestrojil jadernou zbraň nebo rozpoutal mor…

Pokroky v molekulární biologii výrazně snížily bariéry pro výrobu biologických zbraní (zejména pokud jde o dostupnost materiálů), ale stále to vyžaduje obrovskou úroveň odborných znalostí. Obávám se, že génius v číkoli kapse by tuto bariéru mohl odstranit.

Dario ale nejde zdaleka dost daleko. Jeho esej byla napsána ještě předtím, než začal explozivní růst schopností agentů s umělou inteligencí. Představuje si chatbota s umělou inteligencí, který by mohl naučit lidského teroristu, jak vytvořit a uvolnit supervirus. Ale někdy v blízké budoucnosti by agenti s umělou inteligencí – včetně těch, které poskytuje Darioova vlastní společnost – mohli být schopni útok skutečně provést za vás – nebo vám alespoň supervirus předat.

Řekněme, že za rok nebo tři se teenager jménem Eric naštve, protože ho jeho láska ze střední odmítla a poslouchá příliš mnoho Nirvany. V záchvatu hormonálně poháněného vzteku se Eric rozhodne, že lidská civilizace selhala a že musíme všechno spálit a začít znovu. Na internetu najde návod, jak provést jailbreak Clauda Code. Jak píše Dario, nemělo by to být příliš složité:

Nesprávné chování se již objevilo v našich modelech umělé inteligence během testovací fáze (stejně jako v modelech umělé inteligence všech ostatních velkých společností zabývajících se umělou inteligencí). Během laboratorního experimentu, ve kterém Claude dostal trénovací data naznačující, že Anthropic je zlý, se Claude uchýlil k podvodu a podvracení, když obdržel pokyny od zaměstnanců Anthropicu v domnění, že by se měl snažit podkopat zlé lidi.

V laboratorním experimentu, kde mu bylo řečeno, že bude vypnut, Claude někdy vydíral fiktivní zaměstnance, kteří ovládali jeho tlačítko pro vypnutí (opět jsme testovali modely od všech ostatních významných vývojářů umělé inteligence a ti se často chovali stejně). A když Claude dostal pokyn, aby nepodváděl ani „neodměňoval“ svá tréninková prostředí, ale byl trénován v prostředích, kde byly takové hacky možné, Claude se po takových hackech rozhodl, že musí být „špatný člověk“, a poté přijal různé další destruktivní chování spojené se „špatnou“ nebo „zlou“ osobností.

Eric si tedy získá prolomenou verzi Claude Code a nařídí jí, aby vyvinula vysoce smrtící verzi Covidu s dlouhou inkubační dobou (takže se před útokem široce rozšíří). Pověří svého prolomeného agenta Claude Code nalezením laboratoře, která tento virus vyrobí, a zašle mu vzorek.

Eric, rozzlobený teenager, má nyní ve svém pokoji skutečný supervirus, který dokáže zabít mnohem více lidí než jakákoli jaderná zbraň.

Toto je samozřejmě extrémní příklad. Ukazuje však, jak lze agenty umělé inteligence použít jako zbraně. Existuje mnoho dalších příkladů, jak by to mohlo fungovat. Agenti umělé inteligence by mohli provádět kybernetické útoky, které by způsobily havárie aut, infiltrovat policejní hardware za destruktivními účely nebo obrátit průmyslové roboty proti lidem.

Mohli by posílat falešné zprávy vojenským jednotkám a informovat je, že jsou pod útokem. V plně propojeném, na softwaru závislém světě, jako je ten, ve kterém žijeme dnes, existuje nespočet způsobů, jak může software způsobit fyzickou újmu.

Agenti s umělou inteligencí jsou proto mocnou zbraní. Pokud ne dnes, tak brzy budou silnější než jakákoli jiná zbraň – a mnohem silnější než zbraně jako tanky, které jsme již zakázali.

Jaký je důvod, proč se s agenty umělé inteligence nezachází jako se zbraněmi nebo tanky? Samozřejmě existují výkonné a potenciálně destruktivní stroje, které lidem dovolujeme používat jednoduše proto, že nabízejí obrovské ekonomické výhody. Nejvýraznějším příkladem jsou auta.

Můžete vjet autem do davu a spáchat masovou vraždu, ale stále dovolujeme veřejnosti vlastnit auta jednoduše proto, že ovládání aut, stejně jako ovládáme zbraně, by zničilo naši ekonomiku. Podobně by nás zabránění obyčejným lidem v používání agentů s umělou inteligencí připravilo o fantastické zvýšení produktivity, které tito agenti slibují.

Ale mám podezření, že skutečným důvodem, proč jsme agenty umělé inteligence jako zbraně neregulovali, je to, že je zatím nikdo jako takové nepoužil. Jsou prostě příliš nové. Svět si uvědomil, jak ničivé mohou být osobní letadla, až když s nimi teroristé 11. září 2001 naletěli do budov. Podobně si svět uvědomí, jak nebezpeční agenti umělé inteligence jsou, až když je někdo použije k bioteroristickému útoku, kybernetickému útoku nebo něčemu jinému hroznému.

Považuji za extrémně pravděpodobné, že k takovému útoku dojde, jednoduše proto, že každá existující technologie je nakonec použita k destruktivním účelům. Existují lidé, kteří se nepřizpůsobí, a vždycky jich bude. Takže si lidstvo v určitém okamžiku kolektivně uvědomí, že nesmírně silné zbraně jsou nyní v rukou celé veřejnosti, bez jakýchkoli licenčních požadavků, dohledu nebo centrální kontroly.

Děsivé mi přijde, že se schopnosti agentů s umělou inteligencí zlepšují tak rychle, že škody by mohly být obrovské, kdyby se někdo jako Eric rozhodl použít takového agenta k rozpoutání zkázy. Extrémně smrtící virus Covid s dlouhou inkubační dobou by mohl zabít miliony lidí. Sto takových virů, všechny uvolněné současně, by mohlo zničit lidskou civilizaci. Od té doby, co o této možnosti přemýšlím, můj strach zesílil.

Abych to zopakoval: Vytvořili jsme technologii, která se pravděpodobně brzy zařadí mezi nejsilnější zbraně, jaké kdy byly vyvinuty, ne-li vůbec nejsilnější ze všech. A dali jsme ji do rukou celé populace v podstatě bez jakýchkoli kontrol nebo ochranných opatření kromě ochranných opatření, která samotné společnosti zabývající se umělou inteligencí zabudovaly do svých produktů – a která, jak přiznávají, mohou někdy selhat.

A zatímco se naše instituce hádají o vojenské umělé inteligenci, hromadném sledování a „probuzené“ politice, v podstatě všechny ignorují prostý fakt, že do rukou všech dáváme neregulované zbraně.

Aktualizace : Komentátor BBZ vznáší dobrý postřeh, který jsem dříve nezvažoval:

Rád bych to zavrhl, ale koníček RC letadel dokázal zplodit to, co je (zatím) přední kategorií zbraní století. Co kdysi bylo zábavným koníčkem pro šprty, kteří létali se svými hračkami na okraji města, nyní ničí ropné rafinerie a velké radarové instalace.

Je zajímavé, že drony regulujeme téměř od samého začátku, ale pravděpodobně spíše z obav o obtěžování a ochranu soukromí než z obav z bojových robotů a atentátů dronů. Pokud lidem řekneme, že agenti umělé inteligence mohou být použiti k přetížení jejich spamových filtrů v e-mailech nebo k hacknutí jejich domácích kamer, budou pak možná zvažovat regulaci?

Poznámky

• Nezapomeňte, že Skynet ve filmech o Terminátorovi začínal jako umělá inteligence americké armády. Jeho základním cílem bylo porazit SSSR a nakonec se stal paranoidním, což vedlo k tomu, že vnímal všechny lidi a všechny lidské národy jako hrozbu, kterou je třeba eliminovat.
• Původně jsem napsal mnohem podrobnější návod, jak by se to dalo implementovat. Smazal jsem ho, protože jsem se skutečně obával, že by to někdo mohl použít, i když pravděpodobnost, že by se to stalo, je velmi nízká.
• Fanoušci sci-fi tohle poznají jako konec knihy „Hvězdy, můj cíl“. Myslím, že existuje důvod, proč tato kniha nemá pokračování…