AI Historie 2/3: Den, kdy AI přepsala vlastní pravidla

V říjnu 2012 dorazili Alex Krizhevsky a Ilya Sutskever na vědeckou konferenci do Florencie. Přivezli s sebou tehdy něco, co šokovalo většinu publika. Jejich program dokázal rozpoznávat objekty na fotografiích s takovou přesností, že srazil dosavadní chybovost nejlepších systémů o neuvěřitelných 11 procent. Proč to byl tak převratný zlom?

Alex Krizhevsky a Ilya Sutskever trénovali svou síť na dvou běžných grafických kartách určených pro hraní videoher, které máš doma nejspíš i ty. Výpočet jim trval celý týden. Výsledek stál za to. Jejich síť AlexNet naprosto rozdrtila všechno, co do té doby existovalo. Krizhevsky, Sutskever a jejich profesor Geoffrey Hinton, dostali ještě před koncem roku nabídku od Googlu. Hinton, který dvacet let pracoval v ústraní, se ze dne na den stal nejžádanějším vědcem v oboru. A Sutskever s ním.

To rozpoutalo dominový efekt zásadních průlomů. Grafické karty se staly novým standardem pro vývoj AI. Hluboké neuronové sítě zcela ovládly počítačové vidění i strojový překlad a v roce 2017 spatřila světlo světa architektura Transformer. Základ, na kterém dnes stojí prakticky všechny velké jazykové modely.

V samotném centru stál znovu Ilya Sutskever. Tentokrát jako klíčový architekt a spolutvůrce technologií, které definitivně změnily svět.

Thanks for reading! Subscribe for free to receive new posts and support my work.

AlexNet nefinancoval Google. Nebyl to Microsoft. Nebyl to rizikový kapitál. Byl to akademický grant z kanadské vlády a Hintonovy osobní úspory. Samotný trénink AlexNetu stál řádově tisíce dolarů. Dvě herní grafické karty po zhruba 500 dolarech plus elektřina, celé v Hintonově laboratoři. Jakou značku grafických karet tehdy asi použili..?

AlexNet: síť, která rozdrtila konkurenci

Soutěž ImageNet, odehrávající se v roce 2012 ve Florencii, byla obrovská výzva. 1,2 milionu fotografií rozřazených do tisíce kategorií. Od labradorů po hasicí přístroje. Cíl soutěže byl jasný: co nejpřesněji algoritmem určit, co je na obrázku. Rekort předchozích let byla do té doby chybovost 26 % – algoritmus se tedy spletl téměř u každé čtvrté fotografie.

Alex Krizhevsky navrhl konvoluční neuronovou síť se 60 miliony parametrů(dnešní flash modely mají okolo 500M). Trénoval ji na dvou herních kartách NVIDIA GTX 580. Sutskever pomáhal s architekturou a optimalizací, Hinton celý výzkum zaštiťoval. Výsledek? Chybovost klesla na 15 % – skok o tehdy nepředstavitelných 11 procentních bodů.

Pro vědeckou komunitu to byl šok. Jako by se na maratonu objevil běžec, který uteče všem o desítky minut. Všichni věděli, že se stalo něco velkého.

Průlom přitom neležel v jediném zázračném nápadu. Šlo o dokonalé setkání tří věcí, které musely dozrát ve stejnou chvíli:

• dostatečně hluboká architektura sítě,
• dostatečně velký dataset (ImageNet se svými 1,2 milionu obrázků),
• dostatečně výkonný hardware v podobě herních grafických karet

Pokud by chyběla kterákoli z nich, AlexNet by pravděpodobně selhal. Bez ImageNetu by síť neměla z čeho učit. Bez grafických karet by trénink trval měsíce místo týdne. A bez hluboké architektury by přesnost nestála za nic.

Po tomto úspěchu 2012 začala zlatá horečka. Všichni velcí hráči najímali Hintonovy studenty. Sutskever nastoupil do Google Brain v roce 2013. Hinton se přidal ve stejném roce. Facebook přetáhl další Hintonovy studenty. Akademický a korporátní svět se propojil…

Ve stejném týmu ten rok vznikl word2vec: algoritmus Tomáše Mikolova z Brna, který naučil stroje převádět slova na vektory. Podobná slova ležely blízko sebe a vztahy mezi nimi se daly počítat. King minus man plus woman dával vektor těsně u queen. Spoluautorem rozšířené verze studie je samotný Sutskever. Tomáš dnes pracuje ve velmi nadějném AI startupu BottleCap AI. Zrovna včera nám nadělili efektivnější ThinkingCap Qwen 3.8 27b. Díky a klobouček :)

Sentiment neuronu

V Google Brain dostal Sutskever na starosti jazyk. V roce 2014 publikoval se svým týmem přelomovou studii o seq2seq. Architekturu, která uměla překládat věty jako celek. Slovo po slovu, kontext i gramatiku. Možná si pamatuješ, jak o dva roky později přešel Google Translate na neuronový překlad a chybovost klesla zhruba o 60 procent. Poprvé se technologie z Hintonova okolí dostala do reálného produktu, který denně používají stovky milionů lidí.

Zbytek světa nezahálel a experimentoval. V Montrealu přišel v roce 2014 Ian Goodfellow s generativními sítěmi (GAN). Architekturou dvou sítí, které proti sobě soutěží. Jedna vytváří falešné obrázky, druhá se je snaží odhalit. Základy pro fotorealistické generování tváří a pozdější deepfakes byly na světě.

A pak v březnu 2016 porazil systém AlphaGo společnosti DeepMind jednoho z nejlepších hráčů Go - Lee Sedola. Hra Go má totiž více možných pozic na šachovnici než atomů v pozorovatelném vesmíru. Vyžaduje hlubokou intuici, takže hrubá síla jako kdysi u Deep Blue tam nefunguje. AlphaGo zkombinoval hluboké neuronové sítě s reinforcement learningem (učením posilováním z vlastních pokusů a omylů). Toto vítězství bylo ještě významnější než úspěch Deep Blue. Ukázalo, že se AI dokáže učit sama ze své zkušenosti. Nikoli jen z dat připravených lidmi.

Sutskever celou tu dobu sledoval výsledky z Montrealu i Londýna a hledal v nich společný vzorec. Jeho vlastní práce na tzv. „sentiment neuronu“ (2017) ukázala, že síť natrénovaná pouze na predikci následujícího slova se sama od sebe naučí chápat význam i emoce v textu. Bez lidských anotací a bez ručně psaných pravidel. Byl to jeden z přímých předchůdců dnešních velkých jazykových modelů.

Attention Is All You Need

V červnu 2017 publikovali Ashish Vaswani a sedm kolegů z výzkumných týmů Googlu studii s názvem „Attention Is All You Need”. Žádné velké revoluční tvrzení, jen sedm stránek. Architektura nazvaná Transformer.

Před ní se jazykové modely spoléhaly na rekurentní sítě, které zpracovávaly text postupně – slovo po slovu. Bylo to pomalé a omezující. Transformer přišel s mechanismem zvaným attention, který dokázal zpracovat celou sekvenci najednou a vyhodnocovat vztahy mezi všemi slovy v textu současně. Trénink byl desetkrát rychlejší, přesnost překladu výrazně vyšší a celá architektura se dala škálovat na (do té doby nemyslitelně) obří modely. Právě tento poslední bod se ukázal jako zcela klíčový.

Transformer se stal základem pro BERT (Google, 2018), GPT (OpenAI, 2018), T5 (Google, 2019) a prakticky pro všechny dnešní velké jazykové modely. Sami autoři přitom zpočátku netušili, co vlastně stvořili. Jakob Uszkoreit, jeden ze spoluautorů, později přiznal: „Mysleli jsme si, že je to dobrý nápad, ne globální revoluce.“

Největší průlom dekády přišel jako vedlejší produkt výzkumu. Autoři sami netušili, co vytvářejí. Nikdo tehdy neřekl: „tady je architektura, která změní celý obor”. Prostě osm lidí napsalo studii o novém způsobu, jak zpracovávat sekvence. O pět let později na ní stála celá oblast umělé inteligence.

Sutskever to četl jinak. Věděl, co Transformer znamená. A věděl to, protože přesně takhle uvažoval už v Google Brain: jazyk se dá naučit predikcí. Jen mu chyběly dvě věci: sekvence bez rekurence a dostatečně velký model. Transformer mu dal to první. O druhou část se postaral sám.

GPT

Sutskever už tou dobou nebyl v Google Brain. Opustil ho v roce 2015, aby spolu s Elonem Muskem, Samem Altmanem a hrstkou dalších založili neziskovou výzkumnou laboratoř zaměřenou na bezpečnou umělou inteligenci. Nazvali ji OpenAI a Sutskever byl jejím spoluzakladatelem a výzkumným ředitelem. V té době málokdo tušil, že z nenápadné neziskovky vyroste jedna z nejmocnějších technologických organizací světa.

OpenAI v roce 2018 zveřejnila GPT-1. Model měl 117 milionů parametrů, postavený právě na Transformeru. Uměl generovat text, ale kvalita nebyla nijak extra. O rok později přišel GPT-2 s 1,5 miliardy parametrů. Tam už byl rozdíl byl propastný. OpenAI se rozhodla model nezveřejnit plně, protože se bála zneužití k dezinformacím. Tento krok jasně ukázal, že AI už není jen akademická disciplína.

V roce 2020 přišel GPT-3 se 175 miliardami parametrů. Tohle byl skutečný zlom. GPT-3 uměl psát eseje, programovat jednoduché skripty, překládat a odpovídat na otázky. Když s ním lidé začali experimentovat přes API, ukázalo se, že má schopnosti, které nikdo nečekal. Občas odpovídal chytřeji než lidé, jindy si informace přesvědčivě halucinoval nebo také psal totální nesmysly.

GPT-3 byl v roce 2020 pro běžné lidi nedostupný. Existoval jen jako API pro vývojáře. Sutskeverův tým mezitím intenzivně ladil architekturu, tréninkové postupy a především způsob, jak model naučit lidskému porozumění a záměrům. V téže době Transformer dobyl i svět obrazu (Vision Transformer, 2020) a OpenAI představila modely DALL-E a CLIP (2021). Microsoft s NVIDIA ukázali model Megatron-Turing NLG (2021), Meta o půl roku později OPT (2022). Všichni závodili. My, uživatelé z venčí, jsme o tom závodu ještě netušili.

Už to nebyla záležitost teoretických matematiků a neurovědců, ale plnohodnotná inženýrská disciplína. Stala se záležitostí specializovaných týmů, které dokázaly spravovat desítky tisíc GPU, orchestrovat tréninkové runy a precizně ladit parametry. Kdokoli dnes říká, že „AI je magie“, nerozumí tomu, jak funguje. AI je v první řadě výsledek monumentálního inženýrství.

A právě hrstka lidí v San Francisku tehdy dokončovala projekt, který se od dosavadního akademického výzkumu lišil. Neměl masivní reklamní kampaň, neměl ani složitý business plán. Jen chat, který se měl lidem líbit.

Spustili ho 30. listopadu 2022. 

Ale to už je příběh třetí části.