Kurzy · Kurz v 7 prednáškach
Ako fungujú LLM
Veľké jazykové modely ako ChatGPT vyzerajú ako mágia. V tomto kurze ich rozoberieme na súčiastky. Začneme jedným neurónom a skončíme pri celej sieti GPT-3 so 175 miliardami parametrov, ktorú si budeš môcť preklikať.
Prednášky
Prvá polovica · Ako sa sieť učí
1Čo je neurónová sieť
Neurón, perceptron z roku 1958, limity jednej vrstvy, skryté vrstvy a sieť, ktorá číta číslice.
40 minHotovo 2Matematika učenia: chyba, sklon a gradient
Čo je chyba siete, čo je derivácia a ako sa po sklone zíde k dobrému riešeniu. S mini skúškou.
40 minHotovo 3Backpropagation: ako sa sieť učí
Algoritmus z článku Rumelharta, Hintona a Williamsa (1986) krok po kroku na malej sieti.
40 minHotovoDruhá polovica · Čo je vo vnútri LLM
4Tokeny a embeddingy: ako sa z textu stanú čísla
Tokenizér GPT, priestor významov, pozície, encoder a decoder a cesta späť od čísel k slovu.
40 minHotovo 5Attention a transformer
Query, key, value, hlavy pozornosti a celý blok z článku Attention Is All You Need.
45 minHotovo 6MLP vrstvy: kde si model pamätá fakty
Perceptronové vrstvy medzi attention blokmi, superpozícia a dve tretiny všetkých parametrov.
35 minHotovo 7Celé GPT-3: všetko dokopy
Preskúmaj celú sieť so 175 miliardami parametrov, ako ňou tečie informácia a ako sa trénuje.
45 minHotovoNa čom kurz stojí
Štyri pôvodné vedecké články a séria videí od 3Blue1Brown. V prednáškach z nich vyberám to podstatné a prekladám to do obyčajnej reči.
F. Rosenblatt. Prvý model neurónu, ktorý sa učí zo skúsenosti. Prednáška 1.
D. Rumelhart, G. Hinton, R. Williams. Ako učiť siete so skrytými vrstvami. Prednáška 3.
A. Vaswani a kol. Architektúra transformer. Prednášky 4 až 6.
T. Brown a kol. GPT-3 so 175 miliardami parametrov. Prednáška 7.