Ako fungujú LLM
Od jedného umelého neurónu až po GPT-3 so 175 miliardami parametrov. Perceptron, backpropagation, tokeny, embeddingy, attention a transformer. Postavené na štyroch pôvodných článkoch a na videách 3Blue1Brown.
0 zo 7 hotových
learn.david-monis.com
Prednášky, ktoré si vyskúšaš
Píšem sem prednášky k témam, ktoré ma bavia. Každá ide od úplných základov, je plná grafiky a všetko dôležité si môžeš vyskúšať priamo v prehliadači.
Kurzy
Kurz je séria prednášok, ktoré na seba nadväzujú. Postup sa ukladá len v tvojom prehliadači.
Ďalšie prednášky a kurzy pribudnú postupne, ako ich budem dokončovať.
Prednášky kurzu Ako fungujú LLM
Odporúčam ísť po poradí. Každá prednáška počíta s tým, čo bolo v predchádzajúcich.
Prvá polovica · Ako sa sieť učí
1Čo je neurónová sieť
Neurón, perceptron z roku 1958, limity jednej vrstvy, skryté vrstvy a sieť, ktorá číta číslice.
40 minHotovo 2Matematika učenia: chyba, sklon a gradient
Čo je chyba siete, čo je derivácia a ako sa po sklone zíde k dobrému riešeniu. S mini skúškou.
40 minHotovo 3Backpropagation: ako sa sieť učí
Algoritmus z článku Rumelharta, Hintona a Williamsa (1986) krok po kroku na malej sieti.
40 minHotovoDruhá polovica · Čo je vo vnútri LLM
4Tokeny a embeddingy: ako sa z textu stanú čísla
Tokenizér GPT, priestor významov, pozície, encoder a decoder a cesta späť od čísel k slovu.
40 minHotovo 5Attention a transformer
Query, key, value, hlavy pozornosti a celý blok z článku Attention Is All You Need.
45 minHotovo 6MLP vrstvy: kde si model pamätá fakty
Perceptronové vrstvy medzi attention blokmi, superpozícia a dve tretiny všetkých parametrov.
35 minHotovo 7Celé GPT-3: všetko dokopy
Preskúmaj celú sieť so 175 miliardami parametrov, ako ňou tečie informácia a ako sa trénuje.
45 minHotovo