Principy neuronových sítí

2.1 Principy neuronových sítí

Rozcvička: Co je zkreslení (bias) v datech? · Rozdíl trénink/inference.

Otázky:

1. Interaktivní widget — postav neuron: Dva vstupy (délka textu, počet odkazů), posuvníky na váhy, prahová hodnota. Cíl: nastav váhy tak, aby neuron označil spam u 5 z 5 příkladů.

Feedback: Právě jsi ručně udělal to, co při tréninku dělá algoritmus — jen on to udělá 10 milionůkrát a rychleji.

1. Řazení kroků učení: vstup projde sítí → spočítá se chyba (loss) → chyba se rozpočítá dozadu (backpropagation) → upraví se váhy → znovu s dalšími daty.

Feedback: Vtip pro zapamatování: síť se učí jako člověk, který kupuje dárek podle výrazu obdarovaného. Vidí chybu → příště trochu jinak.

1. 🪤 ABCD: Váha v neuronové síti je…

a) velikost modelu v GB b) číslo, které říká, jak silně daný vstup ovlivňuje výsledek ✔ c) míra důležitosti otázky d) rychlost učení

Feedback: Naučené číslo, ne nastavení. "Model má 8 miliard parametrů" = má 8 miliard takových čísel.

1. Slider: Kolik označených fotek přibližně potřebuješ, aby síť od nuly spolehlivě rozeznala kočku od psa? Odhalení: řádově desetitisíce až miliony (nebo desítky, když použiješ předtrénovaný model → to je pointa: transfer learning).

1. Ano/Ne: Víc vrstev = vždy lepší model? → Ne (overfitting, cena, data). Model si pamatuje trénovací data slovo od slova? → Většinou ne, ale někdy ano — a to je problém (memorizace).

Mikro-úkol: Nakresli na papír 3 vstupy → 1 neuron → rozhodnutí "půjdu dnes běhat". Napiš váhy podle sebe.

---