Neuronové sítě 1

Garant předmětu:

Přednášející:

Zuzana Petříčková

Cvičící:

Zuzana Petříčková

Předmět zajišťuje:

katedra softwarového inženýrství

Anotace:

Cílem předmětu „Neuronové sítě 1“ je seznámit studenty se základními modely umělých neuronových sítí, s algoritmy pro jejich učení a dalšími souvisejícími metodami strojového učení a naučit je tyto modely a metody aplikovat při řešení praktických úloh.

Požadavky:

Základní znalosti algebry, analýzy a programovacích technik.

Osnova přednášek:

1. Úvod do umělých neuronových sítí. Historie, biologická motivace, učení a strojové učení. Strojové učení. Typy úloh. Průběh řešení úlohy strojového učení.

2. Perceptron. Matematický model neuronu a jeho geometrická interpretace. Nejstarší modely neuronových sítí: perceptrony se skokovou přenosovou funkcí. Reprezentace logických funkcí pomocí perceptronů a perceptronových sítí. Příklady.

3. Perceptron. Algoritmy učení (Hebb, Rosenblatt,...). Lineární separabilita. Lineární klasifikace. Přehled základních přenosových funkcí pro neuron.

4. Lineární neuron a úloha lineární regrese. Algoritmy učení (metoda nejmenších čtverců, pseudoinverze, gradientní metoda, regularizace). Lineární neuronová síť, lineární regrese, logistická regrese.

5. Jednovrstvá neuronová sít. Popis modelu, přenosové a chybové funkce, gradientní metoda učení a její varianty. Asociativní paměti, rekurentní asociativní paměti. Typy úloh, trénovací data.

6. Dopředná neuronová sít. Algoritmus zpětného šíření, odvození, varianty, praktické aplikace.

7. Analýza modelu vrstevnaté neuronové sítě (rychlost učení a schopnost aproximace, schopnost zobecňovat). Techniky, které urychlují učení a technik, které zvyšují schopnost modelu zobecňovat. Mělké vs. hluboké vrstevnaté neuronové sítě.

8. Shlukování a samoorganizující se umělé neuronové sítě. Algoritmus k středů, hierarchické shlukování.

9. Kompetitivní modely, Kohonenovy mapy, algoritmy učení. Hybridní modely .(LVQ, Counter-propagation, RBF-model, modulární neuronové sítě).

10-11. Konvoluční neuronové sítě. Operace konvoluce. Architektura. Typické úlohy. Přenesené učení.

12. Vanilla rekurentní neuronové sítě. Zpracování sekvenčních dat.

13. Pravděpodobnostní modely (Hopfieldova síť, simulované žíhání, Boltzmanův stroj)

Osnova cvičení:

Osnova cvičení odpovídá struktuře přednášek.

Cíle studia:

Studenti se seznámí s různými základními modely umělých neuronových sítí, s algoritmy pro jejich učení a dalšími souvisejícími metodami strojového učení (perceptrony, lineární modely, metody podpůrných vektorů, dopředné neuronové sítě, shlukování, samoorganizující se umělé neuronové sítě, asociativní sítě, základy hlubokého učení).

Studenti se naučí, jak implementovat a použít probírané modely a metody pro řešení praktických úloh.

Studijní materiály:

Doporučená literatura

[1] R. Rojas: Neural Networks: A Systematic Introduction, Springer-Verlag, Berlin, 1996

[2] S. Haykin: Neural Networks, Macmillan, New York, 1994.

[3] L.V. Fausett: Fundamentals of Neural Networks: Architectures, Algorithms and Applications, Prentice Hall, New Jersey, 1994.

[4] I. Goodfellow, Y. Bengio, A. Courville: Deep Learning, MIT Press, 2016.

[5] E. Volná, Neuronové sítě 1, Ostrava, 2008 

Poznámka:

Rozvrh na zimní semestr 2024/2025:

Rozvrh není připraven

Rozvrh na letní semestr 2024/2025:

Rozvrh není připraven

Předmět je součástí následujících studijních plánů:

• Aplikace informatiky v přírodních vědách (volitelný předmět)
• Aplikované matematicko-stochastické metody (volitelný předmět)
• Jaderná a částicová fyzika (volitelný předmět)
• Matematické inženýrství - Matematická informatika (volitelný předmět)
• Jaderná a částicová fyzika (volitelný předmět)