Neuronové jazykové modely

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra aplikované matematiky

Anotace:

Neuronové jazykové modely jsou základem moderního počítačového zpracování textu. Studenti se v předmětu seznámí s technickými základy architektury Transformer i praktickými aspekty používání jazykových modelů. Cílem předmětu je naučit studenty využívat jazykové modely při řešení úloh, kvalifikovaně vyhodnotit rizika a kriticky pracovat s odbornou literaturou.

Požadavky:

Předpokládá se znalost základů neuronových sítí (BI-ML2, NI-MVI) a základy programování v Pythonu (BI-PYT).

Osnova přednášek:

1. Úvod do zpracování jazyka neuronovými sítěmi, jazykové modelování.

2. Architektura Transformer.

3. Trénování jazykových modelů.

4. Generování textu, dekódovací algoritmy.

5. Data a evaluace.

6. Pokročilé promptovací metody (chain-of-thought, RAG).

7. Efektivita: kvantizace modelů, low-rank adaptation.

8. Interpretabilita.

9. Diskuze odborných článků.

10. Multimodální modely.

11. Aplikace jazykových modelů, etické a legální aspekty.

12. Prezentace semestrálních projektů.

Osnova cvičení:

1. Knihovny pro práci s jazykovými modely.

2. Zadání semestrálních projektů.

3. Konzultace.

4. Konzultace.

5. Diskuze odborných článků.

6. Prezentace semestrálních projektů.

Cíle studia:

Studijní materiály:

1. Jurafsky, D., Martin, J. H.: Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition with Language Models (3rd Edition), Online manuscript, 2025.

2. Kamath U., Keenan K., Somers G., Sorenson S.: Large Language Models: A Deep Dive, Springer Cham, 2024.

3. Vaswani, A.: Attention is all you need. Advances in Neural Information Processing Systems, 2017.

Poznámka:

Tento předmět je vyučován v českém jazyce.

Další informace:

https://courses.fit.cvut.cz/NI-NLM

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Mgr. specializace Počítačová bezpečnost, 2020 (volitelný předmět)
• Mgr. specializace Návrh a programování vestavných systémů, 2020 (volitelný předmět)
• Mgr. specializace Počítačové systémy a sítě, 2020 (volitelný předmět)
• Mgr. specializace Manažerská informatika, 2020 (volitelný předmět)
• Mgr. specializace Softwarové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2020 (volitelný předmět)
• Mgr. specializace Webové inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Znalostní inženýrství, 2020 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2020 (volitelný předmět)
• Mgr. program, pro fázi studia bez specializace, ver. pro roky 2020 a vyšší (volitelný předmět)
• Study plan for Ukrainian refugees (volitelný předmět)
• Mgr. specializace Systémové programování, verze od 2023 (volitelný předmět)
• Mgr. specializace Teoretická informatika, 2023 (volitelný předmět)
• Kvantová informatika (volitelný předmět)