Multimodální interakce

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra počítačové grafiky a interakce

Anotace:

Předmět seznamuje studenty smoderními způsoby, jak lidé mohou ovládat a komunikovat s technologiemi. Zaměřuje se zejména na nové typy interakcí, které překračují rámec běžného ovládání pomocí klávesnice a myši nebo dotykové obrazovky.

Požadavky:

Předmět bude zakončen zkouškou (písemný multiple-choice test doplnený o ústní zkoušku). V průběhu semestru budou studenti plnit několik bodově hodnocených individuálních domácích úkolů a budou realizovat hodnocený semestrální projekt v malých týmech.

Osnova přednášek:

1. Interaktivní systémy a multimodální interakce: Úvod do multimodální interakce, rozdíly oproti konvenčním interakčním modelům.

2. Lidské smysly a multimodální interakce: Lidské smysly, zpracování informací, komunikace ve směru k systému v kontextu multimodální interakce.

3. Architektonické modely multimodálních systémů: Modely interaktivních systémů umožňujících multimodální interakci. Vztah modalit (CASE, CARE), interakční smyčka v multimodálních systémech

4. Rychlé prototypování pro multimodální interakci: Vybrané metody rychlého prototypování pro využitelné při návrhu a testování multimodálních UI (3D tisk, Arduino, Senzory, Aktuátory).

5. Metody vyhodnocení multimodálních UI: Vybrané metody pro testování multimodálních UI se zaměřením na metody bez uživatele i s uživatelem.

6. Interakce založená na zvuku a hlasu: Metody využívající zvuk a hlas jak z hlediska systémového vstupu, tak výstupu. Využití těchto metod v kontextu multimodálních UI.

7. Hmatová interakce I: Základní metody interakce založené na využití hmatu. Návrh a testování těchto metod.

8. Hmatová interakce II: Pokročilé metody s využitím hmatu, silová zpětná vazba. Metody založené na hmatu v kontextu multimodálních systémů.

9. Detekce a využití emocí při interakci: Metody pro detekci emocionálního stavu uživatele, využití při multimodální interakci.

10. Pokročilé metody uživatelského vstupu: Eye Tracking, měření fyziologických funkcí (HR, HRV, EEG). Využití při multimodální interakci.

11. Multimodální fúze a štěpení I: Zpracování komplexního multimodálního vstupu z více systémových vstupů. Vytváření výstupu využívajícího kombinaci modalit.

12. Multimodální fúze a štěpení II: Pokročilé metody zpracování komplexního multimodálního vstupu z více systémových vstupů. Vytváření výstupu využívajícího kombinaci modalit. Adaptivita a adaptabilita těchto metod.

13. AI a multimodální interakce: Využití metod umělé inteligence v multimodální interakci.

14. Vyzvaná přednáška/rezerva

Osnova cvičení:

Cvičení budou sestávat ze tří hlavních tematických bloků zaměřených na praktickou realizaci multimodálních uživatelských rozhraní.

I. Metody návrhu multimodálních uživatelských rozhraní. Seznámení s MIR Kitem (předpřipravené interaktivní bloky pro vývoj a testování multimodálních rozhraní s důrazem na haptickou interakci), praktické metody pro rychlé prototypování multimodálních UI (základy 3D tisku, prototypování elektroniky - Arduino apod.). Individuální domácí úkol.

II. Návrh, realizace a testování interakčních metod využívajících netradiční modality (hmat, gesta, eye-tracking, sledování fyziologických funkcí). Individuální domácí úkol.

III. Návrh, realizace a testování multimodálních UI, multimodální fúze a štěpení. Zadání týmového semestrálního projektu.

1. Úvod do cvičení předmětu. Seznámení s interaktivními systémy a multimodální interakce. Rozdíly oproti konvenčním uživatelským rozhraním.

2. Seznámení s MIR Kit (architektura, komponenty, GUI). Příklady interaktivních metod s využitím méně obvyklých modalit.

3. Pokročilé techniky využití MIR Kit (API). Příklady využití kombinace více modalit na vstupu a na výstupu

4. Návrh multimodálních uživatelských rozhraní.

5. Zadání individuálního nebo týmového semestrálního projektu.

6. Hmatová interakce.

7. Hlasový vstup a výstup.

8. Detekce emocí.

9. Multimodální fúze a štěpení.

10. Testování multimodálních uživatelských rozhraní

11. Práce na semestrálním projektu, konzultace.

12. Práce na semestrálním projektu, konzultace.

13. Prezentace semestrálních projektů.

14. Rezerva.

Cíle studia:

Studenti se postupně naučí, jak technologie reagují na různé formy lidského projevu například na hlas, dotek, pohyby těla nebo gesta. Seznámí se také s méně obvyklými způsoby interakce, jako je rozpoznávání emocí nebo měření fyziologických reakcí (např. srdeční tep nebo vodivost kůže). Na základě těchto poznatků si studenti vyzkoušejí navrhování a testování tzv. multimodálních systémů tedy systémů, které propojují více způsobů ovládání a zpětné vazby zároveň.

Studijní materiály:

Předmět vychází z následující základní literatury, nicméně se nepřepokládá, že by ji studenti přímo využívali a potřebali k ní mít přístup. Proto se jedná o doporučenou literaturu.

Grifoni, P. (Ed.). (2009). Multimodal human computer interaction and pervasive services. IGI Global.

Oviatt, S., Schuller, B., Cohen, P., Sonntag, D., & Potamianos, G. (2017). The handbook of multimodal-multisensor interfaces, volume 1: Foundations, user modeling, and common modality combinations. Morgan & Claypool.

Oviatt, S., Schuller, B., Cohen, P. R., Sonntag, D., Potamianos, G., & Krüger, A. (Eds.). (2018). The Handbook of Multimodal-Multisensor Interfaces: Signal Processing, Architectures, and Detection of Emotion and Cognition - Volume 2. Association for Computing Machinery and Morgan & Claypool.

V průběhu předmětu budou mít přístup k materiálům v podobě slidů k přednáškám a cvičením a dalším odkazováním materiálům (vybrané odborné články, dokumentace vývojových platforem apod.).

Předmět bude využívat studijní pomůcky ve formě MIR Kitu - sady předpřipravených bloků, které bude možné využít pro snadnější realizaci multimodálních rozhraní.

Poznámka:

V ZS akademického roku 2026/27 bude předmět MIR v pilotním běhu pro omezený počet studentů. Doporučený zápis předmětu je ve třetím semestru magisterského studia.

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů: