Syntéza obrazu s využitím neuronových sítí

Garant předmětu:

Přednášející:

Cvičící:

Předmět zajišťuje:

katedra počítačové grafiky a interakce

Anotace:

Předmět srozumitelným způsobem představuje moderní techniky syntézy obrazu a reprezentace virtuálních scén pomocí neuronových sítí. Výklad je zaměřen zejména na metody vykreslování 3D modelů do 2D obrazů. Posluchači se nejprve seznámí s transformačními a generativními metodami tvorby obrazu ve 2D, hloubkovou reprezentací materiálů ve 2.5D, a plnohodnotnou 3D reprezentací virtuálních scén založenou na neuronových polích (neural radiance fields). Následně jsou probrány metody urychlení vykreslování scén pomocí neuronových sítí, jako jsou například radiance caching, vzorkování podle důležitosti, nebo odšumění obrazu. Výklad vždy motivuje probíraný problém, nastíní jeho řešení pomocí klasických metod počítačové grafiky, a následně detailně rozebere řešení založené na využití neuronových sítích. Cílem předmětu je získat povědomí o tom, kdy má smysl použít klasické a kdy neurální přístupy. Kromě teoretických poznatků budou studenti seznámení i s postupy využití neuronových sítí v praxi, např. ve filmovém průmyslu. Předmět je vhodný nejen pro studenty počítačové grafiky, ale také jako doplněk k výuce strojového vnímání.

Požadavky:

K úspěšnému absolvování předmětu je předpokladem základní znalost neuronových sítí. Dále je vhodné, pokud je student již obeznámen s metodami reprezentace obrazů a jejich syntézy formou trasování paprsků a cest (ray tracing / path tracing). Na cvičeních je vhodné mít znalost metody Monte Carlo, krokování paprsku (ray marching) a reprezentace materiálů pomocí bidirekcionálních funkcí (BRDF).

Osnova přednášek:

1. Úvod

2. Aplikace hlubokých konvolučních sítí (CNN)

3. Aplikace generativní adverziální sítě (GAN)

4. Aplikace difuzních modelů

5. Redukce šumu pomocí neuronových sítí

6. Materiály reprezentované neuronovou sítí 1

7. Materiály reprezentované neuronovou sítí 2

8. Neuronová pole (NeRF) pro reprezentaci scény 1

9. Neuronová pole (NeRF) pro reprezentaci scény 2

10. Přenos světla ve scéně s využitím neuronové sítě 1

11. Přenos světla ve scéně s využitím neuronové sítě 2

12. Generativní syntéza scény

13. Strojové učení versus tradiční počítačová grafika

14. Rezerva

Osnova cvičení:

1. Úvod do cvičení

2. Stylizace videa dle výtvarné předlohy (U-net)

3. (odevzdání úlohy)

4. Syntéza a editace lidského obličeje (StyleGAN)

5. (odevzdání úlohy)

6. Difuzní obrazové analogie (SD + CLIP)

7. (odevzdání úlohy)

8. Materiály reprezentované neuronovou sítí

9. (práce na úloze)

10. (odevzdání úlohy)

11. Pole záře reprezentované neuronovou sítí

12. (práce na úloze)

13. (odevzdání úlohy)

14. Rezerva

Cíle studia:

Studijní materiály:

1. Understanding Deep Learning, Simon J.D. Prince, The MIT Press (https://udlbook.github.io/udlbook/)

2. Generative Deep Learning (2nd Edition), David Foster, O'Reilly Media, Inc.

3. Physically Based Rendering: From Theory to Implementation, Pharr et al. (https://www.pbrt.org/)

4. Neural Fields for Visual Computing, ACM SIGGRAPH 2023 Course, Takikawa et al. (https://neuralfields.cs.brown.edu/)

Poznámka:

Další informace:

Pro tento předmět se rozvrh nepřipravuje

Předmět je součástí následujících studijních plánů:

• Otevřená informatika - Počítačová grafika 2018 (povinný předmět oboru)