Generování textur pro trojrozměrné modely pomocí sítě GAN
| Thesis title in Czech: | Generování textur pro trojrozměrné modely pomocí sítě GAN |
|---|---|
| Thesis title in English: | Generating textures for 3D models with a generative adversarial network |
| Academic year of topic announcement: | 2022/2023 |
| Thesis type: | Bachelor's thesis |
| Thesis language: | čeština |
| Department: | Department of Software and Computer Science Education (32-KSVI) |
| Supervisor: | Mgr. Martin Mirbauer |
| Author: | Tobiáš Vavroch - assigned and confirmed by the Study Dept. |
| Date of registration: | 02.05.2023 |
| Date of assignment: | 03.05.2023 |
| Confirmed by Study dept. on: | 12.05.2023 |
| Guidelines |
| Tradiční (forward) rendering vytváří obrázek podle scény skládající se z objektů umístěných v prostoru, jejich materiálů atd. Differentiable/inverse rendering umožňuje najít podle daného obrázku původní parametry scény, jako je poloha kamery, tvar objektů nebo jejich textury.
Cílem práce je integrovat differentiable rasterizer (např. PyTorch3D) do neuronové sítě typu generative adversarial network (GAN) tak, aby generátor vytvořil texturu, která je následně aplikována na 3D objekt. Vykreslené pohledy budou posuzovány diskriminátorem; generátor by se měl naučit napodobovat reálné textury. Natrénovaná síť by měla být schopna vytvořit věrohodnou texturu pro 3D modely, pro které neznáme texturu ani její mapování na povrch 3D objektu – k nalezení mapování bude použit některý z existujících nástrojů provádějící UV unwrapping. Součástí práce by mělo být vyhodnocení přístupu tréninkem na rozsáhlém datasetu texturovaných 3D modelů nábytku. |
| References |
| Goodfellow, Ian, et al. "Generative adversarial nets." Advances in Neural Information Processing Systems 27 (NIPS 2014)
Arjovsky, Martin, Soumith Chintala, and Léon Bottou. "Wasserstein generative adversarial networks." International conference on machine learning. PMLR, 2017. Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015. Ravi, Nikhila, et al. "Accelerating 3D Deep Learning with PyTorch3D." arXiv preprint arXiv:2007.08501 (2020). Li, Minchen, et al. "Optcuts: Joint optimization of surface cuts and parameterization." ACM Transactions on Graphics (TOG) 37.6 (2018): 1-13. |