Transfer learning v black-box optimalizaci

• Thesis title in Czech: Transfer learning v black-box optimalizaci
• Thesis title in English: Transfer learning in black-box optimization
• Academic year of topic announcement: 2023/2024
• Thesis type: dissertation
• Department: Department of Theoretical Computer Science and Mathematical Logic (32-KTIML)
• Supervisor: prof. RNDr. Ing. Martin Holeňa, CSc.

Guidelines

Transfer learning (tedy učení přenosem, ale český překlad se v podstatě nepoužívá) je metoda algoritmické extrakce znalostí z řešeného problému a jejich zabudování do řešení jiného problému. Hlouběji studovat se začala zhruba před 20 lety, v souvislosti s rozvojem moderních typů neuronových sítí, často označovaných jako hluboké sítě. Umožňuje s využitím sítě natrénované na velkém množství dat natrénovat jinou síť podobné kvality na mnohem menším množství dat.

V posledních letech se objevují pokusy používat transfer learning i v black-box optimalizaci. To je optimalizace, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Pokud jde o transfer learning, ukazuje se, že podobně jako v případě neuronových sítí umožňuje natrénovat síť stejné kvality s menším množstvím trénovačích dat, umožňuje při black-box optimalizaci najít optimum na základě menšího počtu hodnot black-box funkce. To je velmi slibné z důvodu, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné.

Výzkum metod pro transfer learning v black-box optimalizaci je však teprve v začátcích. Příspěvkem k němu by měla být i navržená dizertační práce.

References

Z. Cao, M. Long, J. Wang, M.I. Jordan. Partial Transfer Learning with Selective Adversarial Networks. In IEEE Conference on Computer Vision and Pattern Recognition, 2724-2732, 2018.

Y. Chen, X. Song, C. Lee, Z. Wang, Q. Zhang, et al. Towards learning universal
hyperparameter optimizers with transformers. In NIPS, 2022.

M. Gillhofer, H. Ramsauer, J. Brandstetter, B. Schäfl, and S. Hochreiter. A GAN based solver
of black-box inverse problems. In NIPS, pages 1–5, 2019.

S. Kim, P.Y. Lu, C. Lob, J. Smith, J. Snoek, et al. Deep learning for bayesian optimization
of scientific problems with high-dimensional structure. Transactions on Machine Learning
Research, 1:openreview tPMQ6Je2rB, 2022.

M. Lu, S. Ning, S. Liu, F. Sun, B. Zhang, et al. OPT-GAN: A broad-spectrum global optimizer
for black-box problems by learning distribution. Arxiv 2102.03888v5, 2022.

S. Müller, M. Feurer, N. Hollman, F. Hutter. PFNs4BO: In-Context Learning for Bayesian Optimization. ArXiv 2305.17535v5.

A. Tripp, E. Daxberger, and J.M. Hernandez-Lobato. Sample-efficient optimization in the
latent space of deep generative models viaweighted retraining. In NIPS, pages 1–14, 2020.

B. Wang, M. Qiu, X. Wang, Y. Li, Y. Gong, et al. A Minimax Game for Instance based Selective Transfer Learning. In KDD, 34-43, 2019

F. Zhuang, X. Cheng, P. Luao, S.J. Pan, Q. He. Supervised representation learning: Transfer learning with deep autoencoders. In IJCAI, 4119-4125, 2015.

Preliminary scope of work in English

Transfer learning is a method of algorithmic extraction of knowledge from a solved problem and its incorporation into the solution of another problem. It began to be studied more deeply about 20 years ago, in connection with the development of modern types of neural networks, often referred to as deep networks. It allows using a network trained on a large amount of data to train another network of similar quality on a much smaller amount of data.

In recent years, there have been also attempts to use transfer learning in black-box optimization. This is an optimization in which the mathematical expression of the optimized function is not used (typically because no such expression is known), but only its values at specific points are available to the optimization algorithm. These values are usually obtained empirically by measurement or by means of experiments, whether they take place physically or in the form of simulations. Black-box optimization uses algorithms that make almost no assumptions about the mathematical properties of the optimized function, most often evolutionary algorithms and other nature-inspired algorithms such as particle swarm optimization. As for transfer learning, it turns out that, similar to the case of neural networks, it allows to train a network of the same quality with a smaller amount of training data, it makes it possible to find the optimum based on a smaller number of values of the black-box function during black-box optimization. This is very promising because empirically obtaining the value of the optimized function is usually quite expensive and time-consuming.

However, research on methods for transfer learning in black-box optimization is still in a very early stage. A contribution to it should also be the proposed thesis.