Fast Algorithms for Attention Mechanism
| Název práce v češtině: | Rychlé algoritmy pro mechanismus pozornosti |
|---|---|
| Název v anglickém jazyce: | Fast Algorithms for Attention Mechanism |
| Klíčová slova: | Strojové učení|Velké jazykové modely|Transformátory|Lineární algebra|Polynomy |
| Klíčová slova anglicky: | Machine learning|Large language models|Transformers|Linear algebra|Polynomials |
| Akademický rok vypsání: | 2023/2024 |
| Typ práce: | bakalářská práce |
| Jazyk práce: | angličtina |
| Ústav: | Katedra aplikované matematiky (32-KAM) |
| Vedoucí / školitel: | doc. Mgr. Petr Kolman, Ph.D. |
| Řešitel: | skrytý - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 03.05.2024 |
| Datum zadání: | 03.05.2024 |
| Datum potvrzení stud. oddělením: | 05.05.2024 |
| Datum a čas obhajoby: | 28.06.2024 09:00 |
| Datum odevzdání elektronické podoby: | 09.05.2024 |
| Datum odevzdání tištěné podoby: | 09.05.2024 |
| Datum proběhlé obhajoby: | 28.06.2024 |
| Oponenti: | Ing. Uladzislau Yorsh |
| Konzultanti: | Timothy Chu, Ph.D. |
| Zásady pro vypracování |
| In today's language models, one of the key ingredients of the so-called transformed-based models, is the attention mechanism. This mechanism can be represented by matrix multiplications together with a normalization step where matrix rows are converted into probability distributions. Usual implementations of the attention mechanism make use of the exponential function for the normalization, and altogether require quadratic time, which presents a critical computational bottleneck in the generation stage.
The task of the student will be: * to provide an overview of the general transformer architecture, in particular with respect to the computational demands, * to attempt to make attention computations faster. |
| Seznam odborné literatury |
| [1] Josh Alman, Zhao Song: Fast Attention Requires Bounded Entries. Proceedings of Annual Conference on Neural Information Processing Systems, 2023
[2] Angelos Katharopoulos, Apoorv Vyas, Nikolaos Pappas, François Fleuret: Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention. Proceedings of the 37th International Conference on Machine Learning 2020 [3] Praneeth Kacham, Vahab Mirrokni, Peilin Zhong: PolySketchFormer: Fast Transformers via Sketching Polynomial Kernelsi. arXiv:2310.01655, 2023 |