Improving Benchmark Result Validation in the Renaissance Benchmark Suite
| Název práce v češtině: | Zlepšení validace výsledků benchmarků v projektu Renaissance Benchmark Suite |
|---|---|
| Název v anglickém jazyce: | Improving Benchmark Result Validation in the Renaissance Benchmark Suite |
| Klíčová slova: | validace výsledků benchmarků|návrh benchmarků |
| Klíčová slova anglicky: | benchmark result validation|benchmark workload design |
| Akademický rok vypsání: | 2023/2024 |
| Typ práce: | bakalářská práce |
| Jazyk práce: | angličtina |
| Ústav: | Katedra distribuovaných a spolehlivých systémů (32-KDSS) |
| Vedoucí / školitel: | doc. Ing. Lubomír Bulej, Ph.D. |
| Řešitel: | Bc. David Lovíšek - zadáno a potvrzeno stud. odd. |
| Datum přihlášení: | 10.06.2024 |
| Datum zadání: | 19.06.2024 |
| Datum potvrzení stud. oddělením: | 19.06.2024 |
| Datum a čas obhajoby: | 05.09.2024 09:00 |
| Datum odevzdání elektronické podoby: | 18.07.2024 |
| Datum odevzdání tištěné podoby: | 18.07.2024 |
| Datum proběhlé obhajoby: | 05.09.2024 |
| Oponenti: | Mgr. Vojtěch Horký, Ph.D. |
| Zásady pro vypracování |
| The Renaissance benchmark suite provides a collection of diverse benchmarks designed to evaluate the performance of modern Java Virtual Machines (JVMs). An important part of each benchmark is a validation phase which checks the correctness of the benchmark result, but not all benchmarks in the suite currently have a validation phase, partly due to the inherent challenges associated with concurrent workloads and numerical stability.
The aim of this thesis is to introduce robust validation phase to selected benchmarks within the Renaissance benchmark suite, ensuring that they produce correct results regardless of platform, updates to library dependencies, or refactoring of benchmark code. The focus will be on identifying benchmarks currently lacking validation support and developing a suitable validation phase for selected benchmarks. As an outcome, the thesis should document the current state of validation within the Renaissance benchmark suite, select a set of benchmarks for which a validation phase will be developed, and evaluate the newly added validation phases to demonstrate their correctness and performance impact. |
| Seznam odborné literatury |
| [1] Blackburn, S. M., et al. The DaCapo Benchmarks: Java Benchmarking Development and Analysis. Proc. ACM SIGPLAN conf. on Object-Oriented Programing, Systems, Languages, and Applications (OOPSLA). ACM, 2006.
[2] The DaCapo Benchmark Suite, https://github.com/dacapobench/dacapobench [3] Prokopec, A., et al. Renaissance: Benchmarking Suite for Parallel Applications on the JVMs. Proc. AGN SIGPLAN conf. on Programming Language Design and Implementation (PLDI). ACM, 2019. [4] The Renaissance Benchmark Suite, https://github.com/renaissance-benchmarks/renaissance |