velikost textu

Reproducible Partial-Load Experiments in Workload Colocation Analysis

Upozornění: Informace získané z popisných dat či souborů uložených v Repozitáři závěrečných prací nemohou být použity k výdělečným účelům nebo vydávány za studijní, vědeckou nebo jinou tvůrčí činnost jiné osoby než autora.
Název:
Reproducible Partial-Load Experiments in Workload Colocation Analysis
Název v češtině:
Reprodukovatelné experimenty s částečným zatížením v analýze agregace zátěže
Typ:
Disertační práce
Autor:
RNDr. Andrej Podzimek
Školitel:
Ing. Lubomír Bulej, Ph.D.
Oponenti:
prof. Tomás Fernández Pena
Prof.-Dr.-Ing. André van Hoorn
Id práce:
85642
Fakulta:
Matematicko-fyzikální fakulta (MFF)
Pracoviště:
Katedra distribuovaných a spolehlivých systémů (32-KDSS)
Program studia:
Informatika (P1801)
Obor studia:
Softwarové systémy (4I2)
Přidělovaný titul:
Ph.D.
Datum obhajoby:
20. 9. 2016
Výsledek obhajoby:
Prospěl/a
Jazyk práce:
Angličtina
Klíčová slova:
částečné zatížení, zpětnovazební řízení, reprodukovatelné zatížení, agregace výpočtů, ovlivnění výkonu
Klíčová slova v angličtině:
partial load, feedback control, reproducible load, workload colocation, performance interference
Abstrakt:
Hardwarový paralelismus je běžný u všech současných počítačových systémů. Nutnou podmínkou efektivního využití hardwarových prostředků jsou paralelní výpočty a sdílení hardware mezi několika výpočty. Hledání rovnováhy mezi mezi dvěma protichůdnými cíli — vysokým využitím serverů a před- vídatelným výkonem — vyžaduje informovanou volbu prostředků určených k izolaci v oblasti výkonu. Navzdory širokému výběru izolačních mechanismů v operačních systémech, například připínání („pin- ning) výpočtů k disjunktním množinám procesorů, je stále známo velmi málo o vlivu těchto mechanismů na celkový výkon systému a na jeho spotřebu energie, především v podmínkách částečné zátěže, které jsou v praxi běžné. Místo proaktivního testování se výkon i vzájemné ovlivňování výkonu při částečné zátěži analyzuje pouze zpětně, na základě historických dat. Tato disertační práce přispívá systematickým přístupem k experimentální analýze výkonu aplikací v podmínkách částečného zatížení procesorů a agregace výpočtů. V úvodu popisujeme sadu nástrojů zvanou Showstopper, schopnou dosáhnout a udržet rozmanité typy částečné zátěže. S využitím libo- volných předem daných programů náročných na procesor přehrává Showstopper záznamy o zatížení procesorů, s využitím mechanismů zpětnovazebního řízení k udržení požadované zátěže. Na rozdíl od analýzy záznamů o výkonnosti umožňuje Showstopper systémovým administrátorům opakovaně navodit daný typ zatížení procesorů a opakovaně přehrávat záznamy o zatížení za účelem doplnění dalších měření a pozorování podle potřeby. Modulární návrh Showstopperu usnadňuje rychlé testování rozličných typů částečného zatížení procesorů a zároveň přináší přenositelnost napříč několika operačními systémy a hard- warovými platformami. Využíváme Showstopper k určení závislosti propustnosti aplikací na částečném zatížení proce- sorů, což je vhled, který lze těžko získat pomocí benchmarků a zátěžových testů. Dále navrhujeme a předvádíme metodiku pro analýzu vlivu sdílení procesorů na vícečipových a vícejádrových SMP systémech a prověřujeme známá doporučení týkající se připínání („pinning) procesorů. V neposlední řadě srovnáváme dvě různá virtuální prostředí dostupná na Linuxu z hlediska izolace hardwarových prostředků, účinnosti a spotřeby energie celého systému. Naše výsledky ukazují, že v rozporu s rozšířeným přesvědčením neexistuje všeobecně optimální konfigurace připínání procesorů. Dynamické změny připínání procesorů mohou potenciálně zlepšit jak celkový výkon systému, tak i jeho ener- getickou účinnost, zejména při souběhu výpočtů soustavně využívajících celé přidělené procesorové kapacity s výpočty, jejichž výpočetní náročnost se s časem mění. K zjištění optimální konfigurace připínání pro danou kombinaci výpočtů a hardwarovou platformu navrhujeme automatickou metodiku benchmarkování založenou na Showstopperu.
Abstract v angličtině:
Hardware concurrency is common in all contemporary computer systems. Efficient use of hardware resources requires parallel processing and sharing of hardware by multiple workloads. Striking a balance between the conflicting goals of keeping servers highly utilized and maintaining a predictable performance level requires an informed choice of performance isolation techniques. Despite a broad choice of resource isolation mechanisms in operating systems, such as pinning of workloads to disjoint sets of processors, little is known about their effects on overall system performance and power consumption, especially under partial load conditions common in practice. Performance and performance interference under partial processor load is analyzed only after the fact, based on historical data, rather than proactively tested. This dissertation contributes a systematic approach to experimental analysis of application performance under partial processor load and in workload colocation scenarios. We first present a software tool set called Showstopper, capable of achieving and sustaining a variety of partial processor load conditions. Based on arbitrary pre-existing computationally intensive workloads, Showstopper replays processor load traces using feedback control mechanisms to maintain the desired load. As opposed to performance log analysis, Showstopper enables system administrators to reproduce a particular load scenario or replay a load trace an arbitrary number of times, taking additional measurements and observations as necessary. Showstopper’s modular design makes it easy to rapidly test diverse types of partial processor load while also facilitating portability across multiple operating systems and hardware platforms. We leverage the Showstopper tool to determine the dependency of application throughput on partial processor load, an insight hard to obtain using benchmarks and stress tests. Furthermore, we design and demonstrate a methodology to analyze the effects of processor sharing on multi-chip and multi-core SMP systems, putting popular processor pinning recommendations under test. Last but not least, we compare two different virtualized environments available on Linux in terms of resource isolation, performance efficiency and overall system power consumption. Our results reveal that contrary to popular belief, there is no uni- versally optimal processor pinning configuration. Dynamic adjustments to processor pinning can potentially improve both overall system performance and power efficiency, especially when colocating workloads that constantly exploit their assigned processor time with workloads of varying resource demands. To identify optimal pinning configurations for a particular workload combination and hardware platform, we propose an automated benchmarking methodology based around Showstopper.
Dokumenty
Stáhnout Dokument Autor Typ Velikost
Stáhnout Text práce RNDr. Andrej Podzimek 12.79 MB
Stáhnout Abstrakt v českém jazyce RNDr. Andrej Podzimek 14 kB
Stáhnout Abstrakt anglicky RNDr. Andrej Podzimek 14 kB
Stáhnout Posudek vedoucího Ing. Lubomír Bulej, Ph.D. 596 kB
Stáhnout Posudek oponenta prof. Tomás Fernández Pena 491 kB
Stáhnout Posudek oponenta Prof.-Dr.-Ing. André van Hoorn 1.32 MB
Stáhnout Záznam o průběhu obhajoby 165 kB