Segmentation of Multi-Dimensional Multi-Parametric Microscopic Data of Biological Samples Using Convolutional Neural Networks

• Thesis title in Czech: Segmentace multi-dimenzionálních multi-parametrických mikroskopických dat biologických vzorků pomocí konvolučních neuronových sítí
• Thesis title in English: Segmentation of Multi-Dimensional Multi-Parametric Microscopic Data of Biological Samples Using Convolutional Neural Networks
• Key words: obrazová segmentace, U-Net, FLIM, fázor, myší spermie
• English key words: image segmentation, U-Net, FLIM, phasor, mice sperms
• Academic year of topic announcement: 2020/2021
• Thesis type: diploma thesis
• Thesis language: angličtina
• Department: Department of Cell Biology (31-151)
• Supervisor: Mgr. Aleš Benda, Ph.D.
• Author: hidden - assigned by the advisor, waiting for guarantor's approval
• Date of registration: 14.10.2020
• Date of assignment: 14.10.2020
• Date of electronic submission: 11.08.2021
• Date of proceeded defence: 13.09.2021
• Opponents: Ing. Martin Schätz, Ph.D.

Guidelines

MB151P114E
Biological imaging and image analysis
MB100P03
Mikroskopie dob života fluorescence nejen pro biology - praktické aspekty a cvičení na mikroskopech
NPFL114
Hluboké učení

References

Deep Learning - Ian Goodfellow and Yoshua Bengio and Aaron Courville
The bh TCSPC Handbook 8th ed.

Preliminary scope of work

Segmentace obrazových dat je nezbytnou a náročnou součástí analýzy zobrazovaných objektů, nutná pro výslednou kvantifikaci nejen mikroskopických experimentů. Použití neuronových sítí na (polo-)automatickou segmentaci mikroskopických dat přineslo pokrok ve způsobu analýzy a pomáhá nahradiť manuální segmentaci a následnou kvantifikaci objektů.
Tradičně se pro segmentaci využívá rozdílná intensita signálu objektu oproti pozadí, či jeho specifický tvar. Moderní fluorescenční mikroskopie poskytuje možnost získat kromě celkové intensity i podrobnější charakteristiku signálu, jako je například emisní spektrum či doba života excitovaného stavu fluoroforu. Tato multi-parametrická detekce umožnuje rozlišit objekty, které mají podobnou celkovou intenzitu i tvar, ale liší se právě v emisním spektru či době života excitovaného stavu.
Cílem práce je prozkoumat využití multi-parametrické detekce při segmentaci multi-dimenzionálních mikroskopických dat pomocí neuronových sítí. Dílčí cíle jsou optimalizace formátu vstupních dat pro efektivní využití přidané informace při minimalizaci časové a paměťové náročnosti a optimalizace parametrů používaných neuronových sítí.
Práce bude využívat nasnímaných a částečně již manuálně nasegmentovaných obrazových dat spermií v semenotvorném kanálku. Snímání využívá autofluorescenční signál generovaný pomocí 2P mikroskopu detekovaný ve dvou spektrálních kanálech pomocí metody FLIM. Očekávaný výsledek je zrychlení a zpřesnění automatické segmentace hlav, střední části a ocásků spermií.

Preliminary scope of work in English

Segmentation of image data is an indispensable and difficult part of image object analysis, necessary for a final quantification of not only microscopic experiments. Using neural networks for (half-)automatic segmentation of microscopic data caused a shift in the analysis approach and helps to replace the manual segmentation and subsequent object quantification.
Traditionally different signal intensity of analysed objects and background, and specific objects' shapes are used for the segmentation. Modern fluorescence microscopy provides not only the overall intensity, but also a more detailed characteristic of the signal such as its emission spectrum or fluorophore's excited state lifetime. The multi-parametric detection allows to differentiate objects that show similar overall intensity and shape, but differ in their emission spectrum or excited state lifetimes.
The goal of the work is to explore the potentional usage of multi-parameteric detection for improving image segmentation of multi-dimensional data using neural networks. Partial goals are optimization of the input data format for effective usage of the extra information to minimize the time and memory demands and optimization of the variable parameters of the used neural networks.
The work will use the already acquired and partially manually segmented images of sperms in seminiferous tubules. The images are based on autofluorescence signal excited by 2P excitation and detected in two spectral channels using FLIM approach. The expected result is faster and more precise automatic segmentation of sperm heads, mid-pieces and tails.