Nástroj pro segmentaci buněk v obrazu tkáně pořízeném

konfokálním mikroskopem.

Kvantitativní analýza FISH signálů.

Miroslav Melichar

(podle práce Umeshe Adigy)

2

Konfokální mikroskopie• Ostře zaměřený laserový paprsek skenuje

zkoumaný vzorek v určité ohniskové rovině

• Výběr ohniskové roviny a řízení skenování provádí počítač připojený k mikroskopu

• Výsledkem je zásobník 2D obrazů– Hloubka zásobníku je osa Z

3

Schéma konfokálního mikroskopu

4

FISH signály

• Fluorescence in Situ Hybridization

• Biologická metoda umožňující vizualizovat části DNA

• Zkoumané části DNA jsou zobrazeny odlišnou barvou

5

6

7

Cíle práce• Poloautomatická segmentace buněk v 3D

obraze• Automatická segmentace FISH signálů• Kvantitativní analýza FISH signálů

– Počet FISH signálů na jednu buňku• Nutné vyšetřit celý (3D) obsah buňky• Visuální počítání v zásobníku 2D obrazů je obtížné

– Obvykle 2 FISH signály na buňku• Pokud chybí(monosomie) nebo přebývají(trisomie),

jde o chybu v genetické výbavě buňky (např. indikuje rakovinotvorný nádor)

8

Předzpracování obrazu

• Úkolem potlačit šum a zvýraznit důležité rysy

• Prahování (odliší pozadí a objekty zájmu)

• Zostření

• (směrové) Vyhlazení - odstraní šum

9

Prahování

• Vhodné pokud jasová složka dostatečně charakterizuje objekt

• Dynamický práh (mění se dle polohy bodu), a hledá se analýzou histogramu– Obvykle v „údolí“ mezi dvěma vrcholy histogr.– Pokud není údolí, hledá se na „rameni“

• Poté se odstraní malé objekty a zalepí malé díry– Objekt: popředí obklopené pozadím– Díra: pozadí obklopené popředím

10

Hledání prahu na „rameni“

histogramu

11

12

• Zostření obrazu– Přidáním gradientu nebo vysokofrekvenčního

signálu do obrazu

• Směrové vyhlazení (odstraní šum)– Zachovává hrany a odstraňuje rušivé výčnělky

na okraji (na hranách)– Bere maximální hodnotu ze směrového

průměru

13

Směrový (Gaussův) filtr

14

Detekce vnějších hranic buněk

• Filtrem LoG (Laplacian of Gauss)– Laplacian (druhá derivace) po Gaussovi

(vyhlazení)– Najde vnější hranice– Nenajde hranice dotýkajících se nebo

překrývajících se buněk (je zde malý gradient)

15

(a)originál (b)detekované hranice (c)co bychom chtěli

16

Segmentace 3D obrazu s využitím vrstev

• Poloautomatická procedura– Provede se interaktivní (myší) segmentace

jednoho representativního obrazu (vrstvy)

• Informace o segmentaci representativního obrazu je použita pro segmentaci sousedních obrazů– Předpokládá se podobnost sousedících obrazů

17

(a)originál (b)celková hranice (c)interaktivně segmentovaný obraz

18

Segmentace s využitím informace o segmentaci sousední

vrstvy (1)• E1 – množina pixelů z vnějších hran v

aktuálním obraze (získaná LoG)

• E2 – množina pixelů z hran správně segmentovaného sousedního obrazu

• Pokud je v „okolí“ E2 nalezen pixel z E1, je daný pixel z E2 vypuštěn. Množinu zbylých pixelů z E2 nazýváme E3

19

Segmentace s využitím informace o segmentaci sousední

vrstvy (2)• E3 slouží jako základ pro hledání hranice

mezi dotýkajícími se nebo překrývajícími se buňkami.

• V okolí E3 se hledají pixely, které mají vysokou hodnotu lokálního gradientu = hranice mezi buňkami– práh pro gradient je nižší než u LoG

20

21

Prohledávání „okolí“ pixelu

22

Výskyt nových a odstranění nežádoucích buněk

• Výskyt nových buněk při průchodu vrstvami– Pokud je náznak buňky potvrzen výskytem ve

dvou sousedních obrazech, jde o novou buňku

• Odstranění nežádoucích buněk– Buňky na kraji obrazu a v krajních obrazech

zásobníku jsou považovány za ořezané (tj. nežádoucí)

– Odmítnutí buňky možné i interaktivně

23

Označkování (labeling) buněk

1. Vrstvy se prochází postupně, prvnímu neoznačenému voxelu se přiřadí unikátní označení (číslo).

2. Projdou se všechny jeho sousední voxely a dostanou stejnou značku.

3. Poté se pokračuje tam, kde skončil bod 1.

24

Vizualizace označkované buňky

25

Interpolace pro zvýšení axiálního (Z) rozlišení (1)

• Pokud se sousední snímky liší výrazněji, je třeba prohledávat větší region– Výpočetně náročné O(n*m3), n=počet pixelů,

m=velikost regionu

• Zvýšení rozlišení umožní, aby si dva sousední obrazy byli více podobné– Je možno zmenšit velikost prohledávaného

regionu na polovinu => snížení výpočetní složitosti

26

Interpolace pro zvýšení axiálního (Z) rozlišení (2)

• Úloha: máme dva binární obrazy (pozadí a objekty) a chceme vytvořit obraz (vrstvu) mezi nimi.

• Řešení: – Pro vytvoření hranic binárního obrazu se

použije matematická morfologie– Pro vytvoření šedotóní informace v obraze se

použije míchání (tj. průměrování, příp. vážené)

27

Vytvoření hranic ve vloženém obraze

28

29

Segmentace FISH signálů (1)

• Jednodušší než segmentace buněk– Jsou více lokalizované (malé), vysoký jas– Nezajímají nás FISH signály mimo buňky

• Vyhlazení: Gaussův filtr– Odstraní ostrá ojedinělá maxima způsobené

šumem, ale rozmaže i FISH signál

• Vyhledání FISH sinálů: TopHat filtr– Označí bod jako FISH signál, pokud je rozdíl

maximálních hodnot v jádře a okolí filtrů větší než zadaný práh

30

TopHat filtr

31

Segmentace FISH signálů (2)

• Následuje heuristika na velikost a tvar a umístění FISH signálů– Velikost: experimentálně zjištěný počet voxelů

– Tvar: musí zabírat alespoň 2 vrstvy

– Umístění: alespoň z poloviny v buňce

• Pokud je FISH signál příliš veliký, šetří se zda nejde o 2 FISH signály– Musí být přítomny alespoň 2 intenzitní vrcholy s

předdefinovanou minimální vzdáleností

• Posledním krokem je označkování FISH signálů

32

Vyhledávání FISH signálu:

a) Originál

b) po Gaussově vyhlazení

c) Po TopHat filtru

d) Po heuristice na velikost a tvar

33

Kvantitativní analýza FISH signálů

• Pro každou buňku se zjistí počet FISH signálů– Jednoduché, neboť obojí je již označkované

• Výsledky– 6 vzorků tkání, 4-8 buněk na vzorek, 77 FISH sig.– Algoritmus nalezl 73 FISH signálů, tj. 5% chyba– Velmi přijatelný výsledek

• Patologové také nejsou při ručním označovaní jednotní

• Ulehčí únavnou práci patologům