Automatyczne rozpoznanie wybranych chorób siatkówki na podstawie B-skanu OCT

WPROWADZENIE

Rozwiązania technik uczenia maszynowego, będące częścią sztucznej inteligencji (SI) są coraz powszechniej wykorzystywane w systemach ekspertowych. Rozwój głębokich sieci neuronowych pozwala na opracowanie skutecznych systemów klasyfikacji oraz segmentacji obrazów, w tym obrazów medycznych. Oczywiście należy mieć świadomość, że systemy komputerowe nie są jeszcze w stanie zastąpić doświadczonego klinicysty i jego ostatecznych decyzji. Tematyka wykorzystania SI w okulistyce coraz częściej pojawia się na zjazdach i konferencjach okulistycznych.
Wprowadzenie do tematyki stosowania sztucznej inteligencji, w odniesieniu do praktyki okulistycznej, przedstawiono w artykule [1]. Autorzy omówili podstawowe definicje takie jak sztuczna inteligencja (artificial inteligence – AI), uczenie maszynowe (machine learning – ML), uczenie głębokie (deep learning – DL). Wskazano, że w przypadku osób dorosłych techniki głębokiego uczenia są stosowane w wykrywaniu retinopatii cukrzycowej, obrzęku plamki i zwyrodnienia plamki siatkówki związanego z wiekiem (age related macular degeneration – AMD), a także w jaskrze. W artykule przedstawiono także projekty badawcze związane z zastosowaniem SI w okulistycznej diagnostyce pediatrycznej.
Można zauważyć, że większość rozwiązań diagnostycznych w okulistyce, bazujących na SI, korzysta z analizy obrazów uzyskiwanych za pomocą fundus kamery. Analiza możliwości wykorzystania SI dla takich obrazów jest także prowadzona w ramach projektów badawczych, m.in. w kilku ośrodkach naukowych w Polsce [2–4]. Obszarem zainteresowania naukowców jest także klasyfikacja schorzeń na podstawie skanów OCT (optical coherence tomography) [5, 6] oraz segmentacji obszarów siatkówki [7].
Wydaje się, że w najbliższych latach dostępność systemów ekspertowych do wspomagania diagnostyki medycznej, w tym badań przesiewowych, będzie coraz bardziej powszechna. Z uwagi na jeszcze eksperymentalny charakter takich systemów nie są one wyposażane w przyjazny dla użytkownika interfejs. Badacze naukowi korzystają ze specjalizowanych platform, przykładowo Anaconda [8] z interaktywnym notatnikiem Jupyter, i nawet pomimo zapewnień dostępnych w Internecie licznych stron instruktażowych, które informują, że przeprowadzenie klasyfikacji obrazów to proste zadanie, wymagające 10 linii kodu [9], to jednak zadanie to wymaga umiejętności programistycznych, w tym znajomości języka Python.
Celem artykułu jest pokazanie mechanizmów związanych z klasyfikacją przekrojów OCT typu B siatkówki (nazywanych w pracy B-skanami). Bazując na rozwiązaniach typu open-source, przygotowano oprogramowanie z prostym interfejsem użytkownika, który ułatwia samodzielną obserwację skuteczności działania sieci neuronowych. Oprogramowanie ma charakter edukacyjny, pokazujący możliwości zastosowania uczenia maszynowego w diagnostyce klinicznej. Nie jest wyznacznikiem ustalanego rozpoznania chorobowego.

OGÓLNODOSTĘPNE BAZY B-SKANÓW OCT

Urządzenia OCT (szczególnie SOCT) są stosowane w diagnostyce okulistycznej od kilkunastu lat. Liczba ogólnodostępnych baz danych B-skanów lub ich zestawów (w przypadku skanowania trójwymiarowego) nie jest jednak zbyt liczna. Analiza okulistycznych baz danych przedstawiona w [10] pokazuje, że spośród 94 zbiorów obrazów, jedynie 18 zawiera B-skany OCT. Poniżej przedstawiono bazy o potencjalnej przydatności do eksperymentów klasyfikacyjnych.
• Labeled Optical Coherence Tomography (OCT) and Chest X-Ray Images for Classification (Baza LOCT) [11]
Baza (w wersji 2, najczęściej wykorzystywana w badaniach eksperymentalnych) zawiera 84 484 obrazy OCT siatkówki, podzielone na 4 klasy:
• NORMAL – zdrowa, normatywna siatkówka,
• CNV – neowaskularyzacja naczyniówki (choroidal neovascularization),
• DME – cukrzycowy obrzęk plamki (diabetic macular edema),
• DRUSEN – druzy obecne we wczesnym stadium AMD.
z jednoczesną propozycją podziału na zbiór treningowy i zbiór testowy. Akwizycji obrazów OCT dokonano w latach 2013–2017 za pomocą urządzeń Spectralis OCT (Heidelberg Engineering, Germany) w kilku ośrodkach: Shiley Eye Institute of the University of California San Diego, California Retinal Research Foundation, Medical Center Ophthalmology Associates, Shanghai First People’s Hospital oraz Beijing Tongren Eye Center [12]. Obrazy zarchiwizowano w formacie JPEG. Liczebność każdej z klas pokazano w tabeli I, a przykładowe obrazy (B-skany) są widoczne na rycinie 1.
• Duke OCT [13]
Baza danych zawiera 38 400 skanów OCT wykonanych urządzeniem Bioptigen SD-OCT Imaging System dla dwóch grup pacjentów: 269 pacjentów z AMD oraz 115 pacjentów zdrowych. Baza zawiera wykonane półautomatycznie segmentacje warstw. Pewnym utrudnieniem w korzystaniu w bazy danych jest format zapisu (pliki z rozszerzeniem .mat) przeznaczony dla środowiska Matlab.
• 2014 Srinivasan [14]
Zbiór 3231 skanów wolumetrycznych uzyskanych od 45 pacjentów: 15 zdrowych pacjentów, 15 pacjentów z suchą postacią AMD i 15 pacjentów z DME. Do akwizycji wykorzystano urządzenie Spectralis SD-OCT (Heidelberg Engineering Inc.), a B-skany zapisano w formacie TIFF.
• Noor Hospital [15]
Zbiór danych został przygotowany w Noor Eye Hospital w Teheranie i składa się z obrazów OCT dla 50 zdrowych osób, 48 pacjentów z suchym AMD i 50 pacjentów z DME. Łączna liczba skanów uzyskanych za pomocą urządzenia Spectralis SD-OCT (Heidelberg Engineering Inc.) wynosi 4142, a format plików to TIFF.
• OCTID: Optical Coherence Tomography Image Retinal Database [16]
Baza OCTID jest zadecydowanie mniej liczna niż poprzednie bazy i zawiera zestaw 470 B-skanów, na które składają się następujące kategorie: 102 MH, 55 AMD, 107 DR oraz 206 NORMAL. Akwizycji dokonano z wykorzystaniem urządzenia Cirrus HD-OCT (Carl Zeiss Meditec, Inc., Dublin, CA) w szpitalu Sankara Nethralaya (SN) Eye Hospital w Chennai w Indiach. Wymiary skanu wynoszą 512 × 1024 pikseli, przy głębokości skanowania 2 mm, a format zapisu to JPEG.
Zastawienie baz danych przedstawione w [10] pochodzi z 2020 roku i można zauważyć, że stale pojawiają się nowe. Przykładem może być baza Annotated Retinal OCT Images (AROI) database [17]. Z uwagi, że największą popularnością cieszy się baza Labeled Optical Coherence Tomography (OCT) and Chest X-Ray Images for Classification (Baza LOCT), która jednocześnie zawiera najwięcej obrazów, do przygotowania oprogramowania demonstracyjnego wybrano właśnie tę bazę.

PRZYGOTOWANIE MODELI SIECI NEURONOWYCH DO KLASYFIKACJI WYBRANYCH CHORÓB SIATKÓWKI

Kluczowym elementem systemu bazującego na sieciach neuronowych jest przygotowanie modeli klasyfikacyjnych wykorzystywanych następnie w oprogramowaniu. Proces ten, nazywany treningiem, jest wykonywany tylko jeden raz i użytkownik oprogramowania końcowego RePatClas nie musi samodzielnie wykonywać tego procesu. Opis ma charakter informacyjny dla czytelników zainteresowanych mechanizmami przygotowania i działania takich systemów. Ogólny schemat przygotowania i korzystania z oprogramowania pokazano na rycinie 2.
Do opracowania modeli klasyfikacji wykorzystano metodę tzw. transfer learning, polegającą na wykorzystaniu gotowych wytrenowanych modeli do stworzenia nowego modelu dedykowanego do wybranego zagadnienia [18]. Zabieg ten jest bardzo przydatny, gdy posiadamy stosunkowo mały zestaw danych uczących. W prezentowanym przypadku model sieci neuronowej nauczony rozpoznawania 1000 kategorii obiektów (takich jak „kot”, „pies”, „samochód”, „dom” itp.) na podstawie kolorowych obrazów z bazy ImageNet [19], jest dodatkowo trenowany z wykorzystaniem obrazów OCT z bazy LOCT w celu rozpoznawania 4 klas występujących na obrazach tej bazy. Jest to więc zjawisko wykorzystania wcześniejszej wiedzy do rozwiązania nowego, lecz podobnego problemu.
W omawianym rozwiązaniu autorzy przetestowali zastosowanie dwóch różnych struktur głębokiej sieci neuronowej udostępnionych poprzez bibliotekę Keras wraz z paramterami wytrenowanymi wcześniej na bazie ImageNet [20]. Pierwszym klasyfikatorem jest VGG16 [21], a drugim Inception V3 [22]. Ich wybór był podyktowany dobrą sprawnością uzyskaną w ogólnych problemach klasyfikacji obrazów oraz dostępnością w publicznych bibliotekach uczenia maszynowego. Treningu dokonano zgodnie z instruktażem przygotowanym przez Paula Mooneyza w serwisie Kaggle [23].
Podczas treningu podjęto starania w celu uniknięcia przypadku nadreprezentacji jednej z wybranych grup, tzn. przypadku, w którym jedna z klas ma dużo więcej przykładów uczących od innych, co mogłoby prowadzić do uzyskania stronniczego modelu (tj. preferującego tą klasę). W tym celu wyselekcjonowano do treningu 32 000 obrazów ze zbioru treningowego bazy LOCT, po 8000 przykładów dla każdej kategorii chorobowej. W procesie przygotowania bazy obrazów treningowych nie stosowano sztucznych technik powiększania zbioru uczącego (data augmentation). Jedyną informacją (oprócz obrazu) podawaną do sieci neuronowej podczas treningu jest numer klasy, do której dany przykład uczący powinien zostać zaklasyfikowany. Analiza dokonywana jest jedynie na podstawie przekroju OCT, bez danych identyfikacyjnych ani statystycznych pacjenta takich jak wiek, płeć, historia choroby.
Ponieważ obrazy w bazie LOCT są różnych rozmiarów oraz obejmują różnej wielkości obszary siatkówki, zdecydowano się przeskalować wszystkie obrazy do jednego rozmiaru o wielkości 150 × 150 px. Wybranie rozmiaru kilkukrotnie mniejszego niż najmniejsza rozdzielczość obrazów w bazie LOCT (496 × 512 px) pozwoliła na dodatkowe zmniejszenie liczby koniecznych do wytrenowania parametrów sieci neuronowej. Ponadto dzięki temu zabiegowi możliwe jest dokonanie treningu (i późniejszego zastosowania modelu) z wykorzystaniem standardowej jednostki komputerowej. Z badań wstępnych wynika, że zmniejszenie rozdzielczości nie wpływa negatywnie na jakość klasyfikacji.
Modele trenowano, wykorzystując dwa różne optymalizatory (metody dopasowania parametrów modelu do danych uczących): Adam (ang. adaptive moemnt estimation) [24] oraz RMS (ang. Root Mean Squered propagation) [25]. Zostały one wybrane ze względu na adaptacyjny dobór parametrów uczenia sieci oraz szybką zbieżność, co pozwala na szybszy trening modeli. W efekcie uzyskano 4 różne warianty wytrenowanych modeli do klasyfikacji obrazów OCT siatkówki:
• VGG16 z optymalizatorem Adam,
• VGG16 z optymalizatorem RMS,
• Inception V3 z optymalizatorem Adam,
• Inception V3 z optymalizatorem RMS.
Skuteczność klasyfikacja oceniona została za pomocą miar statystycznych dokładności, czułości i precyzji zdefiniowanych w sposób typowy dla badań dotyczących uczenia maszynowego [26]:
Dokładność = TP + TN TP + TN + FP + FN Czułość = TP TP + FN Precyzja = TP TP + FP
gdzie TP – true positive (przykłady poprawnie przypisane do danej klasy), FP – false positive (przypadki przypisane do danej klasy, należące w rzeczywistości do innej klasy), TN – true negative (przypadki słusznie nieprzypisane do danej klasy), FN – false negative (przypadki, które w rzeczywistości należą do danej klasy, lecz nie zostały do niej przypisane).

INTERFEJS UŻYTKOWNIKA

Wytrenowane modele są kluczowym elementem procesu klasyfikacji. Dzięki nim użytkownik może dokonywać analizy własnego obrazu. W tym celu przygotowano specjalny interfejs dla użytkownika, którego wersję prototypową dla jednego modelu wykonano w ramach pracy [27].
Oprogramowanie przygotowane dla systemu Windows 10 lub 11 pozwala na wczytanie pojedynczego obrazu B-skan OCT z dysku komputera, jego wyświetlenie, a następnie dokonanie automatycznej klasyfikacji do jednej z zadanych 4-ch klas: NORMAL, CNV, DME, DRUSEN – klasy bazy LOCT.
Wynik klasyfikacji wyświetlany jest w oknie głównym aplikacji wraz z prawdopodobieństwem dopasowania do każdej z klas. Oprogramowanie zostało przygotowane w języku angielskim w celu łatwego rozpowszechnienia w środowisku międzynarodowym.
Interfejs użytkownika przygotowanego oprogramowania (rycina 3) zawiera:
• przycisk wyboru obrazu do analizy („Read image”),
• obszar do wyświetlania wczytanego obrazu,
• przycisk rozpoczęcia predykcji („Predict”),
• pole wyświetlania wyniku klasyfikacji („Predicted category”).
Wciskając przycisk „Read image”, użytkownik ma możliwość wczytania obrazu do analizy z dysku komputera. Wczytany obraz jest wyświetlany w szarym polu po prawej stronie okna. Po wciśnięciu przycisku „Predict” program przetwarza obraz, wykorzystując dostarczone wraz z oprogramowaniem wytrenowane modele. Po zakończeniu przetwarzania wyświetlony zostaje wynik klasyfikacji w polu z napisem „Predicted category” w dolnej części okna.
Klasa o największym prawdopodobieństwie procentowym wskazana jest jako najlepsze dopasowanie (w wierszu „Best fit”). Pozostałe klasy wraz ich przyporządkowaniem prawdopodobieństw podane są w wierszu poniżej („Other classes”). Aktualnie oprogramowanie oblicza prawdopodobieństwa zgodnie z metodą klasyfikacji wieloklasowej, czyli przyporządkowuje obraz do jednej z zadanych klas. Prawdopodobieństwa wszystkich klas sumują się do 100%.
Oprogramowanie pozwala na odczyt obrazów w formacie JPG, BMP i PNG. Możliwe jest rozszerzenie działania programu o opcję klasyfikacji zestawu wielu obrazów OCT z podanego przez użytkownika katalogu, czyli tak zwane „przetwarzanie wsadowe”.
Jak wspomniano w poprzedniej sekcji, oprogramowanie wykorzystuje klasyfikatory obrazu oparte na wyuczonych modelach matematycznych w postaci głębokich sieci neuronowych. Wynikiem działania klasyfikatora jest wskazanie prawdopodobieństwa przynależności wybranego przekroju OCT do każdej z 4 wymienionych wcześniej klas. W celu zaprezentowania rozbieżności klasyfikacji w zależności od modelu wraz z oprogramowaniem dołączono 4 wymienione w poprzedniej sekcji modele klasyfikacji. Oprogramowanie wykonuje predykcję, wykorzystując każdy z modeli osobno, dzięki czemu użytkownik ma możliwość porównania wyników. W dalszej części artykułu opisane zostały sprawności klasyfikacji dostępnych modeli uzyskane na bazie LOCT.
Rycina 3 przedstawia wynik klasyfikacji dla przykładowego obrazu wyświetlony w dolnej części okna programu. Wskazane jest tu przyporządkowanie testowanego obrazu do klasy DRUSEN z prawdopodobieństwem od 85,7% (z wykorzystaniem modelu VGG16 + RMS) do nawet 100% (z wykorzystaniem modeli Inception V3). Poniżej wykazane jest prawdopodobieństwo przynależności obrazu do pozostałych klas uwzględnianych w teście.
Oprogramowanie zostało opracowane w ramach prac badawczych realizowanych w Zakładzie Układów Elektronicznych i Przetwarzania Sygnałów Politechniki Poznańskiej. Jest ono udostępnione bezpłatnie do niekomercyjnego wykorzystania w celach badawczych i naukowych na stronie internetowej Zakładu [28]. Do oprogramowania dołączono wytrenowane modele sieci neuronowej oraz przykładowe obrazy testowe z bazy LOCT. Oprogramowanie nie może być wykorzystywane do diagnozowania lub leczenia pacjentów.

WYNIKI

Do testu opracowanych modeli wykorzystano zbiór danych testowych zawierający po 250 przykładów przekrojów OCT dla każdej klasy, przy czym należy zauważyć, że w procesie uczenia użyto 8 plików z każdej klasy do walidacji. Daje to w sumie zbiór 968 plików testowych, z których wszystkie przykłady pochodziły od różnych pacjentów.
Na rycinie 4 przedstawiono macierze pomyłek [25], które ilustrują poprawność działania poszczególnych modeli sieci neuronowych. W idealnym przypadku wartości na przekątnej powinny osiągać wartość 242 (równą liczbie przykładów testowych każdej z klas). Jak można zauważyć na przedstawionych macierzach, wartości sieci VGG16 zawierają mniej błędów klasyfikacji niż w przypadku sieci Inception.
Dokonano oceny statystycznej sieci neuronowych w stosunku do wykrywanych klas. Zastosowano test Pearsona χ2, w wyniku którego otrzymano wartość p równą 0,9839 (wynik nie jest istotny statystycznie, przy poziomie istotności 0,05).
Rycina 5 przedstawia wykres słupkowy pokazujący dokładność klasyfikacji dla każdego z przetestowanych modeli.
Analiza wyników pokazuje, że największą dokładność dla przetestowanych obrazów uzyskuje model VGG16 + RMS (96,28%), zbliżoną dokładność można zaś uzyskać, stosując klasyfikator VGG16 + Adam (96,18%). Niższą sprawnością charakteryzuje się model Inception V3 + Adam (89,36%) oraz model Inception V3 + RMS (91,01%).
Wyniki analizy statystycznej uwzględniające precyzję i czułość modeli przedstawiono w tabeli II. Wartości uwypuklone pogrubieniem wskazują, że największą precyzją dla klas NORMAL oraz CNV charakteryzuje się model VGG16 + Adam, a dla klas DME i DRUSEN – model VGG16 + RMS. Czułość modeli VGG16 jest wyższa niż modeli Inception V3 (z wyjątkiem klasy DRUSEN), niezależnie od użytego optymalizatora. Podobnie jak przy wartościach dokładności, precyzja i czułość modelu Inception V3 + Adam są niższe w porównaniu z pozostałymi modelami.
Niedokładność uzyskanego wyniku klasyfikacji jest związana ze stopniem rozbudowania sieci neuronowej oraz doborem funkcji optymalizacji w trakcie treningu. Do czynników obniżających skuteczność podczas testu można zaliczyć: szum na obrazie OCT, model urządzenia OCT, błędy akwizycji obrazu (obejmujące rozmycie obrazu, częściowe zasłonięcie tkanek siatkówki, wąską źrenicę itp.).
Ze względu na zastosowanie obrazów z publicznej bazy OCT [11], zebranych przy użyciu urządzenia Heidelberg Spectralis, opracowane modele są przystosowane do obrazów o rozkładzie jasności charakterystycznym dla tych urządzeń. W efekcie wyniki klasyfikacji uzyskane za pomocą opracowanych modeli mogą się różnić w przypadku testowania B-skanów OCT uzyskanych przy użyciu urządzeń innych producentów. Problemy z tym związane przestawiono m.in. w artykule [29].
Podsumowując, uzyskane wyniki klasyfikacji wykazują stosunkowo wysoką sprawność modeli klasyfikacji bazujących na sieciach neuronowych, wskazując na możliwość zastosowania ich w przyszłości do wspomagania decyzji w diagnostyce klinicznej.

PODSUMOWANIE

Automatyczna detekcja i klasyfikacja zmian chorobowych siatkówki jest jednym z wyzwań w analizie obrazów medycznych. Systemy ekspertowe klasyfikacji chorób siatkówki bazujące na głębokich sieciach neuronowych są aktualnie w fazie rozwoju i badań eksperymentalnych.
Przygotowane oprogramowanie RePatClas, bazujące na ogólnodostępnych rozwiązaniach open-source, ma charakter edukacyjny i pozwala na samodzielną ocenę skuteczności działania czterech modeli sieci neuronowych z wykorzystaniem obrazów pozyskanych z urządzenia Heidelberg Spectralis OCT. Oprogramowanie jest w fazie rozwoju i autorzy zamierzają je rozszerzać o kolejne klasy i budowę innych modeli przy współpracy z specjalistami okulis- tyki.

OŚWIADCZENIE

Autorzy deklarują brak konfliktu interesów.

Piśmiennictwo