TEKNOFEST 2021 Sağlıkta Yapay Zekâ Yarışması

İçerik

Amaç ve Konu

İnme, yıllık yaklaşık 5,5 milyon ölüm ile dünya çapında tıkayıcı kalp hastalığından sonra önde gelen ikinci ölüm nedenidir. İnme, etiyolojisine göre tıkayıcı(iskemik)veya kanayıcı(hemorajik)olarak sınıflandırılır. Tıkayıcı inme, beyin damarında pıhtı oluşması veya damar sertleşmesi, beyin damarına pıhtı atması, küçük damar tıkanıklığına bağlı oluşabilir. Kanayıcı inme damarın kendiliğinden yırtılması, anevrizma, travma, damarsal bozukluk, yüksek tansiyon, kanama bozuklukları gibi pek çok neden ile oluşabilir. İnme acil bir durumdur. Erişkinlerde önemli bir maluliyet nedenidir. Toplumsal yükü ağırdır. Yaş önemli bir risk faktörüdür. Erkeklerde daha fazla görülür. Tıkayıcı ve kanayıcı inme sürecinde zaman çok değerlidir. Erken tanı, tedavi süreci hayat kurtarır. Tıkayıcı inmede, hasta denge kaybı, bulanık görme, yüzde asimetri, kollarda güçsüzlük, konuşmada bozukluk gibi semptomlar gösterebilir. Kanayıcı inmede, semptomlar nedene bağlı olarak değişmekle birlikte şiddetli baş ağrısından bilinç kaybına kadar çeşitli semptomlar oluşabilir. Beyine yönelik elde olunan bilgisayarlı tomografi (BT), özellikle kanamanın ekartasyonu için önemli olmakla birlikte damar tıkanmasına dönüşen durumlarda da ilk kullanılan radyolojik görüntüleme metodudur. Ayrıca acil şartlarda inme bulgularını taklit edebilecek diğer beyin içi patolojilerin (tümör gibi) dışlanması için kullanılır. Tıkayıcı inmenin erken saatlerinde, BT’de bulgular çok silik olabilir, hatta normal olarak değerlendirilebilir. Böyle bir durumda manyetik rezonans görüntüleme (MRG) tanı sürecine katkı sağlar. Akut fazda tıkayıcı inmeye bağlı alanlar BT’de yoğunluğu düşük alanlar şeklinde izlenirken, akut kanama alanları yoğunluğu yüksek alanlar şeklinde izlenir. Tıkayıcı inmeye bağlı BT bulguları ile kanamaya ait bulgular birlikte de görülebilir. Bu yarışmada görev, yarışmacı takımlardan, kontrast madde verilmeden elde edilen beyin BT görüntülerinden ilk aşamada normal beyin BT mi yoksa inme Beyin BT’si mi ayrımı yapmalarını, ikinci aşamada inmenin tıkayıcı (iskemik) tip inme mi yoksa kanayıcı (hemorajik) tip inme mi olduğunu tespit etmek olacaktır. Yarışmacı takımlarımdan bu görevleri gerçekleştiren bir algoritma geliştirmesi istenmektedir. Yarışmada Türkiye Sağlık Enstitüleri Başkanlığı (TÜSEB)’na T.C. Sağlık Bakanlığı -Sağlık Bilgi Sistemleri Genel Müdürlüğü tarafından sağlanan veriler kullanılacaktır. Yarışmacılar modellerini, her iki aşama için ayrı ayrı olan, tür etiketli ve inme tipi etiketli/işaretli bu verilerle eğitebilir ve test edebilirler. TÜSEB, her iki oturum için en az 100 adet veri paylaşacak ve hangi 20 tanesinin test için kullanılacağını belirtecektir. Yarışma esnasında değerlendirme için kullanılacak veri setine ait detaylı tanım teknik şartnamede paylaşılacaktır.

Kullanılması Planlanan Güncel Donanımlar ve Özellikleri

Eğitim Donanımları

Donanım Teknik Özellik Seçilme Nedeni
İşlemci Intel Core i9 9900K (16M önbellek, 5 GHz’e kadar, 8 çekirdek, 16 iş parçacığı) Matematiksel işlem gücü gerektiren evreleri hızlandırmaktadır.
Ekran Kartı Asus ROG Strix RTX 2080 GAMING OC (8 GB GDDR6 VRAM, 10.07 TFLOPS) Nvidia CUDA desteği sayesinde modelin eğitim sürelerini kısaltmaktadır. 8 GB hafızaya sahip olması eş zamanlı işlenen veri miktarının artırılmasını sağlamaktadır.
RAM GSkill Trident Z RGB (32 GB DDR4, 3200 MHz CL16) Eş zamanlı işleme sokulan veri miktarının yüksek tutulabilmesini sağlamaktadır.
SSD Samsung 970 Evo Plus 250 GB (Okuma: 3500MB/s, Yazma: 2300 MB/s) Verilere hızlı erişim sağlamaktadır.

Test Donanımları

Donanım Teknik Özellik Seçilme Nedeni
İşlemci Intel Core i9 9900K (16M önbellek, 5 GHz’e kadar, 8 çekirdek, 16 iş parçacığı) Matematiksel işlem gücü gerektiren evreleri hızlandırmaktadır.
Ekran Kartı Asus ROG Strix RTX 2080 GAMING OC (8 GB GDDR6 VRAM, 10.07 TFLOPS) Nvidia CUDA desteği sayesinde modelin eğitim sürelerini kısaltmaktadır. 8 GB hafızaya sahip olması eş zamanlı işlenen veri miktarının artırılmasını sağlamaktadır.
RAM GSkill Trident Z RGB (32 GB DDR4, 3200 MHz CL16) Eş zamanlı işleme sokulan veri miktarının yüksek tutulabilmesini sağlamaktadır.
SSD Samsung 970 Evo Plus 250 GB (Okuma: 3500MB/s, Yazma: 2300 MB/s) Verilere hızlı erişim sağlamaktadır.

Çözüm İçin Kullanılan Yöntem ve Mimari

Bu çalışmanın başlangıcında inme varlığının tespiti, inme sınıflandırması ve bölütlemesi için “PNG” ve “DICOM” formatları ayrı ayrı kullanılarak birçok model geliştirilmiştir. Alınan sonuçlara, yarışmaya uygunluğuna ve yarışma sonucunda ürünleştirilebilirliğine göre modeller arasında seçim yapılmıştır.

İnme Bulgularının Tespiti
Model MimarisiDosya TipiDoğruluk SkoruYöntem
Özel evrişimli sinir ağı 1PNG ve JPG0.77Random Initialization
Özelleştirilmiş ResNet_152PNG ve JPG0.80Transfer Learning
Özel evrişimli sinir ağı 2PNG ve JPG0.79Random Initialization
Özelleştirilmiş ResNet_50PNG ve JPG0.91Transfer Learning
VGG16DICOM0.95Transfer Learning
Özelleştirilmiş InceptionResNetV2DICOM0.98Transfer Learning
Özelleştirilmiş EfficientNetB7DICOM0.96Transfer Learning
Özelleştirilmiş
DenseNet201
PNG ve JPG0.95Transfer Learning
Özelleştirilmiş InceptionV3DICOM0.96Transfer Learning
İnme Tipinin Belirlenmesi ve İlgili Alanın Bölütlenmesi
Model MimarisiDosya TipiIoU SkoruYöntem
ResU-NetPNG ve JPG0.55Transfer Learning
Özelleştirilmiş InceptionResNetV2 U-NetDICOM0.80Transfer Learning

Sonuç olarak beyin BT’sinde inme bulgularının tespiti için “Özelleştirilmiş InceptionResNetV2”, inme tipinin tespiti ve ilgili alanın bölütlemesinin yapılması için “Özelleştirilmiş InceptionResNetV2 U-Net” olacak şekilde iki model geliştirilmiştir.

Seçilen her iki modelde de “DICOM” dosyaları kullanılmıştır. “Tıbbi görüntüler ve ilgili bilgiler için uluslararası standart olması, hemen hemen her radyoloji, kardiyoloji görüntüleme ve radyoterapi cihazında (X-ray, CT, MRI, ultrason vb.) ve giderek artan bir şekilde oftalmoloji ve diş hekimliği gibi diğer tıbbi alanlardaki cihazlarda uygulanması” [1],
yarışma sonrası cihaz entegrasyonunun daha kolay yapılabileceğinin düşünülmesi, piksellerin “BT ışınlarının materyal içinden geçerken ne kadar zayıfladıklarının ölçülmesi ile elde edilen atenüasyon katsayılarının doğrusal dönüşümleriyle elde edilen Hounsfield Birimleri”ni [2] temsil etmesi nedenleriyle “DICOM” dosyaları kullanılması seçilmiştir.

Modellerin geliştirilmesinde “Python” programlama dili ve “Tensorflow” platformu kullanılmıştır. Modellerin temelinde “önemli ölçüde geliştirilmiş tanıma performansına sahip”[3] olduğu ve “Keras uygulamalarında ImageNet doğrulama veri seti üzerindeki ilk 1 ve ilk 5 performansı en iyi”[4] olan model olduğu için “InceptionResNetV2” yapısı kullanılmış, bölütleme model yapısı olarak “çok farklı biyomedikal segmentasyon uygulamalarında çok iyi performans sağlaması”[5] nedeniyle “U-net” mimarisi kullanılmış ve “Transfer Learning” metodu ile “ImageNet” üzerinde önceden eğitilmiş ağırlıklar yüklenmiştir.

Şekil 1: Özelleştirilmemiş InceptionResNetV2 Yapay Sinir Ağı Mimarisi [6]
Şekil 2: Özelleştirilmemiş U-Net Yapay Sinir Ağı Mimarisi [5]

DICOM dosyaları ile çalışmak için hazırlanmış olan python paketi “pydicom” [7] ile dosyalar okunmuştur. Piksel değerleri “pydicom.apply_modality_lut” metodu kullanılarak “Hounsfield Birimleri”ne dönüştürülmüştür. Bu değerler de “pydicom.apply_color_lut” metodu kullanılarak “PET” renk paletiyle boyanmış ve “RGB” formata dönüştürülmüştür. Böylece hem pencereleme (windowing) işlemi yapılmış hem de kullanılan model mimarilerinin girdi beklentisi olan 3 boyutlu dizi (array) oluşturulmuştur. Görüntüler modellerin girdi biçimlerine uygun olacak şekilde “PILLOW Image” modülünün “resize” metodu kullanılarak yeniden boyutlandırılmıştır.

Sağlık Bakanlığı verilerinden farklı kaynaktan kullanılan veriler ile ilgili bilgiler 3. kısımda paylaşılmıştır.

İnme Bulgularının Tespiti

İnme bulguları bulunan ve bulunmayan DICOM görüntüleri iki klasörde toplanmıştır. DICOM görüntüleri 2. kısımda belirtilen işlemlerden geçirilerek, 299×299 olacak şekilde yeniden boyutlandırılmıştır. İnme bulguları bulunan görüntüler “1”, bulunmayan görüntüler ise “0” ile etiketlenmiştir. Görüntüler ve etiketlerden iki farklı dizi (array) oluşturulmuştur. Elde edilen veri setinin %80’i eğitimde, %20’si testte kullanılmak üzere bölünmüştür. Veri seti bölünürken sınıfların oluşturulan yeni setlerde de eşit dağılmasına dikkat edilmiştir (sklearn.model_selection.train_test_split stratify metodu kullanıldı).

Modelde aşırı öğrenme durumunu (overfitting) engellemek ve veri miktarını artırmak için eldeki verilere çoğaltma (augmentation) işlemi uygulanmıştır. Çoğaltma, görüntülere; %10 oranında boyut değiştirme (zoom in-zoom out), yatay ve dikey yönde çevirme (flip), boyutların %10’u kadar yatay ve dikey eksende taşıma (translation), %10 oranında kontrast değiştirme, saat yönüne ve saat yönünün tersine 90o döndürme işlemleri model içerisinde rastgele uygulanarak yapılmıştır. Çoğaltma yapılan görüntülerin 0, 255 arasında olan piksel değerleri 0, 1 aralığında yeniden ölçeklendirilmiştir.

Modelin temel kısmı Keras uygulamalarından InceptionResNetV2’nin tam bağlantılı katmanı yüklenmeden alınmıştır. Tam bağlantılı katman global average pooling, flatten, dense (1024 çıktılı), batch normalization, dropout (0.5 oran) katmanları peş peşe eklenerek oluşturulmuştur. Çıktı katmanı ise 1 çıktılı dense katmanına sigmoid aktivasyonu uygulanarak oluşturulmuştur, böylece model sonuçlarının görüntü etiketlerine uygun olarak 0, 1 arasında olması sağlanmıştır.

Model öğrenme oranı (learning rate) 10-4 alınmış ve bu sayıya 0.96 zayıflama (decay) uygulanmıştır. Optimize edici “adam”, kayıp (loss) fonksiyonu “binary crossentropy”, metrik “accuracy” olarak seçilmiştir.

Model eğitiminde küme büyüklüğü (batch size) 16 olarak belirlenmiştir. Doğrulama ayırması (validation split) ise 0.2 alınmıştır. Ayrıca transfer edilen ImageNet ağırlıkları da dondurulmamış ve yeniden eğitilmeleri sağlanmıştır.

Model çıktılarının 0 veya 1 olacak şekilde yuvarlanmasını sağlayacak eşik değeri (treshold) 0.5 olarak belirlenmiştir. Test verileri üzerindeki doğrulama, yarışmada beklenen duyarlılık ve özgüllük değerlerine uygunluk göstermesi bakımından “accuracy”, “ROC Curve” ve “F1 Score” ile yapılmıştır. Sonuçlarla ilgili detaylı bilgi 4. bölümde verilecektir.

İnme Tipinin Belirlenmesi ve İlgili Alanın Bölütlenmesi

İnme bulguları bulunan hemorajik ve iskemik DICOM görüntüleri ve maskeleri ikişer klasörde toplanmıştır. DICOM görüntüleri 2. kısımda belirtilen işlemlerden geçirilerek, 512×512 olacak şekilde yeniden boyutlandırılmıştır. Böylece model çıktıları olan maskelerin eğitim için paylaşılan maskelerin genelindeki boyutlara uygun olması sağlanmıştır. Maskeler de gri tonlarla tek katmanlı alınarak 512×512 olacak şekilde boyutlandırılmış, görüntüler ve maskelerden iki farklı dizi oluşturulmuştur. Elde edilen veri setinin %80’i eğitimde, %20’si testte kullanılmak üzere bölünmüştür.

Model oluşturulurken “Keras ve TensorFlow’a dayalı görüntü segmentasyonu için sinir ağlarına sahip python kitaplığı” [8] olan “Segmentation Models” kütüphanesinin U-net mimarisi kullanılmıştır.

Maskelerde arkaplanı ve inme tiplerini belirten piksel değerlerini temsil edecek şekilde 3 sınıf belirlenmiş ve bu sınıflar dengesiz olduğu için bir “scikit-learn.utils.class-weight” metodu kullanılarak elde edilen değerler kayıp fonksiyonunda pikselleri dengelemek için kullanılmıştır. Maskeler “keras.utils.to_categorical” metodu kullanılarak kategorik değerlere çevrilmiştir.

Görüntülerin 0, 255 arasında olan piksel değerleri 0, 1 aralığında yeniden ölçeklendirilmiştir. “Segmentation Models U-net” mimarisinin omurga (backbone) kısmı 2. kısımda belirtilen sebeplerden InceptionResNetV2 olarak seçilmiştir. U-net mimarisindeki çözücü (decoder) kısmının katman fitreleri görüntü boyutlarına uygun olacak şekilde 512, 256, 128, 64 ve 32 olacak şekilde belirlenmiştir. Çıktı katmanının aktivasyon fonksiyonu 3 sınıf bulunması nedeniyle softmax olarak seçilmiştir.

Model öğrenme oranı (learning rate) 10-4 alınmış ve bu sayıya 0.96 zayıflama (decay) uygulanmıştır. Optimize edici “adam”, kayıp (loss) fonksiyonu “jaccard loss (yukarıda bahsedilen sınıfları dengelemek için elde edilen değerler burada kullanılmıştır)” ve “categorical focal loss (gama 2 olarak belirlenmiştir)” değerlerinin toplanmasıyla elde edilmiş, metrik “IOU Score” olarak seçilmiştir.

Model eğitiminde küme büyüklüğü (batch size) 4 olarak belirlenmiştir. Doğrulama ayırması (validation split) ise 0.2 alınmıştır. Ayrıca transfer edilen ImageNet ağırlıkları da dondurulmamış ve yeniden eğitilmeleri sağlanmıştır.

Model çıktılarının kategorik değerlerinin uygun piksele dönüştürülmesi için softmax aktivasyonunun verdiği değerlere “numpy argmax” metodu uygulanmış ve elde edilen değerler “uint8” değerlere dönüştürülerek tek katmanlı 8-bit maskeler elde edilmiştir. Test verileri üzerindeki doğrulama, yarışmada beklenen IoU değerine uygunluk göstermesi bakımından “Keras MeanIoU” ile yapılmıştır. Sonuçlarla ilgili detaylı bilgi 4. bölümde verilecektir.

Deney ve Eğitim Aşamalarında Kullanılan Veri Setleri

Sağlık Bakanlığı verileri haricinde 6 farklı kaynaktan veriler model eğitiminde, doğrulamasında ve test edilmesinde kullanılmıştır. DICOM dosyaları diğer modellerde de kullanılabilmesi açısından PNG ve JPG dosyalarına da çevrilmiştir. Büyük boyutlu veri setlerinin küçültülmesi amacıyla içlerinden veriler rastgele seçilmiştir.

BT Beyin Veri Seti (Head CT – hemorrhage) [9]

Bu veri setinde 100 adet normal ve 100 adet kanama (hemorrhage) bulunan kafa tomografi kesitleri bulunmaktadır. Veri seti içindeki görüntüler PNG formatında verilmiştir. Bu veri seti yarışmanın birinci aşaması (İnme Bulgularının Tespiti) için kullanılmıştır. Veri seti açık kaynak olarak paylaşıldığı için herhangi bir izin gerektirmemektedir.

RSNA Kafaiçi Kanama Tespiti Veri Seti (RSNA Intracranial Hemorrhage Detection) [10]

4 Farklı araştırma kurumu olan ‘Stanford University(Center for Artificial Intelligence in Medicine & Imaging (AIMI))’, ‘Thomas Jefferson University(Department of Radiology)’, ’Unity Health Toronto and Universidade Federal de São Paulo(UNIFESP)’, ‘The American Society of Neuroradiology(ASNR)’ 25 binden fazla verinin etiketlenmesi için 60’tan fazla gönüllüden oluşan bir kadroyu bir araya getirmiş ve sonuçta böylesi büyük bir veri seti ortaya çıkmıştır. Bu veri seti kanama (hemorrhage) tipi inme olup olmadığının bulunması ve varsa hangi tip alt kanama (hemorrhage) olduğunun bulunması için hazırlanmış bir yarışma veri setidir. Tüm görüntüler DICOM formatında verilmiştir. Bu veri setinde bulunan kanama beyin BT verileri alt kanama türlerinin tamamı tek bir türe çevrilmiştir (Sadece kanama yazılmıştır). Bu veri seti yarışmanın birinci aşaması (İnme Bulgularının Tespiti) için kullanılmıştır. Bu veri setinin kullanılması veri erişiminin sağlandığı yarışma adresinde belirtilen kurallar dahilinde gerçekleştirilmiştir. Veri setine erişim için belirtilen yarışmaya katılım sağlanmış ve kurallar kabul edilmiştir.

Kafaiçi Kanama Maskeleriyle Beyin BT Veri Seti (Brain CT Images with Intracranial Hemorrhage Masks) [11]

Bu veri setinde 2500 beyin tomografisi ve 2500 adet kemik tomografisi bulunmaktadır. Verilerin hepsi JPG formatındadır. Toplamda 318 adet görüntü ilişkili kafa içi görüntü maskelerine sahiptir. Bu veri seti yarışmanın birinci (İnme Bulgularının Tespiti) ve ikinci aşaması (İnme Tipinin Belirlenmesi ve İlgili Alanın Bölütlenmesi) için kullanılmıştır. Açık kaynak bir veriseti olduğu için bu veri setinin kullanımında alınması gereken bir izin bulunmamaktadır.

Beyin BT Kanama Veri Seti (Brain CT Hemorrhage Dataset) [12]

Veri setinde normal olarak 21 kişi için, hemorajik olarak ise 27 kişi için farklı sayıda bilgisayarlı tomografi kesitlerinden oluşan veriler bulunmaktadır. Bu veri setinde dosyalar JPG formatındadır. Bu veri seti yarışmanın birinci aşaması (İnme Bulgularının Tespiti) için kullanılmıştır. Veri seti açık kaynak olarak paylaşıldığı için herhangi bir izin gerektirmemektedir.

ISLES 2018 [13]

Eğitim veri seti 63 hastadan oluşmaktadır. Bu veri setinde iskemik bulgular olan beyin BT’leri bulunmaktadır. Görüntüler NII formatındadır. Bu veri seti yarışmanın birinci aşaması (İnme Bulgularının Tespiti) için kullanılmıştır. Mergen ekibi olarak, kayıt yaptırılmış, sağlanan verileri yalnızca çalıştay kapsamında kullanmayı ve üçüncü şahıslara aktarmamayı ve başka yayınlar için kullanmamayı kabul etmiştir. LNCS’nin takip sonrası özel sayısına bir katkı olması durumu dışında, herhangi bir telif hakkı devri gerçekleştirilmeyecektir.

CQ500 [14]

CQ500 veri seti, 193.317 dilimli 491 tarama içermektedir. Bu veri seti “Center for Advanced Research in Imaging, Neurosciences and Genomics (CARING), New Delhi, IN tarafından sağlanmıştır. Değerlendirme işlemleri 8, 12 ve 20 yıllık kafa tomografisi yorumlama deneyimine sahip üç radyolog tarafından yapılmıştır. Veri setinde kafa travmaları ve inme semptomları olan hastalar için kontrastsız kafa görüntüleri bulunmaktadır. Verisetindeki tüm kanama (hemorrhage) türleri tek tip kanama (hemorrhage) olarak yeniden etiketlenmiştir. Tüm görüntüler DICOM formatında verilmiştir. Bu veri seti yarışmanın birinci aşaması (İnme Bulgularının Tespiti) için kullanılmıştır. qure.ai tarafından sağlanan CQ500 veri kümesi, Creative Commons Attribution-NonCommercial-ShareAlike 4.0 Uluslararası Lisansı altında lisanslanmıştır. Bu lisanslar verilerin ticari olmayan kullanımına izin vermektedir. Veriler ticari olmayan kullanımlar için açık kaynak olarak paylaşılmaktadır.

Elde Edilen Deneysel Sonuçların Sunumu

Beyin BT’sinde inme bulgularının tespiti için “Özelleştirilmiş InceptionResNetV2”, inme tipinin tespiti ve ilgili alanın bölütlemesinin yapılması için “Özelleştirilmiş InceptionResNetV2 U-Net” olacak şekilde iki model kullanılmıştır. Bu iki model dosya formatı olarak DICOM kullanılması ve yarışmada kullanılacak değerlendirme metriklerinde diğer modellerden daha iyi sonuç vermeleri nedenleriyle seçilmiş ve geliştirilmiştir.

İnme Bulgularının Tespiti İçin Seçilen Özelleştirilmiş InceptionResNetV2 Mimarisi Sonuç Bulguları

Şekil 3: Özelleştirilmiş InceptionResNetV2 Mimarisi Eğitim Grafiği (Model eğitimi Batch Size 16 olarak 100 Epoch ile yapılmıştır.)

2.1. kısımda belirtilen veri setinin bölünmesi işleminden elde edilen test seti üzerinde yapılan tahminlerde;

“scikit-learn.metrics.accuracy_score”: 0.98

“scikit-learn.metrics.f1_score”: 0.97

“scikit-learn.metrics.score_roc_auc”: 0.97 değerleri elde edilmiştir.

Sağlık alanında geliştirilen yapay zekâ modellerinin yapacağı tahminler hastanın yaşam konforu hatta hayatı için kritik önem taşımaktadır. Bu sebeple modellerin inme bulguları yok olarak tahmin ettiği ama inme bulguları bulunan hasta sayısının (False Negative) düşük olması gerekmektedir. Kesinlik (precision) ve duyarlılık (recall) arasındaki dengeyi aktaran F1 skorundan görüldüğü üzere geliştirilen model bu değeri düşük tutmakta başarılıdır.

Şekil 3’te verilen eğitim grafiklerindeki sonuçlar değerlendirildiğinde modelin aşırı öğrenme (overfitting) olma durumu gözlemlenmiştir. Bu nedenle test işlemi model eğitiminde kullanılmayan veriler ile test işlemi yapılmıştır. Elde edilen sonuçlar modelin aşırı öğrenme (overfitting) olmadığı anlaşılmıştır ve iyi bir performans gösterdiği görülmüştür.

İnme Tipinin Belirlenmesi ve İlgili Alanın Bölütlenmesi İçin Seçilen Özelleştirilmiş InceptionResNetV2 U-Net Mimarisi Sonuç Bulguları

Şekil 4: Özelleştirilmiş InceptionResNetV2 U-Net Mimarisi Eğitim Grafiği (Model eğitimi Batch Size 4 olarak 100 Epoch ile yapılmıştır.)

2.2. kısımda belirtilen veri setinin bölünmesi işleminden elde edilen test seti üzerinde yapılan tahminlerde;

“keras.metrics.MeanIoU”: 0.80 değeri elde edilmiştir.

MeanIoU skoru yüksek olmasına rağmen, şekil 4’teki eğitim grafiği incelendiğinde modelin bazı görüntüleri bölütlemede zorlandığı görülmektedir. Bu durum genelleştirme (preventing overfitting and underfitting) açısından değerlendirildiğinde olumlu karşılanabilir.

IoU metriği orijinal maskelere yarışmada uygulanacak olan dilation ve erosion işlemleri yapılmadan hesaplanmıştır. Bu sebeple daha kesin tahminler yapılmıştır. Yarışmada daha yüksek skor alınması beklenmektedir.

Şekil 5: Özelleştirilmiş InceptionResNetV2 U-Net Mimarisinin Yapmış Olduğu Bölütlemeler

Test görüntülerinin bölütlemeleri model tarafından yapılmıştır. Rastgele seçilen iki örnek şekil 5’te verilmiştir. 1. resimdeki işaretli alanların piksel değeri 2 olarak tahmin edilmiş dolayısıyla kanama alanı olarak belirlenmiştir. 2. resimdeki işaretli alanların piksel değeri 1 olarak tahmin edilmiş dolayısıyla iskemi alanı olarak belirlenmiştir. İskemi ve kanama tipi inmenin birlikte bulunduğu beyin BT görüntüleri bulunamamıştır. Bu yüzden mevcut iskemi ve kanama görüntüleri üst üste eklenerek yeni görüntüler elde edilmiş ve bu görüntüler üstünde test yapılarak modelim bu durumlarda da iyi performans sergilediği görülmüştür.

Referanslar

  1. dicomstandard.org/about
  2. Hounsfield GN. Computed medical imaging. Nobel lecture, December 8, 1979. J Comput Assist Tomogr. 1980;4 (5): 665-74.
  3. Szegedy, C., Ioffe, S., Vanhoucke, V., & Alemi, A. (2017). Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. Proceedings of the AAAI Conference on Artificial Intelligence, 31(1). Retrieved from ojs.aaai.org/index.php/AAAI/article/view/11231
  4. keras.io/api/applications/
  5. Ronneberger O., Fischer P., Brox T. (2015) U-Net: Convolutional Networks for Biomedical Image Segmentation. In: Navab N., Hornegger J., Wells W., Frangi A. (eds) Medical Image Computing and Computer-Assisted Intervention – MICCAI 2015. MICCAI 2015. Lecture Notes in Computer Science, vol 9351. Springer, Cham. doi.org/10.1007/978-3-319-24574-4_28
  6. Nazir, Usman & Khurshid, Numan & Bhimra, Muhammad & Taj, Murtaza. (2019). Tiny-Inception-ResNet-v2: Using Deep Learning for Eliminating Bonded Labors of Brick Kilns in South Asia.
  7. pydicom.github.io/pydicom/stable/old/getting_started.html
  8. github.com/qubvel/segmentation_models
  9. kaggle.com/felipekitamura/head-ct-hemorrhage
  10. kaggle.com/c/rsna-intracranial-hemorrhage-detection/data
  11. kaggle.com/vbookshelf/computed-tomography-ct-images
  12. kaggle.com/abdulkader90/brain-ct-hemorrhage-dataset
  13. smir.ch/ISLES/Start2017#download
  14. headctstudy.qure.ai/dataset