TEKNOFEST 2022 Sağlıkta Yapay Zekâ Yarışması Bilgisayarlı Görüyle Abdomen (Karın) Bölgesi İçin Hastalık Tespiti Kategorisi

Amaç ve Konu

Karın ağrısı, acil servise başvuru nedenlerinin önemli bir oranını oluşturur. Literatürde, acil servis başvuruların yaklaşık %5-10 kadarını oluşturduğu belirtilmektedir. Karın ağrısı olan hastaya yaklaşım, acil servis hekimi tarafından hastanın ağrısının detaylı sorgulanması ve detaylı öyküsünün alınması ile başlar, hastanın fizik muayenesi, uygun laboratuvar ve radyolojik görüntüleme tetkikleri ile devam eder. Karın ağrısı nedenini aydınlatma sürecinde, hastalar acil servislerden, radyoloji kliniklerine röntgen, ultrason (US), bilgisayarlı tomografi (BT) tetkikleri için refere edilir. Daha az sıklıkla, çocuk ve gebe hastalar için manyetik rezonans (MR) tetkik ihtiyacı olabilmektedir. Radyoloji kliniklerine refere edilen hastalar, radyoloji uzmanları tarafından, acil servis hekiminin klinik notları, danışılan kliniklerin notları ve laboratuvar bulguları eşliğinde değerlendirilmektedir. Sonrasında, radyoloji uzmanları serbest metin radyoloji raporuyla hasta ile ilgili kanaatlerini bildirmekte ve böylece tanı-tedavi sürecine destek olmaktadır. Tüm belirti ve bulgular toplandığında, acil servis hekimi tarafından ilgili klinik branşlara danışılarak karın ağrısı nedeni ile gelen hastanın yönetimi sağlanmaya çalışılır. Multidisipliner değerlendirmeler sonucunda acilde gözlem altında tutulup tutulmayacağına, hastanede servise yatırılıp yatırılmayacağına, yoğun bakım ihtiyacı olup olmayacağına, herhangi bir girişimsel işlem ya da cerrahi gereksinimi olup olmayacağına, sevk edilme ihtiyacının olup olmayacağına karar verilir.

Karın bölgesi, çok çeşitli organ yapılarına ev sahipliği yapmaktadır. Bu yüzden karın ağrısı nedenleri dikkatli şekilde irdelenmelidir. Karın ağrısı, travma dışı birçok nedene bağlı olabilir ve ayırıcı tanı listesi geniştir. Spesifik olmayan karın ağrısından (non-spesifik), kese taş ve iltihabı (kolelitiazis ve kolesistit), apendiks iltihabı (apandisit), pankreas iltihabı (pankreatit), mide iltihabı (gastrit), böbrek-üreter taşları ve iltihabı, fıtık, barsak tıkanması, barsak iltihabı, damar tıkanıkları, damar yırtılması, kanser ağrısı, kist patlaması vb. birçok nedene bağlı olabilir. Hasta öyküsü ve hekim değerlendirmesi ve laboratuvar bulguları ilk aşamada çok önemli olmakla birlikte, şüphelenilen durumu doğrulamak ya da dışlamak, ayırıcı tanı listesini daraltmak için radyolojik görüntüleme tetkiklerinden sıklıkla faydalanılmaktadır. Röntgen ve özellikle ultrason, karın ağrısı olan hastaya yaklaşımda radyolojik görüntüleme algoritmasının, klinik başvuru nedenlerine göre kısmen değişmekle birlikte, sıklıkla ilk basamağını oluşturmaktadır. Mevcut klinik durum öykü, fizik muayene, laboratuvar tetkikleri ve ilk basamak görüntüleme yöntemleri ile aydınlatılamadığı durumlarda veya alternatif süreçlerde, ilaçlı ya da ilaçsız karın bölgesi BT’si ile ileri değerlendirmeler yapılmaktadır. Hasta yoğunluğunun olduğu acil servislerde, radyoloji uzmanı eksikliği olan yerlerde karın bölgesi BT’si ilk radyolojik görüntüleme aracı olarak da kullanılmaktadır.

Bu kategorideki yarışmacılar, T.C. Sağlık Bakanlığı- Sağlık Bilgi Sistemleri Genel Müdürlüğü tarafından Türkiye Sağlık Enstitüleri Başkanlığı’na (TÜSEB’e) sağlanan verileri kullanılacaklardır. Yarışmacılara karın ağrısı şikâyeti ile acil servis başvurusu yapılmasına neden olan 6 (altı) farklı klinik durum ile ilgili karın bölgesine yönelik çekilen ilaçlı veya ilaçsız BT serileri paylaşılacaktır. Bu 6 (altı) farklı klinik durum, apandiks iltihabı (akut apandisit), safra kesesi iltihabı (akut kolesistit), pankreas iltihabi (akut pankreatit), böbrek/üreter taşı, barsak divertikül iltihabı (akut divertikülit), karın ana damar balonlaşması/yırtılması (aorta anevrizma/rüptür/diseksiyon) olarak belirlenmiştir. Ayrıca bu 6 klinik durumun izlenmediği olgular da 7. (yedinci) alt grup olarak paylaşılacaktır. Tüm alt grupları içerecek biçimde paylaşılması planlanan olgu sayısı yaklaşık 1050 (bin elli)’dir. Toplam 350 (üçyüzelli) olgu da yarışma anında yarışmacılar ile paylaşılacaktır. 6 (altı) farklı klinik durumun, gerçek dünya istatistik verisi de dikkate alınarak, belirlenen 6 (altı) grup içerisindeki görülme sıklıklarına göre veri kümesi paylaşılacaktır. 6 (altı) farklı klinik durumun izlendiği vakalar, BT kesitlerinde radyoloji uzmanları tarafından en küçük sınırlayıcı kutu (minumum bounding box-MBB) ile etiketlenecektir. Belirtilen 6 (altı) klinik durumun bazılarının, aynı vakanın aynı BT kesitinde ya da farklı BT kesitlerinde eş zamanlı olarak da görülebileceği akılda bulundurulmalıdır.

Proje Durum Değerlendirmesi

Proje Sunuş Raporu Değerlendirmesi

Yarışma teknik şartnamesinde belirtildiği üzere görüntüler DICOM formatında da paylaşılacaktır. Yarışma probleminin çözümü için bu format tercih edilecektir. Bu seçimin sebebi DICOM formatındaki görüntülerin 16 bit piksel değerlerinin [1] PNG formatındaki görüntülerin 8 bit piksel değerlerinden daha fazla detay içermesidir. Bu 16 bit piksel değerlerinin geliştirilen yapay zekâ modelinin ihtiyacı olan girdilere dönüştürülmesi için PyDicom kütüphanesi kullanılmıştır. Görüntülerden elde edilen PixelData [2] değerleri Rescale Slope [3], Rescale Intercept [4] ve Rescale Type [5] bilgileri ile Hounsfield Unit [6] değerlerine dönüştürülmüştür. Bu dönüşüm yapıldıktan sonra abdomen bölgesi için uygun olan pencerelemeler [7] yapılmıştır. Daha sonra elde edilen bu veriler 0, 255 arasına sıkıştırılarak görüntüler geliştirilen modelin ihtiyacı olan girdi şekillerine dönüştürülmüştür.

Derin öğrenme algoritmalarının test sırasında daha önce görmediği veri üzerindeki başarısı eğitim sırasında gördüğü veri miktarı ve çeşitliliği ile doğrudan ilişkilidir. Model eğitim setindeki görüntüleri ezberleyebilir, bu da test aşamasında farklı bir kaynaktan gelebilecek görüntülerin yanlış yorumlanması riskini taşımaktadır. Bu durumu engellemek için eldeki verileri çoğaltıp çeşitlendirecek augmentasyon metotları rastgele yapılacak yakınlaşma, uzaklaşma, döndürme, taşıma, çevirme, bulanıklaştırma, gürültü ekleme, parlaklık ve kontrast değiştirmedir. Bu işlemler için Albumentations [8] kütüphanesi kullanılmıştır.

Yapay zekâ modeli oluşturulurken Tensorflow [9] kütüphanesi kullanılmıştır.

Yarışma problemi esasında hem patolojilerin belirlenmesi için bir sınıflandırma hem de kutu lokasyonlarının belirlenmesi için regresyon içermektedir. Eğitim sırasında modelin belirtilen her iki problemde de dereceli alçalma (gradient descent) hesaplaması için daha önce obje tespiti için önerilen Focal Loss [11] ve Smooth L1 Loss [12] kombine şekilde kullanılmıştır. Optimizer olarak modelin genelleştirilmesi için adaptif bir metot olan AdamW [13] kullanılmıştır. Ölçüm metriği olarak ise yarışmada da metrik olarak kullanılan IoU kullanılmıştır.

Model eğitimi yapılırken takımlarla paylaşılan 1182 adet seri, eğitim ve test seti olarak ayrılmıştır. Eğitim için ayrılan verilerle eğitim yapılırken test için ayrılan verilerle doğrulama yapılmış ve bu sırada daha önce bahsedilen metrikte en yüksek değeri elde eden model kaydedilmiştir ve yarışma sırasında bu model kullanılacaktır.

Proje Sunumundan Sonra Yapılan Değişiklikler

Proje sunumundan sonra devam eden araştırmalar sonucu problem için üretilen çözümde bazı değişikliklere gidilmiştir.

Elimizdeki verileri çoğaltıp çeşitlendirecek augmentasyon metotları rastgele yapılacak yakınlaşma, uzaklaşma, döndürme, taşıma, çevirme, bulanıklaştırma, gürültü ekleme, parlaklık ve kontrast değiştirmedir. Bu işlemler yapabilmek için TensorFlow Keras kütüphanesinden Albumentations kütüphanesine geçilmiştir. Albumentations kütüphanesiyle yapılabilecek çoğaltma ve çeşitlendirme işlemlerinin daha fazla olması, daha önce benzer çözümlerde farklı firmalar tarafından kullanılmış olması, medikal resimler, uydu resimleri, endüstri uygulamaları gibi farklı alanlarda sınıflandırma, bölütleme ve nesne tespiti görevlerinde kullanabiliyor olması ve PyTorch ve Tensorflow ile entegre olabilmesi sebebiyle bu değişiklik yapılmıştır.

Öznitelik çıkarma katmanında EfficientNetV2 modelinin Large versiyonu seçilmiştir. Seçilme nedenine 1. bölümde değinilmiştir. EfficientNetV2L modeli 119 milyon parametreli bir evrişimli sinir ağı modeli olup, yapılan araştırmalarda bu ağların özellik çıkarıcı bloklar olarak kullanıldığı görülmüştür.

Öznitelik ağı kısmında en son katmandan sonra transformer [14] eklenerek bir self-attention katmanı oluşturuldu. Proje Sunuş Raporu hazırlanması sırasın da taranan makalelerde görüntüler için de transformerların kullanımının yaygınlaştığı ve başarılı sonuçlar elde edildiği görülmüştür. Bu sebeple transformerlar yarışma için geliştirilen çözüme eklenerek yapay zekâ modeli daha güçlü ve özgün hale getirilmiştir.

Loss fonksiyonu olarak bu tarz görevlerde çokça kullanıldığı görülen Focal Loss ve Smooth L1 Loss kombinasyonu kullanılmasına karar verilmiştir.

Son değişikliklerle birlikte elde edilen sonuçlar 3. bölümde sunulacaktır.

Yapılan Çalışmalar

Sağlık Bakanlığı tarafından paylaşılan DICOM formatındaki görüntüler PyDicom kütüphanesi kullanılarak okunmuştur. Bu görüntülerden elde edilen piksel değerleri daha önce de belirtildiği gibi Rescale Slope, Rescale Intercept ve Rescale Type bilgileri ile Hounsfield Unit değerlerine dönüştürülmüştür. Elde edilen Hounsfield Unit değerlerine problemin çözümüne uygun pencerelemeler yapılmıştır. Yapılan pencelerelemelere ve elde edilen görüntülere örnek Şekil 1’de verilmiştir.

Yumuşak dokular için pencere genişliği 400, pencere merkezi 50, karaciğer için pencere genişliği 150, pencere merkezi 30 ve kalsifiye yapılar için pencere genişliği 2000, pencere merkezi 400 seçilerek görüntülere pencereleme işlemleri yapılmıştır [15].

Bu işlemler sonucunda Şekil 1’de de görüldüğü gibi gri skalada 3 farklı görüntü elde edilmiş ve elde edilen bu görüntüler çakıştırılarak 3 katmanlı bir görüntü yapısı elde edilmiştir. Elde edilen bu 3 katmanlı görüntü Şekil 2’de verilmiştir.

Görüntüler yukarıda bahsedilen ön işlemelerden sonra 512×512 piksel boyutuna yeniden boyutlandırılmıştır.

Modelin öznitelik çıkarma katmanında kullanılacağı belirtilen EfficientNetV2L modeline bir decoder bloğu eklenerek autoencoder hazırlanmış ve bu autoencoder 4. bölümde bahsedilecek DeepLesion veri seti ile eğitilmiştir. Bu eğitim sonucunda elde edilen ağırlıklar model içerisinde dondurularak model eğitimi hızlandırılmış ve ImageNet gibi hazır ağırlıklar kullanmak yerine probleme özgü ağırlıklar kullanılarak öznitelikler elde edilmiştir. Autoencoder yapısı Şekil 3’te gösterilmiştir.

Daha önce de bahsedildiği gibi modelin eğitim setindeki görüntüleri ezberlemesini engellemek maksadıyla Albumentations kütüphanesi kullanılarak çeşitli augmentasyon metotları uygulanarak model eğitimi yapılmıştır. Belirtilen augmentasyon metotları yarışma problemi çözümüne de uygun olarak rastgele uygulanacak parlaklık, kontrast, renk doygunluğu, gama, bulanıklaştırma, gürültü ekleme, döndürme, çevirme, taşımadır. Bu yöntem uygulanarak elde edilmiş görüntü örneği Şekil 4’te gösterilmiştir.

Proje Sunuş Raporu hazırlanması sırasında taranan makalelerden elde edilen sonuçlara göre modeller genel olarak; bilgisayarlı görüde kendini ispat etmiş modellerin temel alınmasıyla oluşturulacak bir öznitelik çıkarma katmanı (feature extractor), tüm bu özelliklerin kombine edileceği bir öznitelik ağı (feature network) ve bu ağdan gelen bilgilerin yorumlanacağı tespit katmanından (detection head) oluşmaktadır. Model öznitelik çıkarma katmanı temeli olarak kullanılan EfficientNetV2L modelinden 5 katman seçilmiştir. Böylece modelin görüntü hakkında daha fazla detay içeren sığ kısımları ve görüntü hakkında daha fazla öznitelik içeren derin kısımları da kullanılmıştır. Modelin en derin katmanına ise bir transformer bloğuyla self-attention [16] uygulanmış böylece modelin hastalık alanlarına odaklanması sağlanmıştır. Ayrıca takımın geçen sene yarışma modelinde kullandığı attention katmanları [17] da öznitelik ağına eklenmiştir. Model derinleştikçe küçülen görüntü boyutları orijinal boyutlarına dönüştürülerek tüm bu görüntülere Concat işlemi uygulanmış böylece çıkarılan özniteliklerin çakışması sağlanarak modelin hastalık alanlarına odaklanması amaçlanmıştır. Tespit katmanında da transformer bloğunu takip eden ileri beslemeli bir sinir ağı kullanılarak hem patolojilerin belirlenmesi için sınıflandırma hem de kutu lokasyonlarının belirlenmesi için regresyon işlemi beraber yapılmıştır. Modelin basit hatlarıyla gösterimi Şekil 5’te yapılmıştır. Model daha önce bahsedilen kayıp fonksiyonu, optimizer ve metrikler kullanılarak eğitilmiştir. Eğitim sonuçları, test senaryoları ve sonuçları 3. Bölümde paylaşılacaktır.

Özgünlük

Takım, 2021 Sağlıkta Yapay Zekâ Yarışması’nda da kendine özgü bir model geliştirdiği gibi, bu yıl da hazır paketler ve modeller kullanmak yerine 1. bölümünde bahsedilen bilgiler ışığında kendi modelini geliştirmiştir. Ayrıca yine 1. bölümde belirtildiği gibi problem amacına uygun olarak iki farklı kayıp fonksiyonunun kombine edilerek yeni bir kayıp fonksiyonu oluşturulması özgünlüğe katkı sağlamaktadır.

Önceki Sağlıkta Yapay Zekâ Yarışması’nda, takım görüntü işlenmesi aşamasında farklı pencerelemelerle elde ettiği görüntüleri kombine ederek kullanmış ve bu yaklaşımın başarılı olduğunu görmüştür. Bu seneki yarışmada da yine aynı yöntemin kullanılmıştır.

Görüntülerden öznitelik çıkarmak maksadıyla 1. bölümde ayrıntılı olarak bahsedilen EfficientNetV2L modeline bir decoder bloğu eklenerek Autoencoder hazırlanmış ve bu autoencoder 4. bölümde bahsedilecek DeepLesion [18] veri seti ile eğitilmiştir. Daha sonra elde edilen ağırlıklar dondurularak öznitelik çıkarma katmanında kullanılmış böylece modelin genel eğitim süresi kısaltılmış ve öznitelik çıkarma kapasitesi artırılmıştır.

Öznitelik ağı için de takımın geçen sene bölütleme işleminde de kullandığı attention katmanları kullanılmış ve sınıflandırma ile kutu sınırlarının tahmininin yapılacağı tahmin katmanı ise transformerlar ile geliştirilmiştir.

Sonuçlar ve İnceleme

Verilerin incelenmesi sırasında bazı görüntülerin görüntü boyutlarının 512×512 formatından farklı olduğu, bazı kutulamaların ise bu görüntü sınırlarının dışında yapıldığı ve tür etiketi sayılarında dengesizlik olduğu fark edildi. Böylece veri inceleme aşamasının önemi tekrar görülmüş oldu. Veri seti bu bilgiler ışığında temizlendi.

Eğitimden önce bounding boxlar ve tür etiketleri birleştirildi ve olgu numarası, kesit numarası ve birleştirme ile elde edilen listelerden yeni bir veri seti elde edildi. Bu veri setine ait örnek kesit Şekil 6’da verilmiştir.

Eğitim sonucu yarışma sırasında da kullanılacak metriğe benzer şekilde IoU ile ölçülmüştür. IoU hesaplanırken tür etiketi için softmax aktivasyonu kullanıldığından çıkan sonuçlar argmax fonksiyonu ile 1 ve 6 arasındaki türlere dönüştürülmüştür. Bu metriğin hesaplanması için kullanılan kod bloğu Şekil 7’da gösterilmiştir.

Model daha önceki bölümlerde de belirtildiği gibi takım tarafından geliştirilmiştir. Veri seti eğitim için %80 test için ise %20 olacak şekilde ayrıldı. Bu ayırma işlemi yapılırken tür etiketleri oranının hem eğitim setinde hem de test setinde aynı olmasına dikkat edildi. Model eğitimi batch_size 1 seçilerek 100 epoch ile tamamlandı. Loss değeri test seti için 4.6302 elde edildi. Test setin üzerindeki ortalama yarışma metriği ise 0.7501 olarak elde edildi. Seçilen bir örneğin referans işaretlemesi Şekil 8’de, üzerinde augmentasyon işlemleri uygulandıktan sonra yapılan tahmin işleminin sonucu ise Şekil 9’da verilmiştir. Bu örneklerden yola çıkarak yapılan görsel doğrulamada da görüleceği gibi geliştirilen model farklı senaryolarda kabul edilebilir sonuçlar vermektedir. Ayrıca modelin bir kesit için tahmin süresi ortalama 75 ms kadardır.

Deney ve Eğitim Aşamalarında Kullanılan Veri Setleri

Büyük ölçekli açıklamalı radyolojik görüntü veri kümelerinin çıkarılması, toplanması ve oluşturulması, oldukça önemli ancak zorlu bir sorundur. Aynı zamanda, tıbbi görüntü analizi için daha etkili veriye aç bilgi işlem paradigmaları (örneğin, derin öğrenme) tasarlamak için bir darboğazdır.

Ulusal Sağlık Enstitüleri (NIH) Klinik Merkezi, lezyonların tespit doğruluğunu iyileştirmesine yardımcı olmak için büyük ölçekli BT görüntülerini kamuya açık hale getirdi [19]. Kamuya açık tıbbi görüntü veri kümelerinin çoğunda binden az lezyon bulunurken, DeepLesion adlı bu veri kümesinde, BT görüntülerinde 32.000’den fazla etiketli lezyon (220 GB) tanımlanmıştır. DeepLesion, 4.427 benzersiz hastanın 10.594 çalışmasından 32.120 BT diliminde 32.735 lezyon içeren bir veri setidir. Bu veri setinde akciğer nodülleri, karaciğer tümörleri, genişlemiş lenf nodları vb. gibi çeşitli lezyon tipleri vardır. Bu veri seti yarışma probleminde tespit edilmesi beklenen lezyonları abdomen, karaciğer, yumuşak doku, böbrek lezyonları gibi genel başlıklar altında sınıflandırsa da çeşitli tıbbi görüntü uygulamalarında kullanılma potansiyeline sahiptir. Veri seti daha önce de belirtildiği gibi açık bilim girişimi kapsamında kamuya açık hale getirilmiştir.

Bu veri seti yarışma için geliştirilen problem çözümünde öznitelik çıkarmak için kullanılacak olan EfficientNetV2L mimarisi ile oluşturulmuş autoencoder eğitiminde kullanılmıştır. Böylece Sağlık Bakanlığı tarafından paylaşılan veri seti zenginleştirilerek modelin öznitelik çıkarma kapasitesi artırılmıştır.

Referanslar

pydicom.github.io/pydicom/stable/reference/generated/pydicom.dataset.Dataset.html
dicom.innolitics.com/ciods/ct-image/image-pixel/7fe00010
dicom.innolitics.com/ciods/ct-image/ct-image/00281053
dicom.innolitics.com/ciods/ct-image/ct-image/00281052
dicom.innolitics.com/ciods/ct-image/ct-image/00281054
Hounsfield, Godfrey N. “Computed medical imaging.” Science 210.4465 (1980): 22-28.
Murphy, A., Baba, Y. Windowing (CT). Reference article, Radiopaedia.org. (accessed on 22 Mar 2022) doi.org/10.53347/rID-52108
albumentations.ai/docs/introduction/why_albumentations/
tensorflow.org/about?hl=en
Tan, Mingxing, and Quoc Le. “Efficientnetv2: Smaller models and faster training.” International Conference on Machine Learning. PMLR, 2021.
Lin, Tsung-Yi, et al. “Focal loss for dense object detection.” Proceedings of the IEEE international conference on computer vision. 2017.
Fu, Cheng-Yang, Mykhailo Shvets, and Alexander C. Berg. “RetinaMask: Learning to predict masks improves state-of-the-art single-shot detection for free.” arXiv preprint arXiv:1901.03353 (2019).
Loshchilov, Ilya, and Frank Hutter. “Decoupled weight decay regularization.” arXiv preprint arXiv:1711.05101 (2017).
Vaswani, Ashish, et al. “Attention is all you need.” Advances in neural information processing systems 30 (2017).
Sheoran, Manu, et al. “DKMA-ULD: Domain Knowledge augmented Multi-head Attention based Robust Universal Lesion Detection.” arXiv preprint arXiv:2203.06886 (2022).
Dosovitskiy, Alexey, et al. “An image is worth 16×16 words: Transformers for image recognition at scale.” arXiv preprint arXiv:2010.11929 (2020).
Oktay, Ozan, et al. “Attention u-net: Learning where to look for the pancreas.” arXiv preprint arXiv:1804.03999 (2018).
Yan, Ke, et al. “Deeplesion: Automated deep mining, categorization and detection of significant radiology image findings using large-scale clinical lesion annotations.” arXiv preprint arXiv:1710.01766 (2017).
paperswithcode.com/dataset/deeplesion