Korean J Med > Volume 96(3); 2021 > Article
최신 컴퓨터 비전 기술을 활용한 캡슐내시경의 성능 개선

Abstract

Advanced computer vision technologies can be used to improve the performance of capsule endoscopy. Specifically, new technologies can be used to enhance the image quality of capsule endoscopes, which has previously been limited by mechanical constraints. The trajectory of a capsule endoscope, which can be estimated by reconstructing the captured images, helps to predict the location of lesions. Computer vision technology is utilized in a more practical way in a recently developed capsule endoscope comprising a stereo camera. Using this device, images can be interpreted in three dimensions, enabling more accurate measurements of size. The use of deep learning for image recognition is associated with an improved lesion detection rate and reduced reading time in clinicians. This evolving technology requires close cooperation between medical and IT professionals for optimized clinical use.

서 론

캡슐내시경은 삼킬 수 있는 크기로 제작되어 소화관 내부를 촬영하는 의료 장비이다. 2000년대 초반에 소개되어 일반적인 소화기 내시경으로 관찰이 어려운 소장 질환의 진단에 중요한 역할을 하고 있다. 영상 촬영을 위한 광학부, 무선 전송이 가능한 송신부와 이들을 구동하는 데 필요한 전원부 부품들을 삼킬 수 있는 크기에 집약해야 하고 소장 부위 촬영에 충분한 작동 시간이 보장되어야 한다. 때문에 다른 소화기 내시경에 비해 물리적으로 기능을 개선하는 일에 제한이 많다. 장관 안에서 연동 운동에 의존하여 수동적으로 이동하면서 5만 장이 넘는 디지털 사진을 4시간 이상에 걸쳐서 촬영하는데, 임상적으로 의미 있는 병변 영상의 분량은 전체에 비해 매우 적다[1,2]. 게다가 이를 판독하는 데 소요되는 시간도 길어 판독자 간의 결과 편차가 크다.
디지털 영상은 밝기와 색상이 다른 일정한 수의 화소들로 구성된다. 수학적 연산을 통해 이를 처리하는 컴퓨터 비전 기술은 영상의 품질 향상 뿐만 아니라 영상 내에서 객체 인식이 가능한 수준에 이르고 있는데, 이는 캡슐내시경의 기계적 한계를 극복하고 판독 효율성을 향상시키는 데 도움이 될 수 있다. 본고에서는 캡슐내시경의 기능 개선을 목적으로 제안된 컴퓨터 비전 기술을 간략히 소개하고자 한다.

본 론

캡슐내시경은 촬영 순간에 내시경의 움직임을 멈추거나 광원의 밝기나 초점 거리를 감안하여 대상에 접근을 조절하는 등의 조작이 불가능하다. 또한 촬상부의 성능도 일반 내시경보다 떨어지기 때문에 흐린 영상(blurred image)이나, 신호 잡음(noise)이 포함된 품질이 낮은 영상이 얻어지기 쉽다. 이를 개선하기 위해 컴퓨터 비전 기술을 활용하여 개발된 다양한 필터들을 비교한 결과, adaptive median filter (AM filter)가 내시경 영상에서 묘사된 세부 사항의 훼손없이 잡음을 감쇄하는 데 효과가 있음이 확인되었다[3]. 캡슐내시경 영상을 서로 다른 색상 채널로 분리하고 각각을 회색조 영상으로 변환하여 재분석한 결과를 조합하여 영상의 잡음을 개선하는 방법이 제안되기도 하였다[4].
특정 구간에서 부족한 광량이나 과도한 움직임에 의해 흐려진 영상도 회색조로 변환하여 수치 해석이 용이하도록 전처리하고 이를 바탕으로 계산한 결과를 적용하여 보정할 수 있다[5]. 전체 영상의 맥락의 감안하여 동일 대상이 촬영된 다른 장면이나 주변 장면들을 참조하여 영상 정보를 합성한 결과도 해석에 도움을 줄 수 있다[6,7].
근래에 각광받기 시작한 딥러닝 기술 역시 캡슐내시경의 영상 품질 개선에 활용될 수 있는데, 대량의 내시경 영상을 학습한 딥러닝 알고리즘은 열화된 내시경 영상을 고해상도로 복원하는 데 효과가 있었다[8]. 특히, 내시경 영상의 특성을 고려하여 설계된 알고리즘이 더 좋은 성능을 보인 바 있어 캡슐내시경 기능 개선에 활용이 기대된다.
기계적인 개선이 뒷받침되면 더 실용적으로 컴퓨터 비전 기술 활용이 가능하다. 기존 캡슐내시경이 한 개의 구동축에서 영상을 획득하는 반면에 최근에 개발된 양안 캡슐내시경은 하나의 대상을 서로 다른 각도에서 촬영할 수 있다(Fig. 1). 그 결과를 조합하면 개선된 품질의 영상을 얻을 수 있고, 모호한 병변을 입체적으로 해석하여 판단을 명확히 하거나 더 정확하게 크기를 측정하는 등 임상적으로 유용한 정보를 더 많이 얻을 수 있다(Fig. 2) [9].
캡슐내시경을 통해 얻을 수 있는 임상적인 정보는 단순 병변 영상에 국한되지 않는다. 캡슐내시경 영상을 활용하여 추정한 병변의 위치 정보는 후속 검사나 치료 방법을 결정하는 데 중요하다. 별도의 체외 센서를 이용하여 캡슐내시경의 위치를 추정할 수 있으나, 복강 내에서 장관의 움직임 때문에 임상적 효용성은 부족하다[10]. 촬영된 영상을 재구성하면 캡슐내시경의 장관 내 이동 경로를 추적할 수 있고 이는 병변의 위치 추정에 도움이 될 수 있다. 동시적 위치추정 및 지도작성 기술(simultaneous localization and mapping)은 촬영된 특정 형상과 그림자를 분석하여 카메라의 자세와 이동 경로를 입체적으로 해석할 수 있도록 한다[11,12]. 캡슐내시경의 특성 상 인접한 영상 안에는 동일 대상이 촬영된 경우가 많은데 이들을 재구성하여 캡슐내시경의 장관 내 위치 추정이 가능한 지도 작성을 할 수 있다[13].
영상 안에서 특정 개체를 구별하는 영상 인식 기술은 컴퓨터 비전 기술의 한 분야이다. 이는 캡슐내시경 영상 안에서 병변을 찾는 데 도움을 줄 수 있다. 소장 병변이 갖는 질감 등 영상 특징을 수치화하고 해당 기준을 충족하는 영상을 추려내는 방식의 support vector machine을 이용하여 장관 내출혈 소견에서 흔히 확인되는 붉은 색조의 화소가 탐지된 영상에 우선 순위를 두거나 유사도가 높은 영상을 걸러내 판독자가 관찰해야 하는 영상의 규모를 줄여줄 수 있다[14-19].
영상 인식 분야에서 인공지능의 성능은 합성곱 신경망(convolutional neural network, CNN)의 도입으로 크게 개선되었다(Table 1). 잘 분류된 영상을 학습한 인공지능은 높은 소장 병변 인식률을 보였으며, 판독자의 부족한 경험을 보완할 수 있었다[19-24]. 하지만 대부분의 연구가 미란, 궤양 등의 점막 손상이나 출혈, 혈관 확장증 등 주변부 점막과 잘 구분되는 형상에 국한하여 학습자료를 구성하였고, 다른 이상 소견을 인식할 수 없어 실제 임상에의 적용에 한계가 있다.
소장 병변의 특정 세부 분류가 아니라 임상적인 구별이 필요한지에 따라 영상을 양분하여 구성한 자료를 학습한 인공지능은 다양한 종류의 병변을 인식할 수 있었으며, 높은 병변 인식률을 달성하고 판독에 소요되는 시간을 단축하여 효율성을 개선할 수 있음이 증명되었다[25,26].

결 론

발전된 컴퓨터 비전 기술은 캡슐내시경의 기능을 개선하는 데 다양하게 이용되고 있다. 캡슐내시경이 갖는 기기적 제한점을 극복하고 개선된 품질의 영상 정보를 판독자에게 제공할 수 있다. 캡슐내시경의 이동 경로를 추적하여 병변의 위치 추정에 도움이 될 수 있다. 여기에 기계적인 개선이 더 해지면 병변에 대한 더 많은 임상 정보를 확인할 수 있다. 딥러닝을 활용한 영상 인식 기술은 판독자의 병변 발견율을 향상시키고 판독에 소요되는 시간을 줄여주어 효용성을 개선하는 데 도움이 된다.
컴퓨터 비전 기술이 캡슐내시경에 본격적으로 적용되어 임상에서 활용되기 위해서는 더 많은 노력이 필요하다. 후향적으로 수집된 내시경 영상 정보를 표준화하여 잘 정리된 대규모의 학습 자료를 구축하고 개발된 기술의 임상적 효용성을 많은 증례에서 입증하는 일이 뒷받침되어야 한다. 일반적인 위, 대장내시경에 비해 캡슐내시경이 시행되는 빈도는 매우 적은 편으로 다기관의 협력이 필수다. 대한민국은 의료, 공학 기술 선진국이며 캡슐내시경 관련 원천 기술을 가진 기업을 보유하고 있다. 의사와 공학자 간의 적극적인 협력을 바탕으로 캡슐내시경이 발전하여 국민들의 건강 증진은 물론, 국가 경쟁력 확보에도 기여할 수 있게 되기를 바라는 바이다.

REFERENCES

1. ASGE Technology Committee, Wang A, Banerjee S, et al. Wireless capsule endoscopy. Gastrointest Endosc 2013;78:805–815.
crossref pmid

2. Shim KN, Jeon SR, Jang HJ, et al. Quality indicators for small bowel capsule endoscopy. Clin Endosc 2017;50:148–160.
crossref pmid pmc

3. Obukhova N, Motyko A, Pozdeev A, Timofeev B. Review of noise reduction methods and estimation of their effectiveness for medical endoscopic images processing. In : Conference of Open Innovations Association (FRUCT); 2018 May 15-18; Jyvaskyla. Piscataway (NJ). IEEE. 2018. 22:204–210.
crossref

4. Gopi VP, Palanisamy P, Niwas SI. Capsule endoscopic colour image denoising using complex wavelet transform. In : 6th International Conference on Information Processing; 2012 Aug 10-12; Bangalore. Berlin. Springer. 2012. 220–229.
crossref

5. Liu H, Lu W, Meng M. De-blurring wireless capsule endoscopy images by total variation minimization. In : Proceedings of 2011 IEEE Pacific Rim Conference on Communications, Computers and Signal Processing; 2011 Aug 23-26; Victoria. Piscataway (NJ). IEEE. 2011. 102–106.
crossref

6. Wang Y, Cai C, Zou YX. Single image super-resolution via adaptive dictionary pair learning for wireless capsule endoscopy image. In : International Conference on Digital Signal Processing (DSP); 2015 Jul 21-24; Singapore. Piscataway (NJ). IEEE. 2015. 595–599.
crossref

7. Peng L, Liu S, Xie D, Zhu S, Zeng B. >Endoscopic video deblurring via synthesis. In : Visual Communications and Image Processing (VCIP); 2017 Dec 10-13; St. Petersburg (FL). Piscataway (NJ). IEEE. 2017. 1–4.


8. Almalioglu Y, Bengisu Ozyoruk K, Gokce A, et al. EndoL2H: deep super-resolution for capsule endoscopy. IEEE Trans Med Imaging 2020;39:4297–4309.
crossref pmid

9. Park MG, Yoon JH, Hwang Y. Stereo matching for wireless capsule endoscopy using direct attenuation model. In: Bai W, Sanroma G, Wu G, Munsell B, Zhan Y, Coupé P, eds. International Workshop on Patch-based Techniques in Medical Imaging; 2018 Sep 20; Granada. Berlin. Springer. 2018. 48–56.
crossref

10. Marya N, Karellas A, Foley A, Roychowdhury A, Cave D. Computerized 3-dimensional localization of a video capsule in the abdominal cavity: validation by digital radiography. Gastrointest Endosc 2014;79:669–674.
crossref pmid

11. Mahmoud N, Hostettler A, Collins T, Soler L, Doignon C, Montiel JMM. SLAM based quasi dense reconstruction for minimally invasive surgery scenes. arXiv Preprint arXiv 2017;1705:09107.


12. Mahmoud N, Cirauqui I, Hostettler A, et al. ORBSLAM-based endoscope tracking and 3D reconstruction. In: Peters T, ed. International Workshop on Computer-Assisted and Robotic Endoscopy. Berlin: Springer, 2016:72–83.


13. Turan M, Almalioglu Y, Araujo H, Konukoglu E, Sitti M. A non-rigid map fusion-based direct SLAM method for endoscopic capsule robots. Int J Intell Robot Appl 2017;1:399–409.
crossref pmid pmc

14. Li B, Meng M. Computer-based detection of bleeding and ulcer in wireless capsule endoscopy images by chromaticity moments. Comput Biol Med 2009;39:141–147.
crossref pmid

15. Li B, Meng MQ. Tumor recognition in wireless capsule endoscopy images using textural features and SVM-based feature selection. IEEE Trans Inf Technol Biomed 2012;16:323–329.
crossref pmid

16. Liu G, Yan G, Kuang S, Wang Y. Detection of small bowel tumor based on multi-scale curvelet analysis and fractal technology in capsule endoscopy. Comput Biol Med 2016;70:131–138.
crossref pmid

17. Yung D, Sykes C, Koulaouzidis A. The validity of suspected blood indicator software in capsule endoscopy: a systematic review and meta-analysis. Expert Rev Gastroenterol Hepatol 2017;11:43–51.
crossref pmid

18. Carvalho PB, Magalhães J, Castro FD. Suspected blood indicator in capsule endoscopy: a valuable tool for gastrointestinal bleeding diagnosis. Arq Gastroenterol 2017;54:16–20.
crossref pmid

19. Sainju S, Bui FM, Wahid KA. Automated bleeding detection in capsule endoscopy videos using statistical features and region growing. J Med Syst 2014;38:25.
crossref pmid

20. Tsuboi A, Oka S, Aoyama K, et al. Artificial intelligence using a convolutional neural network for automatic detection of small-bowel angioectasia in capsule endoscopy images. Dig Endosc 2020;32:382–390.
crossref pmid

21. Aoki T, Yamada A, Kato Y, et al. Automatic detection of blood content in capsule endoscopy images based on a deep convolutional neural network. J Gastroenterol Hepatol 2020;35:1196–1200.
crossref pmid

22. Aoki T, Yamada A, Aoyama K, et al. Automatic detection of erosions and ulcerations in wireless capsule endoscopy images based on a deep convolutional neural network. Gastrointest Endosc 2019;89:357–363.e2.
crossref pmid

23. Aoki T, Yamada A, Aoyama K, et al. Clinical usefulness of a deep learning-based system as the first screening on small-bowel capsule endoscopy reading. Dig Endosc 2020;32:585–591.
crossref pmid

24. Klang E, Barash Y, Margalit RY, et al. Deep learning algorithms for automated detection of Crohn's disease ulcers by video capsule endoscopy. Gastrointest Endosc 2020;91:606–613.e2.
crossref pmid

25. Park J, Hwang Y, Nam JH, et al. Artificial intelligence that determines the clinical significance of capsule endoscopy images can increase the efficiency of reading. PLoS One 2020;15:e0241474.
crossref pmid pmc

26. Ding Z, Shi H, Zhang H, et al. Gastroenterologist-level identification of small-bowel diseases and normal variants by capsule endoscopy using a deep-learning model. Gastroenterology 2019;157:1044–1054.e5.
crossref pmid

Capsule endoscope with stereo camera. The MC4000 (IntroMedic® Co., Seoul, Korea) is equipped with a binocular camera to make advanced use of computer vision technology. It has improved functions while maintaining the size of the previous capsule endoscope.
/upload/thumbnails/kjm-96-3-190f1.jpg
Figure 1.
An example of a 3D-reconstructed small bowel image obtained via capsule endoscopy with a stereo camera. The MC4000 (IntroMedic® Co., Seoul, Korea) with a stereo camera can obtain images with improved quality compared to previous devices, and can generate three-dimensionally reconstructed images using depth information.
/upload/thumbnails/kjm-96-3-190f2.jpg
Figure 2.
Table 1.
Clinical capsule endoscopy studies of lesion detection using deep learning
Study Aim Deep learning architecture Dataset (images) Outcome
Aoki et al. [22] (2019) Detection of small bowel ulcers, erosions SSD 15,800 AUROC 0.958, accuracy 90.8%, sensitivity 88.2%, specificity 90.9%
Klang et al. [24] (2020) Detection small bowel ulcers in Crohn's disease Xception 17,640 AUROC 0.99, accuracy 96.7%, sensitivity 96.8%, specificity 96.6%
Tsuboi et al. [20] (2020) Detection of angioectasia SSD 10,488 AUROC 0.9998, sensitivity 96.6%, specificity 99.9%, accuracy 99.8%, reading speed 40.8 images/second
Aoki et al. [21] (2020) Detection of blood contents ResNet50 27,847 Sensitivity 99.9%, reading time 5.9 minutes
Ding et al. [26] (2019) Detection of abnormal images ResNet 113,426,569 Sensitivity 99.9%
Park et al. [25] (2020) Detection of clinically significant images Inception-ResNet-V2 203,244 AUROC 0.9982, significantly improved lesion detection rate of reviewers

SSD, single shot multibox detector; AUROC, area under receiver operating characteristic curve.

TOOLS
METRICS Graph View
  • 1 Crossref
  •  0 Scopus
  • 2,035 View
  • 87 Download

Editorial Office
101-2501, Lotte Castle President, 109 Mapo-daero, Mapo-gu, Seoul 04146, Korea
Tel: +82-2-2271-6791    Fax: +82-2-790-0993    E-mail: kaim@kams.or.kr                

Copyright © 2024 by The Korean Association of Internal Medicine.

Developed in M2PI

Close layer
prev next