Journal List > J Korean Acad Oral Health > v.45(4) > 1148667

VGG-16 딥러닝 알고리즘을 활용한 우식치아와 건전치아 분류

Abstract

Objectives

Diagnosis of dental caries is based on the dentist’s observation and subjective judgment; therefore, a reliable and objective approach for diagnosing caries is required. Intraoral camera images combined with deep learning technology can be a useful tool to diagnose caries. This study aimed to evaluate the accuracy of the VGG-16 convolutional neural network (CNN) model in detecting dental caries in intraoral camera images.

Methods

Images were obtained from the Internet and websites using keywords linked to teeth and dental caries. The 670 images that were obtained were categorized by an investigator as either sound (404 sound teeth) or dental caries (266 dental caries), and used in this study. The training and test datasets were divided in the ratio of 73 and a four-fold cross validation was performed. The Tensorflow-based Python package Keras was used to train and validate the CNN model. Accuracy, Kappa value, sensitivity, specificity, positive predictive value, negative predictive value, ROC (receiver operating characteristic) curve and AUC (area under curve) values were calculated for the test datasets.

Results

The accuracy of the VGG-16 deep learning model for the four datasets, through random sampling, was between 0.77 and 0.81, with 0.81 being the highest. The Kappa value was 0.51-0.60, indicating moderate agreement. The resulting positive predictive values were 0.77-0.82 and negative predictive values were 0.80-0.85. Sensitivity, specificity, and AUC values were 0.66-0.74, 0.81-0.88, and 0.88-0.91, respectively.

Conclusions

The VGG-16 CNN model showed good discriminatory performance in detecting dental caries in intraoral camera images. The deep learning model can be beneficial in monitoring dental caries in the population.

서 론

치과의사가 치아우식을 탐지하는 전통적인 방법은 육안관찰을 통한 시진, 치과용 탐침을 통한 촉진, 방사선사진 판독이 있다1). 이러한 방법들은 상당 부분 진행된 치아우식의 진단에는 효과적이지만, 치과의사의 주관적 판단이 개입되며, 초기 단계의 우식 진단에는 민감도와 특이도가 낮은 단점이 있다2-4). 이러한 사실은 치과마다 충치 진단의 차이가 발생하는 원인 중 하나이다. 따라서, 치아우식 진단을 위한 정확하고 객관적인 평가 방법의 개발은 치과 진단 분야에서 매우 중요한 과제이다5).
카메라 영상 기술 발달에 힘입어 현재는 고해상도의 확대 치아 사진 촬영이 가능하다. 치과의사는 모니터를 통해 치아우식을 보다 명확하게 관찰할 수 있으며, 이를 통해 환자와의 효과적인 의사소통과 적절한 치료계획의 수립이 가능하다6,7). 이러한 영상 기술의 활용은 치과의사에 의한 시진의 정확도를 높이는데 도움이 될 수 있다3,8).
딥러닝은 수학적으로 모델링된 인공 신경망(Artificial Neural Network)의 다층 구조에 기반하여, 많은 양의 데이터를 학습해 뛰어난 성능을 이끌어내는 기계학습(머신러닝)의 한 분야이다9). 2010년 이후, 개선된 알고리즘의 개발, 막대한 학습데이터의 축적, 그리고 그래픽 처리장치(GPU)와 같은 하드웨어의 발전은 다양한 연구 및 산업분야에서 딥러닝의 활용성을 증가시켰다10). 특히, 영상을 활용한 질병 진단 분야에서 딥러닝 기술의 활용은 진단의 정확도와 효율성을 높일 수 있기 때문에, 이미 다양한 질병 진단에 딥러닝 기술이 도입되고 있다. 현재 연구되고 있는 영상 자료의 종류에는 MRI, CT, 초음파, 엑스레이, 현미경, 유방 촬영술, 안저 사진, 피부사진 등이 있다11). 영상 이미지 분석에 주로 활용되고 있는 딥러닝 알고리즘은 컨볼루션 신경망(Convolution Neural Network, CNN)으로 생물의 시신경 동작 원리에 영감을 얻어 이미지 데이터의 처리에 적합한 구조로 만들어진 신경망이다. 이 중, VGGNet은 2014년 ImageNet Challenge에서 준우승을 한 대표적인 CNN (Convolution Neural Network) 학습 알고리즘으로, 직관적이며 높은 성능을 보여준다고 알려져 있다12,13).
치의학 분야에서 파노라마 및 치과용 CT, DSLR 카메라 치과임상 사진을 이용한 딥러닝 분석 연구가 수행 중인 것으로 파악되고 있으며, 향후 연구 성과가 기대된다14-16). 하지만, 의과 분야의 다양한 시도에 비해 치과분야의 인공지능 연구는 그리 많지 않으며, 치과진단 분야에서 가장 중요한 해결과제인 치아우식의 정확하고 객관적 진단을 위한 인공지능 연구는 아직 체계적으로 수행되고 있지 않다고 판단된다. 따라서, 본 연구에서는 대표적인 딥러닝 알고리즘인 VGGNet을 활용하여 구강카메라 치아사진 자료를 이용한 우식 감별의 가능성을 확인하고자 하였다.

연구대상 및 방법

1. 데이터 수집과 분류

본 연구에서는 데이터세트 구축을 위해 인터넷 웹 포털 및 SNS 사이트에서 관련 키워드 검색을 통해 자료를 수집하였다. 사이트는 구글, 네이버, 다음, 페이스북, 인스타그램이었으며, 검색 키워드는 치아, 치아우식, 충치, tooth, teeth, dental caries, caries, dental cavity를 사용하였다. 검색된 이미지에서 건전, 우식 치아로 예상되는 치아를 이미지 캡쳐하여 jpg 파일로 저장하였다. 총 1,017개의 치아 이미지를 수집하였다.
국민구강건강실태조사 치아우식 판정 지침17)에 따라 훈련받은 치과의사 조사자 1인이 수집된 치아 이미지를 분류하였다. 우식으로 와동이 형성되었거나 법랑질 하방으로 검은 상아질이 명백히 비춰보이는 치아 이미지를 우식(code 0)으로 분류하였으며, 치아표면에 수복물, 착색, 치면세균막 침착이 없는 깨끗한 치아 이미지를 건전(code 1)으로 분류하였다. 분류 과정에서 우식 또는 건전으로 명확히 분류하기 어려운 치아 이미지는 분류에서 제외되었다. 그 결과, 건전치아 404개, 우식치아 266개, 총 670개의 이미지가 최종 선정되었다. 선정된 이미지들의 파일 크기는 19950.8±63650.2 byte였으며, 사진크기는 최소 34×71, 최대 1440×1402 픽셀이었다.

2. 훈련 및 테스트 데이터셋(dataset)의 구축

딥러닝 모델의 구축과 교차검증을 위해, 무작위 배정 방식으로 선정된 이미지의 70%는 훈련(건전 283개, 우식 186개, 총 469개), 30%는 테스트(건전 121개, 우식 80개, 총 201개) 목적의 데이터셋으로 구분하였다(hold-out validation method). 각 데이터셋 안에서 건전, 우식 치아 수의 비율은 같게 조정하였다. 데이터셋의 구성에 따른 모델의 성능 변화를 비교하기 위하여, 4회의 무작위 배정을 통해 4쌍의 서로 다른 훈련/테스트 데이터셋을 구축하였다(Four-fold cross-vaildation).

3. 딥러닝 알고리즘 구조

딥러닝 모델은 Tensorflow 기반 Python 라이브러리 keras를 사용하여 CNN (Convolution Neural Network) 알고리즘을 활용하였다. 서로 다른 크기의 각 이미지는 CNN 네트워크의 구조에 맞게 224×224 픽셀 크기로 재조정(resize)하였다.
전이학습은 특정 분야에서 학습된 인공지능 신경망의 일부 능력을 유사하거나 전혀 새로운 분야에서 적용하는 알고리즘 방법론을 의미한다. 본 연구에서는 딥러닝 모델의 성능 향상을 위해 VGGNet 모델인 VGG-16 모델(Fig. 1)로 전이학습(transfer learning) 하여 본 연구의 모델을 구성13,18,19)하였다. 실제값과 예측값의 차이를 수치화해주는 함수인 손실함수(loss function)는 이진 크로스 엔트로피(Binary Cross-Entropy)를 적용하였으며, 손실함수 오차에 대한 가중치를 업데이트 시키기 위한 최적화(optimizer) 알고리즘은 확률적경사하강법(Stochastic Gradient Decent, SGD)과 모멘텀(momentum)을 적용하였다(Optimizer=SGD (lr=0.0001, momentum=0.9))20). 훈련데이터셋을 학습하는 횟수(epoch)는 10, 1회 epoch 당 batch size는 1로 설정하였다.

4. 분류 모델 평가

학습된 딥러닝 모델의 예측의 타당도 평가를 위해 테스트 데이터셋에 대한 정확도, 카파값, 민감도, 특이도, 양성예측도, 음성예측도, ROC 곡선 및 AUC 값을 산출하였다. 모델의 신뢰도 평가를 위해 각 데이터셋에서 총 30회 반복 실행하였으며, 각 산출 결과값에 대한 95% 신뢰구간을 계산하였다.

연구 성적

4개의 cross-validation 데이터셋을 통해 구축한 VGG-16 딥러닝 모델의 정확도는 0.77-0.81로 최고 0.81이었고, Kappa 값은 0.51-0.60, 양성예측도 0.77-0.82, 음성예측도 0.80-0.85, 민감도 0.66-0.74, 특이도 0.81-0.88, AUC 0.88-0.91의 분포를 나타냈다 (Table 1).
각 데이터셋에서 30번 반복 구축한 모델 중, 가장 우수한 예측 정확도를 나타낸 모델의 ROC 곡선 및 타당도 값은 Fig. 2와 같았다.

고 안

치아우식은 치면세균막이 만들어내는 산이 치아표면에 작용하여 치아를 탈회시키고 그로 인해 법랑질 및 상아질 구조가 서서히 파괴되고 착색되는 증상을 말한다21). 임상가는 주로 육안으로 치아를 관찰하고, 필요에 따라 치과용 탐침을 이용한 촉진 및 방사선 사진 검사를 통해 치아우식의 존재 여부를 확인한다. 육안으로 치아우식을 판단하는 대표적인 기준인 세계보건기구(WHO) 기준은 임상 진료 뿐만 아니라, 세계 각국의 치아우식경험을 비교하기 위한 역학조사 기준으로 널리 활용되고 있다22). WHO 기준을 준용한 우리나라 국민구강건강실태조사 기준에 따르면, 우식 치면은 치질의 파괴를 동반한 광범위한 검은 변색, 소와하부로부터 법랑질을 통해 뚜렷하게 비춰지는 검은 상아질 우식 부위 등 의심할 여지가 없는 우식와동이 있는 경우에 시진만으로 판정한다고 정의하고 있다. 이러한 WHO 기준은 우식 여부를 판단하는 검사자의 검사자내, 검사자간 신뢰도를 담보할 순 있지만, 초기 단계의 우식을 기록하지 않으며, 숨은 우식(hidden caries)을 간과하게 된다23). 이러한 한계점을 해결하기 위해 우식을 진행단계에 따라 1점부터 6점까지 구분한 ICDAS24) 판정기준이 제안되었지만, 검사자의 훈련과 임상 경험, 그리고 시진에 의존하는 진단 과정은 검사자에 따라 우식 판단의 차이를 발생시킨다25). 이러한 치아우식 진단 과정의 한계점을 보완하기 위해, 본 연구에서는 치아우식 진단에 있어 딥러닝 이미지 분석 기술의 활용가능성을 평가하였다.
의료영상에 대한 딥러닝 분석 기술은 방사선영상, 전산화단층촬영영상, 초음파영상, 자기공명영상, 투시촬영 등에 적용되고 있으며, 흉부, 심장, 뇌, 유방의 질병 진단 분야에서 유의미한 판독 결과가 보고되고 있다26). 치의학 분야에서도 합성곱신경망(CNN) 딥러닝 알고리즘 구조를 활용한 영상 분석 연구가 광범위하게 수행되었다. 치과방사선 영상을 이용한 치아우식, 치근수직파절, 치근단병소, 타액선질환, 상악동염, 악안면낭종 및 치조골소실, 교정용 두부계측 진단 분야 뿐만 아니라, 얼굴 사진, 병리조직학적 현미경 슬라이드 사진, 치아형광 사진과 같은 RGB 영상에 대한 딥러닝 분석도 보고되었다14-16). 각 연구의 딥러닝 알고리즘은 개발자 특성에 따라 상이하지만, 모델의 예측 정확도 향상을 위해서는 전문가에 의해 올바르게 분류된 양질의 이미지와 대량의 학습 이미지 데이터셋의 구축이 선행될 필요가 있다고 대부분의 선행 연구자는 지적하고 있다.
딥러닝 분석 기술의 정확도 향상을 위해서는 대량의 데이터셋의 구축이 필요하지만, 데이터 확보의 현실적인 어려움이 존재한다. 또한 대용량의 학습데이터는 고성능의 하드웨어를 사용하더라도, 긴 학습시간이 요구된다. 이러한 문제를 해결하기 위해 제안된 방법이 전이학습 모델로, 학습 목적과 상관없는 대용량 데이터로 훈련된 기존의 신경망에 개발 목적에 맞는 학습데이터를 추가 학습하여 모델의 정확도를 높이는 방식이다. ImageNet 영상분류 챌린지 대회를 통해 제안된 Alexnet, VGGNet, GoogLeNet, ResNet 등과 같은 CNN 기반 알고리즘이 전이학습에 활용되며13,27,28), 2014년 공개된 VGGNet은 3×3 크기의 작은 커널에 의해 구성된 16개의 계층(convolution layer)을 깊게 쌓은 합성곱신경망으로, 단순한 구조에 비해 높은 성능을 보여 다양한 이미지 분석 분야에서 딥러닝 전이학습 모델로 많이 사용되고 있다13,29). 본 연구에서는 VGGNet의 하나인 VGG-16 딥러닝 알고리즘을 전이학습을 통해 적용하였으며, 적용 후에 모델의 정확도가 약 0.2 정도 향상되었다(연구 결과에서 제시 안 함).
현재까지 보고된 인공신경망 기반 치아우식 이미지 분류 연구는 주로 방사선 또는 근적외선 투과 사진과 같은 회색조의 사진을 데이터로 활용하였다. Devito 등30)은 교익방사선사진 160장에 대한 인공신경망(Artifitial Neural Network, ANN)의 인접면우식 진단에 대한 AUC 0.884을 보고하였으며, Lee 등31)은 구치부 치근단방사선사진 2,400장을 학습한 합성곱신경망(CNN) 모델의 600장의 테스트 사진에 대한 정확도 82.0%, AUC 0.845를 보고하였다. Schwendicke 등32)은 226장의 구치부 원적외선투과이미지(near-infrared light transillumination, NILT)에 대한 CNN 모델의 훈련 정확도를 0.68, AUC 0.74를 보고하였다. 본 연구에서는 사람의 육안 관찰 정보와 동일한 디지털 카메라 사진을 이용하였다. 김33)은 디지털 카메라 사진 100장을 이용해 CNN 전이학습 모델을 구성한 뒤, 40장의 테스트 사진에 대한 정확도는 90.0%, AUC는 0.963을 보고하였다. 본 연구의 데이터셋(학습 469장, 평가 201장)을 통해 구축한 딥러닝 모델의 우식 분류 정확도는 데이터셋 1에서 0.81 (95% CI 0.81-0.82), AUC 0.91, 민감도 0.71, 특이도 0.88을 나타냈다. Bader 등34)은 와동형 교합면 우식에 대한 시진의 민감도와 특이도는 각각 0.63, 0.89, 그리고 방사선 사진검사의 민감도와 특이도는 0.39, 0.91로 보고한 바 있다. 비록, 본 연구에서는 웹에서 무작위로 수집된 치아 이미지를 활용하여 치아우식 분류 딥러닝 모델을 구축하였지만, 본 연구를 통해 구강카메라 임상 사진을 이용한 딥러닝 치아우식 예측 모델에 관한 후속 연구의 가능성을 확인하였다.
본 연구에서는 데이터셋의 변화에 따른 모델의 차이를 비교하기 위해 four-fold cross-validation을 이용하여 4개의 모델을 각각 구성하였다. 또한 동일한 데이터셋에서 30번의 학습 과정을 통해 모델의 안정성을 평가하였다. 데이터셋에 따라 모델의 성능 차이가 관찰되었으며, 각 cross-validation 데이이터셋 1, 2, 3, 4에서 가장 낮게 나타난 정확도는 각각 0.76, 0.51, 0.65, 0.58이었다. 또한 동일 데이터셋에서도 30번의 반복 결과, 정확도의 편차가 0.08, 0.32, 0.17, 0.25까지 나타났다. 이를 통해 학습데이터의 변화는 모델의 성능에 영향을 미치며, 동일한 데이터셋과 딥러닝 알고리즘이라 하더라도 모델의 예측 정확도는 달라짐을 확인하였다. 따라서 치아우식 예측을 위한 딥러닝 모델을 구축할 때는, 치과 임상의 실제 테스트 데이터셋을 먼저 확보한 뒤, 그에 따른 훈련 데이터셋을 일차로 구축한 후, 딥러닝 네트워크가 맞추지 못하는 군들의 사진을 추가하면서, 모델을 반복 실행하여 최고의 성능과 효율을 나타내는 훈련 데이터셋과 딥러닝 알고리즘을 개발해야 할 것이다.
본 연구의 한계점은 다음과 같다. 딥러닝 모델의 정확도를 높이기 위해서는 양질이면서 다량의 이미지로 훈련(training) 데이터셋을 구성해야 하지만11), 본 연구에서는 다량의 사진 수집에 한계가 있었다. 수집한 데이터 중 검사자가 분류하기 모호한 치아 이미지는 제외하고 명확한 건전, 우식 치아 사진만을 사용하였기 때문에, 치아우식의 연속적 특성을 고려하지 않았다. 현실 데이터의 누락이 없도록, 학습데이터를 건전과 초기우식, 우식의 3단계로 구분한 딥러닝 모델을 고려할 필요가 있다. 본 파일럿 연구에서 딥러닝 모델 성능 향상을 위한 하이퍼파라미터 조정은 시행하지 않았다. 추후 연구에서는 하이퍼파라미터 조정과 협업을 통한 모델 성능 개선을 수행하고자 한다. 한편, 인공지능 딥러닝 기술이 인간의 시각적 판단을 높은 정확도로 재현할 수 있는 기술이지만, 치아우식 여부와 치료필요 여부를 판단하기 위해서는 치과의사의 시진, 촉진, 방사선사진 검사를 통한 종합적인 검토가 필요하다. 따라서 이러한 딥러닝 알고리즘에 의한 판단은 절대적이지 않으며, 오직 임상적 상황에서 부가적으로 사용되어야 할 것이다.

결 론

본 연구의 여러 한계점에도 불구하고, 제한된 양의 치아 사진 데이터로 훈련된 VGG-16, CNN 딥러닝 모델은 치아 사진에서 우식을 탐지함에 있어, 최대 81%의 정확도와 중등도 수준의 카파일치도를 보였다. 양질의 학습자료와 알고리즘 개선을 통해 성능이 향상된 치아사진 우식 판별 딥러닝 모델은 치과의사의 진단을 보조하고, 인구집단의 우식을 모니터링하는 데 활용될 수 있을 것이다.

Notes

*This work was supported by a 2-Year Research Grant of Pusan National University.

References

1. Pitts NB. 2001; Clinical diagnosis of dental caries: a European perspective. J Dent Educ. 65(10):972–978. DOI: 10.1002/j.0022-0337.2001.65.10.tb03472.x. PMID: 11699999.
crossref
2. National Institutes of Health. 2001; Diagnosis and management of dental caries throughout life. NIH consensus statement. 18(1):1–23. DOI: 10.14219/jada.archive.2001.0343. PMID: 11575024.
3. Pretty IA. 2006; Caries detection and diagnosis: novel technologies. J Dent. 34(10):727–739. DOI: 10.1016/j.jdent.2006.06.001. PMID: 16901606.
crossref
4. Boye U, Willasey A, Walsh T, Tickle M, Pretty IA. 2013; Comparison of an intra-oral photographic caries assessment with an established visual caries assessment method for use in dental epidemiological studies of children. Community Dentist Oral Epidemiol. 41:526–533. DOI: 10.1111/cdoe.12049. PMID: 23566100.
crossref
5. Fejerskov O, Nyvad B, Kidd EAM. 2015. Chaper 10. The foundations of good diagnostic practice. Dental Caries: the Disease and Its Clinical Management. 3th ed. Wiley Blackwell;Oxford: p. 173–190.
6. Alassaad SS. 2011; Incomplete cusp fractures: Early diagnosis and communication with patients using fiber-optic transillumination and intraoral photography. Gen Dent. 59:132–135. PMID: 21903523.
7. Obrochta JC. Efficient & Effective Use of the Intraoral Camera. Available from: media. dental care.com/media/en-US/education/ce367/ce367.pdf. Accessed 2012 Dec 19.
8. Gimenez T, Piovesan C, Braga MM, Raggio DP, Deery C, Ricketts DN, et al. 2015; Visual inspection for caries detection: a systematic review and meta-analysis. J Dent Res. 94:895–904. DOI: 10.1177/0022034515586763. PMID: 25994176.
9. Kim BM. 2018; Trend of image classification technology based on deep learning. The Journal of The Korean Institute of Communication Sciences. 35(12):8–14.
10. Gook KH. 2019; Artificial intelligence technology and examples of industrial application. Weekly technology trend. 20:5–27.
11. Song KD, Kim M, Do S. 2019; The latest trends in the use of deep learning in radiology illustrated through the stages of deep learning algorithm development. J Korean Soc Radiol. 80(2):202–212. DOI: 10.3348/jksr.2019.80.2.202.
crossref
12. Choe Gh. 2018; Latest Research Trends in Convolutional Neural Networks. Communications of the Korean Institute of Information Scientists and Engineers. 36(2):25–31.
13. Simonyan K, Zisserman A. 2015; Very deep convolutional networks for large-scale image recognition. arXiv 2015;1409.1556.
14. Hwang JJ, Jung YH, Cho BH, Heo MS. 2019; An overview of deep learning in the field of dentistry. Imaging Sci Dent. 49(1):1–7. DOI: 10.5624/isd.2019.49.1.1. PMID: 30941282. PMCID: PMC6444007.
crossref
15. Khanagar SB, Al-Ehaideb A, Maganur PC, Vishwanathaiah S, Patil S, Baeshen HA, et al. 2021; Developments, application, and performance of artificial intelligence in dentistry-a systematic review. J Dent Sci. 16(1):508–522. DOI: 10.1016/j.jds.2020.06.019. PMID: 33384840. PMCID: PMC7770297.
16. Babu A, Onesimu JA, Sagayam KM. Artificial Intelligence in dentistry: Concepts, Applications and Research Challenges. DOI: 10.1051/e3sconf/202129701074.
crossref
17. Ministry of Health & Welfare. 2019. 2018 Korean National Oral Health Survey. :Ministry of Health & Welfare;Seoul: p. 382.
18. Deng J, Dong W, Socher R, Li LJ, Li FF. 2009. 06. ImageNet: A large-scale hierarchical image database. In : 2009 IEEE conference on computer Vision and Pattern Recognition; DOI: 10.1109/CVPR.2009.5206848.
crossref
19. Lee KS, Jung SK, Ryu JJ, Shin SW, Choi J. 2020; Evaluation of transfer learning with deep convolutional neural networks for screening osteoporosis in dental panoramic radiographs. J Clin Medi. 9(2):392. DOI: 10.3390/jcm9020392. PMID: 32024114. PMCID: PMC7074309.
crossref
20. Kang MJ. 2020; Comparison of Gradient Descent for Deep Learning. Journal of the Korea Academia-Industrial cooperation Society. 21(2):189–94.
21. Fejerskov O, Nyvad B, Kidd EAM. Chaper 2. Dental Caries: what is it? Dental Caries: the Disease and Its Clinical Management. 3th ed. Wiley Blackwell;Oxford: p. 7–10.
22. Petersen PE, Baez RJ. World Health Organization. Oral health surveys: basic methods. 5th ed. World Health Organization .
23. Fejerskov O, Nyvad B, Kidd EAM. Chaper 3. Clinical feature of caries lesions. Dental Caries: the Disease and Its Clinical Management. 3th ed. Wiley Blackwell;Oxford: p. 11–20.
24. Ismail AI, Sohn W, Tellez M, Amaya A, Sen A, Hasson H, et al. 2007; The International Caries Detection and Assessment System (ICDAS): an integrated system for measuring dental caries. Community Dent Oral Epidemiol. 35(3):170–178. DOI: 10.1111/j.1600-0528.2007.00347.x. PMID: 17518963.
crossref
25. Gimenez T, Piovesan C, Braga MM, Raggio DP, Deery C, Ricketts DN, et al. 2015; Visual inspection for caries detection: a systematic review and meta-analysis. J Dent Res. 94:895–904. DOI: 10.1177/0022034515586763. PMID: 25994176.
26. Hong JY, Park SH, Jung YJ. 2020; Artificial intelligence based medical imaging: An Overview. Journal of Radiological Science and Technology. 43(3):195–208. DOI: 10.17946/JRST.2020.43.3.195.
27. Krizhevsky A, Sutskeve I, Hinton GE. 2012; Imagenet classification with deep convolutional neural networks. NIPS. 25:1097–1105.
crossref
28. Szegedy C, Liu W, Jia Y, Sermanet P, Reed S, Anguelov D, et al. 2015; Going deeper with convolutions. In:. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 1–9. DOI: 10.1109/CVPR.2015.7298594.
29. Prajapati SA, Nagaraj R, Mitra S. 2017; Classification of dental diseases using CNN and transfer learning. In: 2017 5th International Symposium on Computational and Business Intelligence (ISCBI). IEEE. 70–74. DOI: 10.1109/ISCBI.2017.8053547.
30. Devito KL, De Souza Barbosa F, Felippe Filho WN. 2008; An artificial multilayer perceptron neural network for diagnosis of proximal dental caries. Oral Surg Oral Med Oral Pathol Oral Radiol Endod. 106:879e84. DOI: 10.1016/j.tripleo.2008.03.002. PMID: 18718785.
crossref
31. Lee JH, Kim DH, Jeong SN, Choi SH. 2018; (2018). Detection and diagnosis of dental caries using a deep learning-based convolutional neural network algorithm. J Dent. 77:106–111. DOI: 10.1016/j.jdent.2018.07.015. PMID: 30056118.
32. Schwendicke F, Elhennawy K, Paris S. 2020; Friebertshäuser P, Krois J. Deep learning for caries lesion detection in near-infrared light transillumination images: A pilot study. J Dent. 92:103260. DOI: 10.1016/j.jdent.2019.103260. PMID: 31821853.
33. Kim SJ. 2019. Reliability evaluation of dental caries detection using deep learning [master's thesis]. Seoul National University;Seoul: [Korean].
34. Bader JD, Shugars DA, Bonito AJ. 2021; Systematic reviews of selected dental caries diagnostic and management methods. J Dent Educ. 65(10):960–968. DOI: 10.1002/j.0022-0337.2001.65.10.tb03470.x. PMID: 11699997.
crossref

Fig. 1
VGG-16 network architecture.
jkaoh-45-4-227-f1.tif
Fig. 2
Receiver operating characteristic (ROC) curves for highest performance deep learning model in each dataset. (A) CV (cross-validation dataset) 1. (B) CV 2. (C) CV 3. (D) CV 4.
jkaoh-45-4-227-f2.tif
Table 1
Performance metrics and 95 % confidence interval for VGG-16 deep learning models for classification of dental caries in this study
CV 1 CV 2 CV 3 CV 4
Accuracy 0.81 (0.807-0.820) 0.78 (0.757-0.810) 0.77 (0.757-0.784) 0.78 (0.765-0.798)
Kappa value 0.60 (0.585-0.614) 0.55 (0.514-0.593) 0.51 (0.477-0.535) 0.54 (0.517-0.570)
PPV 0.82 (0.790-0.853) 0.77 (0.721-0.815) 0.78 (0.739-0.827) 0.77 (0.726-0.824)
NPV 0.83 (0.807-0.851) 0.85 (0.819-0.874) 0.80 (0.777-0.829) 0.83 (0.807-0.855)
Sensitivity 0.71 (0.658-0.756) 0.74 (0.688-0.801) 0.66 (0.586-0.725) 0.72 (0.659-0.780)
Specificity 0.88 (0.847-0.917) 0.81 (0.736-0.880) 0.84 (0.793-0.894) 0.82 (0.763-0.877)
AUC 0.91 (0.909-0.912) 0.90 (0.903-0.906) 0.88 (0.877-0.880) 0.89 (0.894-0.898)

CV, cross-validation dataset; PPV, positive predictive value; NPV, negative predictive value; AUC, area under curve.

TOOLS
Similar articles