Journal List > J Dent Rehabil Appl Sci > v.41(2) > 1516092179

구내 적외선 카메라의 평가자 간 그리고 평가자 내 신뢰도 평가: 탐색적 연구

초록

목적

구내 적외선 카메라로 치은 온도 측정 시 평가자간, 그리고 평가자내 신뢰도를 평가하는 것이다.

연구 재료 및 방법

상악 중절치, 측절치 부위에 결손이 없는 21명을 대상으로 총 5부위의 치은 온도를 측정하여 급내 상관 계수와 일치 상관 계수를 산출하고, Bland & Altman plot을 이용하여 시각화하였다.

결과

평가자간 급내 상관 계수는 0.913으로 Cicchetti & Sparrow 분류의 Excellent에 해당하는 수준을 나타내었다. 평가자간 및 평가자내 평균 일치 상관 계수는 각각 0.78, 0.28으로 차이를 보였다. A1과 A3, A2과 A3의 일치 상관 계수가 각각 -0.051, -0.003으로 Altman분류의 poor에 해당한다. 본 연구의 모든 Bland & Altman plot에서 두 측정값쌍의 평균이 커짐에 따라 두 측정값쌍의 차이가 양 또는 음의 방향으로 변동이 증가하는 양상은 관찰되지 않았다.

결론

본 연구의 한계 내에서 구내 적외선 카메라 사용에 따른 평가자간, 평가자내 신뢰도 평가 시 평가자간 신뢰도에서는 좋은, 그러나 평가자내 신뢰도에서는 낮은 수준의 신뢰도를 보였다.

Abstract

Purpose

To evaluate interrater and intrarater reliability in measuring gingival temperature with an infrared camera.

Materials and Methods

A total of 21 subjects were included who had no missing in the maxillary central and lateral incisors. Gingival temperatures of total of 5 areas were measured to calculate intraclass correlation coefficient and concordance correlation coefficient and visualize using Bland & Altman plot.

Results

The intraclass correlation coefficient for interrater was 0.913 and the average concordance correlation coefficients for interrater and intrarater were 0.78 and 0.28, respectively. The concordance correlation coefficients of A1 and A3, and A2 and A3 are -0.051 and -0.003, respectively, which correspond to poor in Altmans’ classification. In all Bland & Altman plots in this study, there was no observed increasing/decreasing tendency the difference between two pairs of measurement values increased in positive or negative direction as the average of the two measurement pairs increased.

Conclusion

Within the limitations of this study, interrater and intrarater reliability of gingival temperature measurement using the infrared camera was good and low, respectively.

서론

2017년 미국 및 유럽 치주학회의 공동 워크샵에서 제안된 새 질환 분류에 따르면 치주 질환 및 상태(periodontal diseases and condition)는 크게 치주 건강, 치은 질환 및 상태(periodontal health, gingival diseases and condition)과 치주염(periodontitis), 기타 치주 조직에 영향을 미치는 상태(other conditions affecting the periodontium)로 구분된다.1 치은염은 가역적이며 염증이 치은에 국한되는 반면, 치주염은 부착 소실 및 치주 인대와 치조골의 비가역적 파괴가 일어난다. 따라서 치은의 염증 소견을 조기에 진단하는 것은 치주질환 진행을 예방하기 위해 매우 중요하다.
치은의 염증은 색조 변화, 크기, 견고도, 표면 구조, 출혈 등을 관찰하여 평가할 수 있다. 이 중 탐침 시 출혈은 색조 변화나 부종 등의 징후보다 먼저 나타나기 때문에 초기 치은 염증 탐지에 유리하다.2 하지만 탐침 시 통증은 큰 단점으로,3,4 Chung 등은 유지 관리 환자의 15 - 25%가 검사 시 동통을 경험한다고 하였다.5 치은 온도는 치은 염증의 또 다른 임상 지표이다. Holthuis 등에 따르면 탐침 시 출혈이 있거나 치태 및 치석 침착 부위의 치은 온도가 각각 그렇지 않은 부위보다 높았다.6 이러한 치은 염증 부위의 국소적 온도 상승은 미세혈관 변화와 세포 대사 증가에 기인하는데, 염증이 존재할 경우 모세혈관이 확장되어 혈류량이 증가하고 혈류 속도는 감소한다.7-10 따라서 치은 온도 측정은 치은 염증의 초기 발견에 잠재력 있는 방법으로 제시되었으며,11,12 치주 질환의 활성도를 평가하는 데 유용한 지표로 제안되고 있다.13
적외선 열화상 분석(infrared thermography)은 의학에서 당뇨병성 신경병증,14,15 혈관 장애,16 유방암 진단,17,18 체온 연구,19 발열 검사,20,21 뇌 영상 연구,22 피부 질환,23 근육 장애와 어깨 충돌 증후군,24 류마티스 질환,25 간 질환26 등 여러 방면에서 활용되고 있다. 이 분석법의 장점은 비접촉, 비침습적인 방법을 통해 빠르고 즉각적인 모니터링이 가능하기 때문에 실시간의 동적 변화를 기록할 수 있고, 피부 표면에서 방출되는 8 - 12 μm 파장 범위의 적외선을 기록하기 때문에 장기간 반복적으로 사용 가능하다.27,28 반면 치의학에서는 초음파 스케일러 사용 시 발생하는 열을 측정하거나,29 치수내 혈행을 확인하여 치수의 생활력을 진단하는 연구30에 활용된 사례가 있으나 아직 그 활용이 제한적이다.
본 연구의 목적은 구내 적외선 카메라를 이용하여 치은 온도 측정 시 평가자간(interrater), 그리고 평가자내(intrarater) 신뢰도(reliability)를 평가하는 것이다.

연구 재료 및 방법

본 연구는 상악 중절치, 측절치 결손이 없는 21명의 대상자를 포함하였다.
측정 공간에 전자식 온습도계를 비치하여 온도 및 습도를 기록한 이후 연구 대상자를 유니트 체어에 앙와위(supine position)로 위치시켜 3-way syringe로 해당 부위를 30초간 건조 후, 타액 흡입기를 장착한 채 개구 상태로 약 5분간 기후 순응 후 촬영을 시행하였다. 측정 부위는 양측 상악 중절치, 측절치 협측 치간 유두의 기저부(치은연을 이은 선과 치간 유두 2등분선의 교차점)(S1, S3, S5), 양측 상악 중절치 변연 치은(S2, S4) 총 5부위였다(Fig. 1). 사용된 적외선 카메라는 Lepton® 3.5 (Teledyne FLIR, Wilsonville, Oregon, USA) 카메라 모듈로 long-wave infrared (LWIR) 센서를 탑재하여 8 - 14 μm의 파장을 감지하며 해상도는 160 × 120 pixels이었다. 이미지 내 각 픽셀은 Radiometry enabled mode (TLinear) 및 Image J® (National Institutes of Health, Bethesda, Maryland, USA) 프로그램을 통해 절대 온도(K)로 변환되었다. 센서의 온도 민감도는 50 mK이었다. 평가자내 일치도 평가를 위해 한명의 평가자가 Day 1 (A1, A2), Day 2 (A3)에 3회 측정을 시행하였으며 평가자간 일치도 평가를 위해 세 명의 평가자가 Day 2에 각 1회 치은 온도 측정을 시행하였다(A3, B, C) (Fig. 2, 3).
평가자간, 평가자내 신뢰도를 측정하기 위한 연구 대상자 수는 Walter 등31에 따라 유의 수준(α) = 0.05, 검정력(1 - β) = 80%, ρ0 = 0.4, ρ1 = 0.75, n = 3으로 설정 시 각각 k = 18으로 계산되었다(k: 연구 대상자 수; n: 평가자 수; ρ0: 최소한으로 허용가능한 수준의 신뢰도; ρ1: 대립 가설 하의 ρ의 기본 값). ρ0는 Cicchetti & Sparrow32의 poor와 fair의 경계인 0.4로, ρ1은 good과 excellent의 경계인 0.75로 설정하였다.
치은 온도 측정의 신뢰도는 급내 상관 계수(intraclass correlation coefficient, ICC)33를 산출하고, Bland & Altman plot34을 이용하여 시각화하였다. Shapiro–Wilk test로 정규성을 평가하였다. 평가자간 신뢰도는 ICC (2, k),33 평가자내 신뢰도는 일치 상관 계수(concordance correalation coefficient, CCC)35로 평가하였다. 평가자간 측정치와 평가자내 측정치를 각각 Bland & Altman plot으로 비교하였다. 치은 온도 중 A1, A2 측정값이 정규성을 만족하지 않아 평가자간(A3, B, C), 평가자내(A1, A2, A3) 치은 온도 비교에 Kruskal–Wallis test 및 사후 검정을 위한 Mann–Whitney U test를, Day 1, 2의 측정 공간의 온도와 습도 비교를 위해 Mann-Whitney U test를 시행하였다. 유의 수준은 α = 0.05 이었다. 사용된 통계 프로그램은 SPSS® version 29.0이었다(IBM SPSS Statistics, Chicago, USA).

결과

본 연구의 대상자는 남성이 12명(57.14%), 여성이 9명(42.86%)이었고, 이들 연령의 중앙값(median)은 27세(사분위수 범위[interquatile range, IQR] = 25 - 29)이었다.
측정 조건 별 측정한 연구 대상자들의 치은 온도의 중앙값은 A1 = 30.8°C (IQR = 30.2 - 31.5°C), A2 = 30.8°C (IQR = 30.3 - 31.5°C), A3 = 30.1°C (IQR = 29.5 - 30.9°C), B = 30.1°C (IQR=29.5 - 30.5°C), C = 30.1°C (IQR = 29.6 - 30.7°C)이었다. 이 때 치은 온도 비교 시 A1, A2가 B보다 더 높았다(P < 0.005) (Table 1, Fig. 4).
평가자간 ICC는 0.913 (95% confidence interval[CI] = 0.879 to 0.938; P < 0.001), 평가자간 CCC의 평균은 0.78이었다(Table 2).
평가자간 신뢰도에 대한 Bland & Alman plot 에서 짝지어진 두 측정값의 일치도(agreement)가 높음을 시각적으로 확인할 수 있으며, 두 측정값 쌍의 평균(x축 값)이 커짐에 따라 두 측정값의 차이(y축 값)의 변동이 증가하는 양상이 관찰되지 않고 무작위적으로 분포하는 것을 통해 측정 온도와 불일치(bias)의 크기가 관련이 없음을 알 수 있다(Fig. 5).
평가자간 신뢰도에서 측정값 간 차이의 평균은 A3과 B의 plot에서 0.145 (95% CI = 0.017 to 0.273), A3와 C의 plot에서 0.031 (95% CI = -0.111 to 0.173), B와 C의 plot에서 -0.114 (95% CI = -0.202 to -0.026)이었다.
또한 평가자간 신뢰도에서 95% 일치도 한계(limit of agreement)의 상하한값은 A3와 B의 plot에서 1.441 (95% CI = 1.663 to 1.219), -1.152 (95% CI = -1.374 to -0.930), A3와 C의 plot에서 1.469 (95% CI = 1.224 to 1.715), -1.408 (95% CI = -1.653 to -1.162), 그리고 B와 C의 plot에서 0.775 mm (95% CI = 0.623 to 0.927 mm), -1.003 mm (95% CI = -1.155 to -0.851 mm)이었다.
평가자내 CCC의 평균은 0.28이었다(Table 2).
평가자내 신뢰도에 대한 Bland & Alman plot 에서 짝지어진 두 측정값의 일치도(agreement)가 높음을 시각적으로 확인할 수 있으며, 두 측정값 쌍의 평균(x축 값)이 커짐에 따라 두 측정값의 차이(y축 값)의 변동이 증가하는 양상이 관찰되지 않고 무작위적으로 분포하는 것을 통해 측정 온도와 불일치(bias)의 크기가 관련이 없음을 알 수 있다(Fig. 5).
평가자내 신뢰도에서 측정값 간 차이의 평균은 A1과 A2의 plot에서 -0.015 (95% CI = -0.090 to 0.061), A1과 A3의 plot에서 0.751 (95% CI = 0.482 to 1.020), A2와 A3의 plot에서 0.766 (95% CI = 0.517 to 1.014)이었다.
평가자내 신뢰도에서 95% 일치도 한계(limit of agreement)의 상하한값은 A1과 A2의 plot에서 0.746 (95% CI = 0.616 to 0.876), -0.775 (95% CI = -0.906 to -0.645), A1과 A3의 plot에서 3.477 (95% CI = 3.011 to 3.943), -0.975 (95% CI = -2.441 to -1.509), 그리고 A2와 A3의 plot에서 3.352 mm (95% CI = 2.921 to 3.782 mm), -1.820 mm (95% CI = -2.250 to -1.390 mm)이었다.
측정 공간의 온도는 Day 1 (중앙값 = 23.2°C, IQR = 22.8 - 23.9°C)이 Day 2 (중앙값 = 22.9°C, IQR = 22.6 - 23.3°C) 보다 높았다(P < 0.001)(Table 3, Fig. 4). 측정 공간의 습도는 Day 1 (중앙값 = 55.0% RH, IQR = 54.0 - 57.5% RH)이 Day 2 (중앙값 = 56.0% RH, IQR = 56.0 - 58.0% RH)으로 Day 1이 Day 2보다 낮았다(P < 0.001)(Table 3).

고찰

본 연구에서 측정 조건별 치은 온도 비교 시 A1, A2가 B보다 더 높았다. 평가자간 ICC는 0.913, 평가자간 및 평가자내 CCC의 평균은 각각 0.78, 0.28이었다. 평가자간 신뢰도와 평가자내 신뢰도에 대한 Bland & Alman plot 에서 짝지어진 두 측정값의 일치도(agreement)가 높음을 시각적으로 확인할 수 있으며, 결과값이 무작위적으로 분포하는 것을 통해 측정 온도와 불일치(bias)의 크기가 관련이 없음을 알 수 있다.
신뢰도(reliability)는 시기, 장소, 평가자 등 측정 조건과 관계없이 측정 값이 일관되고(consistency) 측정 오차(measurement error)가 없는 것을 말한다.36 낮은 신뢰도는 추정을 편향시키고 통계 분석에서 검정력을 낮추어 오진이 발생할 수 있다.37 본 연구의 평가자간 신뢰도는 ICC가 0.913으로 Cicchetti & Sparrow32의 Excellent 에 해당한다. 한편 평균 평가자간 CCC와 평균 평가자내CCC는 각각 0.78, 0.28이었고 A1과 A3, A2와 A3 간 CCC가 각각 -0.051, -0.003였다. CCC는 ICC가 0에서 1의 값을 갖는 것과 달리 -1부터 +1의 값을 가지며 Altman은 < 0.2는 poor, > 0.8은 excellent로 해석해야 한다고 제안하여38 본 연구의 평가자내 신뢰도는 poor에 해당하였다. 구내 적외선 카메라의 낮은 평가자내 신뢰도는 임상에서 초기 치은 염증 판별에 있어 일관성 부족으로 치료 시기를 놓치거나 불필요한 치료를 행하는 경우를 발생시킬 수 있어 단독 진단 도구로서의 활용이 제한될 수 있다. 이러한 문제는 전자 건강 기록 기반 알고리즘이 기존 치주 질환 진단에 있어 오진 가능성으로 분류한 사례들이 치주과 전문의들의 진단과 대부분 일치하지 않았던 Tokede 등39의 연구에서도 보고된 바 있는데, 실제 환자 치료에 부정적 영향을 미칠 수 있으므로 진단 기구의 일관성과 정확성 확보가 임상 적용에 중요함을 의미한다.
본 연구는 일반적인 기대와 달리 평가자간 신뢰도보다 평가자내 신뢰도가 낮게 나타났다. A1와 A2의 CCC는 0.887로 평가자간 신뢰도와 비교 시 더 높은 신뢰도를 보였으나 A3를 포함할 경우 A1과 A3의 CCC는 -0.051, A2와 A3의 CCC는 -0.003으로 평가자내 신뢰도가 더 낮게 나타났다. 이유에 대해 첫째로 Day 1, Day 2 측정 당시 측정 공간의 온도와 습도를 고려해 볼 수 있다. 적외선 카메라를 이용한 열화상 분석에 관한 선행 연구14,16,18,20,23에서 측정 공간의 온도와 습도를 일정하게 유지하였던 반면, 또다른 연구19,24,25,30에서는 측정 공간의 온도를 일정하게 유지하였고, 일부 연구15,17,22,26,29에서는 측정 공간의 온도와 습도에 대한 언급이 없었다. 본 연구에서는 온도와 습도를 일정하게 유지하기 어려운 진료실의 특성을 고려하여 측정 공간의 온도 및 습도를 통제하지 않았다. 본 연구에서 A1, A2, A3 및 B, C간의 직접 온도 및 습도 비교는 측정 시기 또는 평가자에 따른 기준 온도값 차이의 존재 여부를 간접적으로 확인하고자 수행된 보조적 분석으로 A1, A2가 A3, B, C보다 일관되게 높은 온도와 낮은 습도를 나타낸 것을 통해 측정 시기에 따른 환경 조건의 차이에서 기인한 편향이 존재할 가능성을 고려해볼 수 있었다. 측정 공간의 온도는 A1, A2가 A3보다 유의하게 높았으며, 습도는 A1, A2가 A3보다 유의하게 낮았다. 측정 공간의 온도 및 습도가 통계학적으로 유의미한 차이가 있을 때 CCC가 poor에 해당하는 수준으로 산출되었으므로, 측정 공간의 온도 또는 습도 변화가 측정에 미치는 영향과 이를 보정하는 방법에 대한 고려가 필요할 것으로 사료된다.
둘째로, 2019년 American Academy of Thermology에서 제시한 가이드라인40에 따르면, 적외선 카메라의 해상도에 있어 더 높은 이미지 품질과 정밀한 측정, 공간 해상도(spatial resolution) 향상을 위해 640 × 480 pixels 이상의 해상도를 권장하고 있지만, 본 연구에서 활용한 기기의 해상도는 160 × 120 pixels였다. 이러한 해상도의 차이가 측정 결과에 영향을 미쳤을 가능성이 있어 적외선 카메라 CCD 해상도의 개선이 필요할 것으로 생각된다.
연구의 모든 Bland & Altman plot에서 짝지어진 두 측정값의 평균(x축 값)이 커짐에 따라 짝지어진 두 측정값의 차이(y축 값)가 양 또는 음의 방향으로 변동이 증가하는 양상을 보이지 않으므로 수용가능한 수준의 일정한 일치도를 보이는 것으로 해석할 수 있다. 반면 편향(bias)은 두 측정값의 차이의 평균(mean difference)이 0으로부터 얼마나 벗어나 있는지를 의미한다. 평가자내 신뢰도 평가에 대한 A1과 A3, A2와 A3의 Bland & Altman plot에서 차이의 평균이 0.751, 0.766의 편향을 보였다. 이 차이의 평균과 A1과 A3, A2과 A3의 95% 일치한계값인 3.477, -1.975 및 3.352, -1.820을 치주염에 이환되지 않은 사람보다 이환된 사람에서 치은 온도가 약 0.65°C 더 높게 측정되었던 Kung 등41의 선행 연구와 비교하였을 때, 측정오차가 정상 치은과 염증에 이환된 치은의 온도 차이를 탐지하기에 임상적으로 수용가능한 수준보다 큰 것으로 생각된다. 측정 당시 측정 공간의 온도 및 습도의 변화와 낮은 해상도의 영향으로 측정값의 차이가 커져 평가자간 신뢰도보다 평가자내 신뢰도가 낮아진 것으로 보인다. 이러한 차이를 줄이기 위하여 앞서 서술하였던 것처럼 측정 공간의 온도 또는 습도 변화가 측정에 미치는 영향 및 이를 보정하는 방법에 대한 고려와 적외선 카메라 CCD 해상도의 개선이 필요할 것으로 생각된다.
본 연구의 한계는 평가자내 신뢰도 평가를 위한 ICC를 산출하기 위해 표본 크기 계산 시 18명 이상의 연구대상자가 필요하여 21명의 연구대상자가 본 연구에 포함되었으나, 측정값이 정규분포를 따르지 않아 비모수 통계 방법을 이용하였다.

결론

본 연구의 한계 내에서 구내 적외선 카메라의 평가자간, 그리고 평가자내 신뢰도 평가 시 평가자간 신뢰도에서는 높은 신뢰도 수준을 보였으나 평가자내 신뢰도에서는 낮은 수준의 신뢰도를 보였다. 본 탐색적 연구를 기반으로 고해상도 카메라 적용, 자동화된 온도 측정 및 이미지내 온도 추출, 측정 환경 변화와 관련한 보정값 설정 등과 같은 기기 성능의 향상과 연구 대상자 수의 증가 등 연구 설계를 보완하여 구내 적외선 카메라의 활용 가능성을 더 높일 수 있도록 하는 추가 연구가 필요할 것으로 사료된다.

References

1. Tonetti MS, Greenwell H, Kornman KS. 2018; Staging and grading of periodontitis: Framework and proposal of a new classification and case definition. J Periodontol. 89 Suppl 1:S159–72. DOI: 10.1002/JPER.18-0006. PMID: 29926952.
2. Meitner SW, Zander HA, Iker HP, Polson AM. 1979; Identification of inflamed gingival surfaces. J Clin Periodontol. 6:93–7. DOI: 10.1111/j.1600-051X.1979.tb02187.x. PMID: 313407.
3. Heft MW, Perelmuter SH, Cooper BY, Magnusson I, Clark WB. 1991; Relationship between gingival inflammation and painfulness of periodontal probing. J Clin Periodontol. 18:213–5. DOI: 10.1111/j.1600-051X.1991.tb01137.x. PMID: 2061423.
4. Grant DA, Lie T, Clark SM, Adams DF. 1993; Pain and discomfort levels in patients during root surface debridement with sonic metal or plastic inserts. J Periodontol. 64:645–50. DOI: 10.1902/jop.1993.64.7.645. PMID: 8366413.
5. Chung DT, Bogle G, Bernardini M, Stephens D, Riggs ML, Egelberg JH. 2003; Pain experienced by patients during periodontal maintenance. J Periodontol. 74:1293–301. DOI: 10.1902/jop.2003.74.9.1293. PMID: 14584861.
6. Holthuis AF, Gelskey SC, Chebib FS. 1981; The relationship between gingival tissue temperatures and various indicators of gingival inflammation. J Periodontol. 52:187–9. DOI: 10.1902/jop.1981.52.4.187. PMID: 7014824.
7. Lawson RN, Gaston JP. 1964; Temperature measurements of localized pathological processes. Ann N Y Acad Sci. 121:90–8. DOI: 10.1111/j.1749-6632.1964.tb13688.x. PMID: 14237530.
8. Egelberg J. 1966; The blood vessels of the dento-gingival junction. J Periodontal Res. 1:163–79. DOI: 10.1111/j.1600-0765.1966.tb01857.x. PMID: 4225527.
9. Söderholm G, Egeleerg J. 1973; Morphological changes in gingival blood vessels during developing gingivitis in dogs. J Periodontal Res. 8:16–20. DOI: 10.1111/j.1600-0765.1973.tb00737.x. PMID: 4272067.
10. Nuki K, Hock J. 1974; The organisation of the gingival vasculature. J Periodontal Res. 9:305–13. DOI: 10.1111/j.1600-0765.1974.tb00686.x. PMID: 4281826.
11. Parakkal PF. 1979; Proceedings of the workshop on quantitative evaluation of periodontal diseases by physical measurement techniques. J Dent Res. 58:547–53. DOI: 10.1177/00220345790580020101. PMID: 368091.
12. Singh DK, Kumar G. 2021; Subgingival temperature: A forgotten cardinal sign of gingival inflammation. Int J Acad Med. 7:240–9. DOI: 10.4103/IJAM.IJAM_147_20.
13. Rams TE, Slots J. 2024; Elevated subgingival temperature infers high bacterial pathogen counts in severe periodontitis. Clin Exp Dent Res. 10:e891. DOI: 10.1002/cre2.891. PMID: 38706420. PMCID: PMC11070767.
14. Bagavathiappan S, Philip J, Jayakumar T, Raj B, Rao PNS, Varalakshmi N, Mohan V. 2010; Correlation between plantar foot temperature and diabetic neuropathy: a case study by using an infrared thermal imaging technique. J Diabetes Sci Technol. 4:1386–92. DOI: 10.1177/193229681000400613. PMID: 21129334. PMCID: PMC3005049.
15. Bharara M, Cobb JE, Claremont DJ. 2006; Thermography and thermometry in the assessment of diabetic neuropathic foot: a case for furthering the role of thermal techniques. Int J Low Extrem Wounds. 5:250–60. DOI: 10.1177/1534734606293481. PMID: 17088601.
16. Bagavathiappan S, Saravanan T, Philip J, Jayakumar T, Raj B, Karunanithi R, Panicker TMR, Korath MP, Jagadeesan K. 2009; Infrared thermal imaging for detection of peripheral vascular disorders. J Med Phys. 34:43–7. DOI: 10.4103/0971-6203.48720. PMID: 20126565. PMCID: PMC2804148.
17. Wishart GC, Campisi M, Boswell M, Chapman D, Shackleton V, Iddles S, Hallett A, Britton PD. 2010; The accuracy of digital infrared imaging for breast cancer detection in women undergoing breast biopsy. Eur J Surg Oncol. 36:535–40. DOI: 10.1016/j.ejso.2010.04.003. PMID: 20452740.
18. Ng E, Kee E. 2008; Advanced integrated technique in breast cancer thermography. J Med Eng Technol. 32:103–14. DOI: 10.1080/03091900600562040. PMID: 17852648.
19. Bouzida N, Bendada A, Maldague XP. 2009; Visualization of body thermoregulation by infrared imaging. J Therm Biol. 34:120–6. DOI: 10.1016/j.jtherbio.2008.11.008.
20. Bitar D, Goubar A, Desenclos JC. 2009; International travels and fever screening during epidemics: a literature review on the effectiveness and potential use of non-contact infrared thermometers. Euro Surveill. 14:19115. DOI: 10.2807/ese.14.06.19115-en. PMID: 19215720.
21. Ng EY, Kawb G, Chang W. 2004; Analysis of IR thermal imager for mass blind fever screening. Microvasc Res. 68:104–9. DOI: 10.1016/j.mvr.2004.05.003. PMID: 15313119.
22. Shevelev IA. 1998; Functional imaging of the brain by infrared radiation (thermoencephaloscopy). Prog Neurobiol. 56:269–305. DOI: 10.1016/S0301-0082(98)00038-0. PMID: 9770241.
23. Di Carlo A. 1995; Thermography and the possibilities for its applications in clinical and experimental dermatology. Clin Dermatol. 13:329–36. DOI: 10.1016/0738-081X(95)00073-O. PMID: 8665441.
24. Park JY, Hyun JK, Seo JB. 2007; The effectiveness of digital infrared thermographic imaging in patients with shoulder impingement syndrome. J Shoulder Elbow Surg. 16:548–54. DOI: 10.1016/j.jse.2006.11.010. PMID: 17560803.
25. Cherkas LF, Carter L, Spector TD, Howell KJ, Black CM, MacGregor AJ. 2003; Use of thermographic criteria to identify Raynaud's phenomenon in a population setting. J Rheumatol. 30:720–2.
26. Mansfield CM, Farrell C, Asbell SO. 1970; The use of thermography in the detection of metastatic liver disease. Radiology. 95:696–8. DOI: 10.1148/95.3.696. PMID: 5442682.
27. Maldague XP. Nondestructive evaluation of materials by infrared thermography. 1st ed. London; Springer Science & Business Media; 1993. 10.1007/978-1-4471-1995-1_1
28. Lahiri BB, Bagavathiappan S, Jayakumar T, Philip J. 2012; Medical applications of infrared thermography: a review. Infrared Phys Tech. 55:221–35. DOI: 10.1016/j.infrared.2012.03.007. PMID: 32288544. PMCID: PMC7110787.
29. Lea SC, Landini G, Walmsley AD. 2004; Thermal imaging of ultrasonic scaler tips during tooth instrumentation. J Clin Periodontol. 31:370–5. DOI: 10.1111/j.1600-051X.2004.00491.x. PMID: 15086619.
30. Kells BE, Kennedy JG, Biagioni PA, Lamey PJ. 2000; Computerized infrared thermographic imaging and pulpal blood flow: Part 1. A protocol for thermal imaging of human teeth. Int Endod J. 33:442–7. DOI: 10.1046/j.1365-2591.2000.00257.x. PMID: 11307463.
31. Walter SD, Eliasziw M, Donner A. 1998; Sample size and optimal designs for reliability studies. Stat Med. 17:101–10. DOI: 10.1002/(SICI)1097-0258(19980115)17:1<101::AID-SIM727>3.0.CO;2-E.
32. Cicchetti DV, Sparrow SA. 1981; Developing criteria for establishing interrater reliability of specific items: applications to assessment of adaptive behavior. Am J Ment Defic. 86:127–37.
33. Koo TK, Li MY. 2016; A guideline of selecting and reporting intraclass correlation coefficients for reliability research. J Chiropr Med. 15:155–63. DOI: 10.1016/j.jcm.2016.02.012. PMID: 27330520. PMCID: PMC4913118.
34. Bland JM, Altman DG. 1986; Statistical methods for assessing agreement between two methods of clinical measurement. Lancet. 1:307–10. DOI: 10.1016/S0140-6736(86)90837-8.
35. Lin LI. 1989; A concordance correlation coefficient to evaluate reproducibility. Biometrics. 45:255–68. DOI: 10.2307/2532051. PMID: 2720055.
36. Kong KA. 2017; Statistical methods: reliability assessment and method comparison. Ewha Med J. 40:9–16. DOI: 10.12771/emj.2017.40.1.9.
37. Ten Hove D, Jorgensen TD, van der Ark LA. 2024; Updated guidelines on selecting an intraclass correlation coefficient for interrater reliability, with applications to incomplete observational designs. Psychol Methods. 29:967–792. DOI: 10.1037/met0000516. PMID: 36048052.
38. Akoglu H. 2018; User's guide to correlation coefficients. Turk J Emerg Med. 18:91–3. DOI: 10.1016/j.tjem.2018.08.001. PMID: 30191186. PMCID: PMC6107969.
39. Tokede B, Yansane A, Brandon R, Lin GH, Lee CT, White J, Jiang X, Lee E, Alsaffar A, Walji M, Kalenderian E. 2024; The burden of diagnostic error in dentistry: A study on periodontal disease misclassification. J Dent. 148:105221. DOI: 10.1016/j.jdent.2024.105221. PMID: 38960000.
40. Schwartz RG, Getson P, O'Young B, Brioschi M, Haddad D, Campbell J, Horner C, Usuki H, Mustovoy A, Crawford J. 2022; Schwartz A, Rea N. Guidelines for dental-oral and systemic health infrared thermography-2019 edition. Pan Am J Med Thermol. 5:41–55.
41. Kung RT, Ochs B, Goodson JM. 1990; Temperature as a periodontal diagnostic. J Clin Periodontol. 17:557–63. DOI: 10.1111/j.1600-051X.1990.tb01105.x. PMID: 2212085.

Fig. 1
Gingival temperature measurement sites (yellow points).
jdras-41-2-110-f1.tif
Fig. 2
Intraoral scanning using infrared camera.
jdras-41-2-110-f2.tif
Fig. 3
Intraoral scan images. (A) Grayscale RAW image, (B) Heatmap image.
jdras-41-2-110-f3.tif
Fig. 4
Box and Whisker plot for gingival and room temperature (°C).
Asterisk indicates statistically difference (*: P < 0.005 [Bonferroni correction], **: P < 0.001).
jdras-41-2-110-f4.tif
Fig. 5
Bland & Altman plot for interrater and intrarater reliability.
Red line and black dashed lines indicate mean and 95% upper and lower limits of difference, respectively.
jdras-41-2-110-f5.tif
Table 1
The median and (interquartile range) temperature (°C) for each subject’s measurement area
Site / Rater S1 S2 S3 S4 S5 Average
A1 30.7 (30.2 - 31.3) 30.8 (30.4 - 31.6) 30.5 (30.0 - 31.4) 30.8 (30.4 - 31.7) 30.9 (30.3 - 31.7) 30.8 (30.2 - 31.5)a
A2 30.7 (30.1 - 31.4) 30.8 (30.4 - 31.6) 30.4 (30.1 - 31.4) 30.9 (30.3 - 31.9) 31.0 (30.5 - 31.7) 30.8 (30.3 - 31.5)a
A3 30.0 (29.4 - 31.1) 30.0 (29.5 - 30.9) 30.0 (29.1 - 30.8) 30.1 (29.3 - 31.0) 30.3 (29.6 - 30.7) 30.1 (29.5 - 30.9)a, b
B 30.0 (29.3 - 30.5) 30.0 (29.4 - 30.6) 30.0 (29.3 - 30.4) 30.1 (29.7 - 30.6) 30.2 (29.5 - 30.5) 30.1 (29.5 - 30.5)b
C 30.0 (29.5 - 30.7) 30.0 (29.6 - 30.9) 29.8 (29.8 - 30.6) 30.3 (29.7 - 30.8) 30.1 (29.6 - 30.7) 30.1 (29.6 - 30.7)a, b
Average 30.3 (29.8 - 31.0) 30.5 (29.8 - 31.1) 30.2 (29.6 - 30.9) 30.5 (29.9 - 31.1) 30.4 (29.9 - 31.0)

a, b: different letter indicates statistically difference (P < 0.005) from post-hoc analysis of Kruskal-Wallis test between five rater groups. Groups with shared letters are not significantly different.

Table 2
Intraclass correlation for interrater reliability and concordance correlation coefficient for interrater and intrarater reliability
Type of reliability Comparison ICC CCC 95% CI P-value
Interrater reliability - 0.913 - 0.879 to 0.938 < 0.001
A3 - B - 0.739 0.648 to 0.809 < 0.001
B - C - 0.860 0.805 to 0.900 < 0.001
C - A3 - 0.729 0.627 to 0.807 < 0.001
Intrarater reliability A1 - A2 - 0.887 0.839 to 0.922 < 0.001
A2 - A3 - -0.003 -0.140 to 0.133 0.933
A3 - A1 - -0.051 -0.192 to 0.091 0.451

Boldface indicates statistically difference (P < 0.05).

95% CI, 95% confidence interval; CCC, concordance correlation coefficient; ICC, intraclass correlation coefficient.

Table 3
The median and (interquartile range) of temperature and humidity of the room
A1 A2 A3 B C
Temperature (°C) 23.2 (22.8 - 23.9) 23.2 (22.8 - 23.9) 22.9 (22.6 - 23.3) 22.9 (22.6 - 23.3) 22.9 (22.6 - 23.3)
Humidity (%RH) 55.0 (54.0 - 57.5) 55.0 (54.0 - 57.5) 56.0 (56.0 - 58.0) 56.0 (56.0 - 58.0) 56.0 (56.0 - 58.0)