Abstract
Background and Objectives
In recent years, surgical imaging has become important for legal and educational purposes. Significant improvements can be made from the surgeon’s point of view in recording surgical procedures, particularly with respect to the action camera with high-definition video recordings. For otolaryngologic surgery, the surgical view is narrow, and there is a limit to proper imaging using the existing lens of the action camera. Therefore, we aimed to find out if we could obtain surgical images through simple modification of action camera.
Materials and Method
The action camera was modified to match the surgical field. We selected a suitable lens for otolaryngology surgery using a calculation formula. The action camera was simply modified according to the design. The modified action camera can be mounted on the surgeon’s head or the surgical light. We compared the images taken with the modified action camera and the images taken with the existing camcorder. The modified action camera was able to capture a narrow surgical field for otolaryngologic surgery.
최근 법적 및 교육적 목적을 위해 수술 영상 촬영이 나날이 중요해지고 있다. 수술 영상 촬영을 위해 기술 발전에 따른 최신 기법들이 이용되어 왔다.
기술발전과 더불어, 과거에는 고가의 영상 장비에 의존하여야만 고화질의 수술 영상을 얻을 수 있었던 데에 반해 최근 비교적 저렴한 영상장비로도 충분히 목적에 맞는 고화질의 수술 영상을 촬영할 수 있게 되었다. 높은 수준의 화질과 1인칭 시점의 영상을 얻을 수 있는 액션카메라가 보급되면서 여러 분야로 사용 범위를 넓히고 있다. 현재 익스트림 스포츠 장면 및 열대 동물 촬영과 같은 특수한 방송용 목적으로 사용되고 있으며, 개인의 일상생활에서 야외활동 장면을 촬영하는 용도로도 점차 활용되고 있다.
이러한 액션카메라의 편리성을 이용하여 수술 영상을 촬영하려는 시도가 있었고, 신경외과, 외과, 성형외과 수술 등에서 개조되지 않은 액션카메라를 활용하였다는 사례가 발표되었다[1-6].
하지만 기본으로 액션카메라에 부착되어 있는 광각 렌즈의 경우, 개복수술 등의 범위가 넓은 수술에서만 제한적으로 활용 가능하다.
광각이 가지고 있는 fish-eye 왜곡 현상과, 넓은 화각으로는 이비인후과 영역에서 왜곡되지 않으면서 적절한 영역을 갖는 수술 영상을 얻기에는 한계가 있다.
최근 다양한 화각을 이용하기 위해 액션캠을 분해하여 렌즈 등의 영상 구성부를 개조하는 방법이 몇몇 영상 분야에서 이용되고 있다.
따라서 우리는 수학적 계산을 통해 얻어진 화각으로 이비인후과 수술 영역에 맞는 액션카메라 개조 방법을 알아보고, 실제 이비인후과 수술에 적용해 적절한 영상을 얻을 수 있는지에 대해 알아보기로 하였다.
이 연구에서는 SJCAM사(Shenzhen, China)의 SJ4000 Wifi 액션카메라를 이용하였다.
렌즈는 초점거리가 짧으면 광각렌즈가 되고 촬영 화각이 넓어진다. 반대로, 초점거리가 길면 망원렌즈가 되고, 촬영 화각이 좁아진다(Fig. 1).
따라서 기존의 액션카메라에 장착된 광각렌즈의 경우 넓은 화각과 짧은 초점거리로 인해 이비인후과 수술 영역에서 사용할 수 없다.
Lens calculator는 촬영 거리와 센서의 높이로 초점거리를 계산해주는 계산식이다. 이비인후과 영역과 같이 비교적 좁은 수술 필드를 촬영할 때 적합한 화각의 렌즈를 찾기 위해 lens calculator를 이용하였다.
수술 필드의 지름×초점거리=센서의 높이×촬영거리
화각=2×arc tan [센서의 높이/(2×초점거리)]
계산식에 따라 16 mm, 25 mm 두 가지 액션캠 전용렌즈 부품을 구입(https://www.peauproductions.com/collections/sjcam-lenses)하였고, 액션카메라와 렌즈, 고정 액세서리를 포함하여 총 $159로 저렴하게 구입하였다(Table 2, Fig. 2) [10].
설계도에 따라 액션카메라를 개조할 수 있으며, 이후에는 전체를 분해하지 않고도 렌즈를 교체할 수 있어 비교적 간단히 활용 가능하다(Fig. 3).
개조하는 방법은, 헤라 및 십자드라이버를 이용하여 하단의 홈(화살표)에 끼운 후 앞 커버를 들어 올리면(Fig. 3A), 앞 커버가 분리가 된다(Fig. 3B). 렌즈를 시계 반대 방향으로 돌려 분리한 후 7개의 나사를 풀어내면 Fig. 3C와 같이 완전 분해가 가능하다(Fig. 3D).
이후 렌즈 교체는 분해하지 않고도 원하는 렌즈를 선택하여 교체할 수 있다.
개조한 액션카메라를 수술자의 머리에 head mount를 통하여 연결하고, 혹은 clip mount를 이용하여 무영등에 장착하여 보조 인력 없이 집도의 시점에서 1인칭으로 촬영하거나 실시간 모니터링이 가능하다(Fig. 4).
광각렌즈의 경우 화각이 크면 클수록 렌즈 왜곡이 발생하게 된다. 피사체와 촬영 거리를 최대한 짧게 하면 barrel distortion과 같이 중앙부위가 커지고 도드라지는 현상이 발생된다. 반대로 먼 거리의 풍경 사진을 찍게 되면 중앙부위로 갈수록 멀어지는 pincushion distortion이 발생한다.
개조된 액션카메라의 경우 렌즈 교체로 인해 이러한 렌즈 왜곡 및 미세한 유격이 발생하여 초점이 맞지 않는지 확인이 필요하였다.
기존의 촬영 기법인 캠코더와 비교하여 개조된 액션카메라에서 렌즈 왜곡 테스트와 초점 테스트를 각각 진행하였다(Fig. 7).
Fig. 1에서와 같이 렌즈의 초점거리에 따른 촬영 화각의 차이를 알아보았다.
Bayonet을 이용하여 동일한 거리에서 conventional 렌즈(Wide angle 렌즈), 16 mm 렌즈, 25 mm 렌즈로 각각 촬영하였다(Fig. 5).
렌즈의 초점거리에 따라 Bayonet의 크기 및 촬영 범위를 비교할 수 있었다.
우리는 Fig. 5에서 살펴본 bayonet을 이용한 렌즈 별 화각의 차이가 실제 수술에서 어떤 차이를 보이는지 확인해보았다.
Rhinoplasty 수술 시 conventional 렌즈(wide angle 렌즈), 16 mm 렌즈, 25 mm 렌즈를 이용하여 동일한 거리에서 수술 영상을 촬영하였다(Fig. 6) [11].
이를 통해 기존에 장착되어 있는 액션카메라의 conventional 렌즈보다는 lens calculator를 통해 개조한 16 mm와 25 mm 렌즈가 이비인후과 수술 영역에 적합할 것으로 판단되었다.
기존의 촬영 기법과 비교하여 개조된 액션카메라의 우수성을 확인하기 위해 이비인후과의 septoplasty, tonsillectomy, rhinoplasty 수술에서 각각 수술 영상을 촬영하여 비교하였다.
Fig. 8은 이비인후과 수술 [septoplasty(Fig. 8A), tonsillectomy(Fig. 8B), rhinoplasty(Fig. 8C)]시 개조된 액션카메라로 촬영한 사진[Fig. 8A(a), B(a), C(a)]과 캠코더로 촬영한 사진이다[Fig. 8A(b), B(b), C(b)].
교육 목적 및 발표, 환자 대상으로 수술 설명 등 여러 용도로 수술 영상을 필요로 하고 있다.
하지만 이비인후과 수련의들은 보통 수술실에 보조 의사로 참여하며 수술을 배우게 되므로, 집도의의 관점에서 시선을 확보하기 어렵고 수술 시 여러 가지 보조 업무로 인해 신경이 분산될 수밖에 없는 한계가 있다.
또한, 기존 방법으로 수술 영상을 촬영할 때에는 추가 인력이 필요하고 관찰자 시점에서 영상을 촬영하게 된다는 제한점을 가지고 있다.
따라서 이러한 문제점을 해결하기 위해 다양한 시도가 있어 왔고, 현재 기술의 발전으로 액션카메라의 활용에 대한 관심이 커지고 있다.
액션카메라는 작은 크기에 사진과 동영상 촬영이 가능하고, 화질 역시 full HD(1920×1080) 이상의 화질을 촬영할 수 있다. 또한 헬멧이나 팔 등에 부착해 1인칭 시점으로 촬영 가능하기 때문에 작고 가벼운 것이 특징이다. 또한 기존 영상 장비에 비해서도 저렴하다는 장점이 있다[7,10].
의료기기로 개발된 장비는 아니지만, 위와 같은 액션카메라의 장점 때문에 그 응용이 의료에까지 활용할 수 있는 새로운 가능성을 제시하고 있다.
하지만 역동적인 모습을 담으려고 헬멧 등에 붙여놓던 액션카메라는 주변의 배경을 최대한 많이 영상에 담기 위해 기본적으로 넓은 화각을 위한 광각 렌즈가 기본으로 부착되어 있다.
따라서 기존의 액션카메라를 활용하기 위해 개조하는 방법을 생각하였고, lens calculator를 이용하여 이비인후과 수술에 적절한 화각을 계산하였다. 이렇게 계산된 값을 통해 적절한 렌즈를 선택할 수 있었고, 액션카메라를 개조하여 렌즈를 교체할 수 있었다. Fig. 3과 같이 5분 이내로 누구나 손쉽게 개조가 가능하였고, 1회 개조 후에는 분해하지 않고서도 렌즈만 교체가 가능하여 수술에 맞게 렌즈를 교체하여 사용할 수 있었다.
렌즈를 교체하였기 때문에 렌즈 왜곡 및 렌즈 초점에 문제가 발생하는지 확인할 필요가 있었다. 따라서 렌즈 왜곡 및 렌즈 초점 테스트를 하여 기존의 촬영 기법과 개조된 액션카메라와 비교해 보았다.
렌즈 왜곡 테스트의 경우 모눈종이를 각각 촬영할 때 광각의 경우 렌즈 왜곡이 심해져 영상 촬영 시 대상이 왜곡되어 보이며, 초점 테스트의 경우 초점이 잘 맞지 않는 경우 0 주변의 굵은 선들이 흐릿하게 보이게 된다.
캠코더와 개조된 액션카메라의 경우 2가지 테스트에서 차이가 없이 렌즈 왜곡이 발생하지 않았고, 초점도 잘 맞는 것을 볼 수 있었다.
따라서 개조된 액션카메라의 경우 실제 수술 영상 촬영에 문제가 없다는 것을 알 수 있었다.
또한 렌즈의 초점거리에 따른 촬영 화각의 차이를 실사진으로 확인하기 위해 Fig. 5와 같이 동일한 거리에서 각 렌즈로 촬영을 하였다.
액션카메라 구입 시 기본 장착된 렌즈의 경우 광각렌즈이기 때문에 넓은 수술 영역을 촬영할 수 있지만 bayonet이 매우 작게 보여 이비인후과 수술 시 작은 혈관 및 조직을 촬영하기에는 미흡할 것으로 생각되었다.
하지만 16 mm와 25 mm 렌즈의 경우 적절한 크기로 bayonet이 촬영되어 수술 범위가 넓은 이비인후과 수술 시에는 16 mm 렌즈를 사용하고, 수술 범위가 좁은 이비인후과 수술 시에는 25 mm 렌즈를 사용하는 것이 적합해 보였다.
따라서 실제 rhinoplasty 수술에서 어떻게 적용이 되는지 확인해 보기로 하였다(Fig. 6).
광각렌즈의 경우 수술 영역을 넘어 필요하지 않는 범위까지 촬영이 되었으며, 수술 영역을 정확히 확인할 수 없었다. 이에 비해 16 mm와 25 mm 렌즈의 경우 필요로 하는 수술 영역만 촬영이 되어 적절한 수술 영상을 얻을 수 있었다.
16 mm 렌즈의 경우 이비인후과 수술 중 수술 범위가 넓은 두경부 수술에 적합하였고, 25 mm 렌즈의 경우 이비인후과 수술 중 수술 범위가 좁은 비과 수술에 적합하였다.
이를 통해 기존에 장착되어 있는 액션카메라의 conventional 렌즈 보다는 lens calculator를 통해 개조한 16 mm와 25 mm 렌즈가 이비인후과 수술 영역에 더 적합하였다.
이 결과를 바탕으로 16 mm와 25 mm 렌즈를 이용하여 액션카메라를 개조하였고, 개조한 액션카메라로 촬영한 영상과 기존의 촬영 기법인 캠코더로 촬영한 영상을 비교해 보았다.
Fig. 8A(a), B(a), C(a)의 경우 집도의가 head mount로 액션카메라를 장착하여 촬영한 것으로 집도의 시점에서 좁은 수술 영역을 고해상도로 촬영할 수 있었다. 또한 집도의가 head mount를 이용해서 촬영하기 때문에 수술에 필요한 집도의, 보조의, 간호사 이외의 추가 인력이 필요하지 않다는 장점이 있었다.
Fig. 8A(b), B(b), C(b)의 경우 캠코더로 촬영한 것으로 3인칭 시점에서 촬영하기 때문에 적절한 수술 필드를 촬영하기 힘들며, Fig. 8B(b)와 8C(b)와 같이 집도의의 손에 가려지는 경우가 많았다. 또한 Fig. 9와 같이 추가 인력이나 짐벌 등의 추가 장비가 필요하며, 수술 시 근접해서 촬영해야 되기 때문에 수술 영역이 오염(contamination) 될 염려가 있었다. 또한 촬영하는 인원의 경우 원하는 수술 영상을 촬영하기 위해서는 적절한 수술 지식이 필요하였다.
이비인후과의 수술의 경우 시야가 좁아 다른 촬영 기기로는 줌 기능을 활용하거나 영상전용 삼각대를 이용하여야 했고, 이를 통해서도 좋은 영상을 얻기는 힘들었다. 하지만 개조된 액션카메라를 활용하면 좁은 수술 범위를 1인칭 시점으로 선명하게 촬영할 수 있었다.
따라서 이비인후과의 다양한 수술 영역에서도 개조된 액션카메라를 이용하는 것이 유용하다는 것을 확인할 수 있었다.
하지만 우리가 사용한 액션카메라(SJ4000 Wifi)의 경우 기기 자체의 자동초점(auto-focus) 및 손떨림 보정 기능[optical image stabilizer(OIS) or electric image stabilizer(EIS)]이 없어 동영상 촬영 시 영상이 흔들리거나 초점이 맞지 않지 않는 제한점이 있었다.
하지만 자동초점(auto-focus) 및 손떨림 보정 기능(OIS)이 있는 상대적으로 고가의 액션카메라를 사용할 경우 이 문제를 해결할 수 있을 것으로 생각되어 추가 연구를 기획 중에 있다.
앞으로 기술의 발전으로 자동초점(auto-focus) 및 손떨림 보정 기능(OIS), 흔들림 보정기능(gyro sensor)이 있는 저렴한 액션카메라가 나올 것으로 생각되며, 현재 소형 짐벌 등을 이용하여 이를 극복하기 위한 연구를 진행 중에 있다.
결론적으로 액션카메라의 경우 무게가 배터리를 포함하여도 58 gram 정도로 경량·소형화 되어 집도의의 머리에 head mount를 이용하여 추가 인력 없이 집도의 시점에서 1인칭의 고해상도 영상을 획득할 수 있었다.
또한 수술실 무영등에 clip mount를 이용하여 액션카메라를 메달아 촬영하는 방법도 가능하여, 외부 인력의 도움이나 공간을 차지하는 대형 영상 삼각대 등의 추가 장비 없이 다양한 방법으로 촬영이 가능하다는 것을 확인할 수 있었다.
따라서 개조된 액션카메라를 이용하면 이비인후과 수술에서도 편리하면서도 고해상도의 수술 영상을 저비용으로 촬영 가능하며, 집도의의 시점으로 수술 장면을 생생히 담을 수 있어 실제 수술에 활용 가능하다는 것을 확인하였다.
ACKNOWLEDGMENTS
This work was supported by the National Research Foundation of Korea Grant funded by the Korean Government (NRF-2017R1C1B1007454).
REFERENCES
1. Lee CK, Kim Y, Lee N, Kim B, Kim D, Yi S. Feasibility study of utilization of action camera, GoPro Hero 4, google glass and panasonic HX-A100 in spine surgery. Spine (Phila Pa 1976). 2016; 42(4):275–80.
2. Ortensi A, Panunzi A, Trombetta S, Cattaneo A, Sorrenti S, D’Orazi V. Advancement of thyroid surgery video recording: a comparison between two full HD head mounted video cameras. Int J Surg. 2017; 41 Suppl 1:S65–9.
3. Graves SN, Shenaq DS, Langerman AJ, Song DH. Video capture of plastic surgery procedures using the GoPro HERO3+. Plast Reconstr Surg Glob Open. 2015; 3(2):e312.
4. Matsumoto S, Sekine K, Yamazaki M, Funabiki T, Orita T, Shimizu M, et al. Digital video recording in trauma surgery using commercially available equipment. Scand J Trauma Resusc Emerg Med. 2013; 21:27.
5. Muensterer OJ, Lacher M, Zoeller C, Bronstein M, Kübler J. Google Glass in pediatric surgery: an exploratory study. Int J Surg. 2014; 12(4):281–9.
6. Maamari RN, Vemuri S, Tao JP. A modified action camera for high-quality, cost-effective oculofacial surgical videography. Ophthalmic Plast Reconstr Surg. 2015; 31(4):336–7.
7. Nair AG, Kamal S, Dave TV, Mishra K, Reddy HS, Della Rocca D, et al. Surgeon point-of-view recording: using a high-definition head-mounted video camera in the operating room. Indian J Ophthalmol. 2015; 63(10):771–4.
8. Bizzotto N, Sandri A, Lavini F, Dall’Oca C, Regis D. Video in operating room: GoPro HERO3 camera on surgeon’s head to film operations-a test. Surg Innov. 2014; 21(3):338–40.
9. Paro JA, Nazareli R, Gurjala A, Berger A, Lee GK. Video-based self-review: comparing google glass and GoPro technologies. Ann Plast Surg. 2015; 74 Suppl 1:S71–4.
10. Birnbaum FA, Wang A, Brady CJ. Stereoscopic surgical recording using GoPro cameras: a low-cost means for capturing external eye surgery. JAMA Ophthalmol. 2015; 133(12):1483–4.
11. Jung DH, Yoon JS, Choi JC. Standards of photography in rhinoplasty. Korean J Otorhinolaryngol-Head Neck Surg. 1998; 41(2):226–31.