[써멀][Thermal]열화상 영상 화질 개선 기초 개념

히스토그램

입력영상을 히스토그램으로 표현했을 경우

히스토그램은 영상의 속성을 잘 표현하기 때문에 영상의 압축, 분할, 내용 기반 검색 등 다양한 영상 처리 분야에서 사용되고 있다. 또한 히스토그램은 그 계산 방법이 매우 간단하기 때문에 소프트웨어 또는 하드웨어로 구현하기가 매우 용이하다는 장점도 가지고 있다.

 

좌측의 영상을 기준으로 각 그레이 스케일에 대한 픽셀 수(빈도)를 나열했을 경우, 좌측과 같은 그래프가 그려진다.

결과적으로, 밝은 값이 없고 어두운 값만 분포되어 있음.

즉, 히스토그램이란 영상의 픽셀들에 대한 명암값의 분포를 나타낸 것이다.

 

 

 

 

 

입력영상의 히스토그램 출력의 예

 

히스토그램 평활화(Histogram Equalized) – AGC, WDR의 기본원리

어둡게 촬영된 영상의 히스토그램을 조절하여 명암 분포가 빈약한 영상을 균일하게 만들어주는 것. 예를 들어 역광으로 찍힌 사진을 밝게 하고 싶을 때 사용한다.

영상화질 개선 절차

   1. 영상 각 픽셀의 명암값의 빈도수를 측정하여 히스토그램 

     생성

   2. 누적 빈도수를 계산

   3. 누적 빈도수를 기준으로 정규화된 누적합을 계산

     -> 히스토그램 평활화를 위한 기준점(중심점)을 찾기위해

   4. 히스토그램 평활화 진행

 

 

 

 

 

 

히스토그램 평활화(Histogram Equalized) – CLAHE

Clahe는 이미지를 일정한 크기를 가진 작은 블록으로 구분하고, 블록별로 히스토그램 평활화를 시행하여 이미지 전체에 대해 균일화를 달성하는 기술이다.

좌측 이미지를 보면, 전체적으로 약간 어두운 느낌을 가지고 있는데, 히스토그램상에도 어두운 곳으로 치우쳐 있는 것으로 확인할 수 있다.

 

 

 

히스토그램 평활화 후, 원본 이미지에 비해 전반적으로 밝아 졌으나, 우리가 원하던 그런 이미지가 아니다. 뒤쪽 배경인 책상 부분은 다소 밝아져 원본에 비해 나아졌지만, 앞 부분의 흰색 석고상 얼굴은 너무 밝아져서 원래의 형체를 알라보기 힘들어졌다.

 

위와 같은 문제점을 해결할 수 있는 것이 바로 Clahe다.

히스토그램 평활화 후, 이미지를 일정한 크기를 가진 작은 블록으로 구분하고, 블록별 히스토그램 평활화를 시행하여 이미지 전체에 대해 균일화를 얻는 방법이다.

 

본론, 열화상 카메라에서의 영상 처리기술에 대해서

일반 컬러 카메라에서는 각 픽셀의 빛의 세기(명암)값을 기준으로 히스토그램을 작성 했다면, 열화상 카메라는 방사 에너지의 세기(온도) 값을 기준으로 히스토그램이 작성된다.

먼저, 환경에 따른 영화상 카메라의 특성에 대해 참조하자.

겨울철 안개상황

3.4~5㎛ 냉각식 파장영역 보다는 비냉각식 파장영역(8~12㎛)이 투과율이 좋다. 거리가 길수록 투과율은 현격히 떨어지게 된다.

 

 

 

 

 

 

 

여름철 안개상황

여름철은 겨울철에 비해 투과율이 떨어지는데, 공기가 더 습하기 때문이다.

 

 

 

 

 

 

 

 

 

영화상 카메라는 검출하는 온도 범위가 높다.

14bit로 ADC해서 나온 영상은 일반 카메라의 표준인 8bit 또는 10bit로 표현해야 해서 화면의 출력에 제한을 가지게 된다.

열화상 카메라는 온도 편차가 낮으면(비, 눈이 오는 경우) 선명도가 떨어진다. – 일반 영상의 FOG같은 느낌.

또한 온도 편차가 커도, 선명도가 떨어진다. – 고온과 저온을 모두 표현해 줘야 하기 때문에 8bit 또는 10bit로 모두 표현하는데 한계가 있다.

특히, 물을 포함하고 있는 안개나 비가 오는 경우 눈으로 보는 것 보다 선명하지만, 영화상 이미지 상에서는 선명도가 떨어지게 된다.

 

Fig1. 해상

Fig2. 보슬비 1시간에 5mm

Fig3. 일반적인 비 1시간에 12.5mm

Fig4. 폭우 1시간에 25mm

 

 

 

 

 

 

 

 

 

SWIR(1.4~3㎛)의 경우, 좌측 사진과 같이 유리 반대편 인식 가능

 

 

 

 

 

 

 

 

 

 

 

좌측사진과 같이 연기 또는 안개가 껴 있는 환경에서 SWIR이 좀 더 선명하게 인식된다.

 

 

 

 

 

 

 

 

 

 

 

[AGC]

열화상 영상에서 히스토그램을 구했다면 그 값에서 MIN, MAX의 5%를 잘라낸 나머지 값을 이용해서 중심 값을 추출하는 방식이다.

[WAGC]

Wide AGC라는 의미로 CUT 5%까지 모든 영역을 다 포함하는 방식이다.

[AGC USER]

사용자가 직접 온도의 MIN, MAX 값을 정하고 그 값 안에서 LEVEL에 따라 동작함.

[LEVEL]

히스토그램 평활화를 위한 영역을 선택하는 것으로 LEVEL 값이 커질 수록 중심에 더 가깝게 설정하게 된다.

[CENTER POS]

히스토그램상에서 CENTER를 이동 시키는 것. – CENTER POS 값을 50 % 아래로 줄이면 좀 더 아래 쪽 온도 영역을 중심으로 AGC를 키워서 더 볼 수 있게 된다. 이 경우 위쪽 AGC LEVEL에 따라 높은 온도 쪽은 CUT되어 표현되지 않게 된다.

 

AGC LEVEL 2(히스토그램 상에서 좌우 영역을 LEVEL 1기준 -5% 영역의 온도 값을 CUT)로 변경하면, 3.8~13.8℃ 사이에 분포된 온도 값을 기준으로 히스토그램 평활화를 진행하므로 위 사진과 같이 표현된다.

 

 

 

 

 

여기서 AGC LEVEL 30으로 변경하면 온도 범위가 7.5~9.2℃로 좁혀져, 그 사이에 분포한 온도 값 만을 이용하여 히스토그램 평활화를 진행 하므로 위 사진 과 같이 표현 된다. (영상 중심의 붉은색 주변은 온도 값이 CUT되어 검은색으로 표현된다.)

 

 

 

 

하지만, 좌측 사진과 같이 해당 온도 범위를 벗어나는 경우,  자동으로 AGC Limit가 풀려 해당 온도범위까지 표현되게 된다. 이유는 영상의 온도차이가 작아 좀 더 자세하게 보여주려고 AGC를 동작 시키는데, 이를 유지하면 감시 목적에 부합되지 않으므로 해당 온도 범위를 벗어나는 경우는 자동으로  LEVEL 을 풀어 영상으로 표현되게 처리하는 경우도 있다.

 

 

 

[ROI]

설정된 영역(영상 중심 기준 상하좌우)을 기준으로 AGC를 수행한다. 아래 사진은 ROI를 아래방향으로 설정하고 나서 형광등을 위 또는 아래로 했을 때이다.

[형광등을 아래로 오게 했을 경우]

형광등 주변이 히스토그램을 판단하는 영역에 들어와서 전체적으로 히스토그램은 우측(온도가 높은 쪽)으로 쏠리게 된다.

따라서 히스토그램 평활화를 하게 되면 좌측 – 온도가 낮은 쪽 – 으로 분포되게 되어 영상이 어두워 지게 된다.

 

[형광등을 위로 오게 했을 경우]

아래쪽이 어둡기 때문에, 이 영역으로 히스토그램을 작성하면 전체적으로 좌측(온도가 낮은 쪽)으로 쏠리게 된다.

좌측으로 쏠린 상태에서 중심을 설정하고 히스토그램 평활화를 진행하면 아래쪽은 밝아지지만 위쪽은 포화된다.