[자율주행] 다중센서기반 물체 탐지/인식 기술 조사

[자율주행] 다중센서기반 물체 탐지/인식 기술 조사

 

관련 기술에 대한 논문을 읽고 배경지식 / 중심 내용 발췌 정리

 

1. 열악한 환경에서의 자율주행을 위한 다중센서 데이터셋 구축

https://jkros.org/_common/do.php?a=full&b=33&bidx=3021&aidx=33759

Journal of Korea Robotics Society

 

-  다중 스펙트럼의 영상 데이터와 라이다, 레이더 등의 데이 터를 획득하기 위해서는 센서 데이터 간의 동기화, 센서좌표 간의 캘리브레이션 등의 기술이 필요하다.

-  카메라의 가격이 다른 센서에 비하여 상대적으로 저렴하고, 색상 등 풍부 한 정보를 제공할 수 있다는 점에서 많이 활용되고 있다.

-  그러나, 야간에 제공하는 정보가 부족하고, 강우, 강설 등에 따른 렌즈의 이물질에 의하여 정보가 왜곡될 수 있는 점 등 열악한 환경에서는 그 성능이 제한될 수 있다.

-  따라서, 이를 극복할 가능성이 있는 다른 파장 대역의 영상을 활용, 근적외선영상(Near Infrared (NIR)), 단파 장영상(Shortwave infrared (SWIR)), 열영상(Thermal (LWIR)).

-  근적외선 영상은 저조도 환경 등에서 유리한 특성

-  단파장 영상은 해무, 안개, 연막 등에 투과성이 상대적으로 높으며, 열영상 대비 선명도가 높기 때문에 활용성이 있다. 다만, 해당 파장 대의 빛이 존재해야 하므로 일반적인 자연광 또는 특수 조명 이 필요한 단점이 있다.

- 열영상은 물체에서 발산하는 원적외선 영상을 측정하여 온도 정보를 파악함으로써, 가시광 영상 대비 야간에 유리, 조명환경에 영향이 적다는 장점이 있다. 반면, 해상력 이 떨어짐.

 

센서 동기화

- 자율주행용 센서 데이터셋을 획득하는데 가장 중요한 부분 중의 하나는 센서 간의 동기화이다. 센서 간의 동기화를 하는 방법은 크게 두가지로 구분할 수 있다. 첫째, 센서데이터 획득 시간을 기준으로 서로 가장 가까운시간대의 데이터를 연관시키는 것이다. 둘째, 하드웨어적으로 트리거 신호를 생성하여 센서 획득 시간의 동기화를 수행하는 것.

- 자율주행의 메인센서인 3차원 라이다 를 기준으로 하여, 회전식 라이다의 특정 회전각도를 읽고, 이 를 바탕으로 라이다의 스캐닝 영역을 계산하고, 그 타이밍을 맞춰 영상 센서의 트리거를 보내는 방식으로 구성된다. 이때, 항법 신호를 같이 수신하여, 해당하는 타임스탬프 및 항법 정보를 포함하도록.

- 실험 중 발생 가능한 에러: 3차원 라이다의 파장이 NIR카 메라의 감지파장과 겹치는 문제로 [Fig. 5]의 (a)와 같이 NIR 영상에 레이저빔이 표기되어 영상이 왜곡되는 현상이 있을 수 있다.

→ 영상의 트리거 타 이밍을 NIR에 레이저가 나타나지 않도록 하면서 서로 가장 가까운 시간대에 트리거 신호를 생성하도록 계산

 

다중 카메라 간 캘리브레이션

- 다중 카메 라 사이의 캘리브레이션은 영상들 간의 호모그래피를 이용하여 영상을 융합