2011 카메라 기반 ADAS 동향 (1/3)

제1장 서론

 

 우리나라는 천연자원이 부족하므로 인적자원을 이용한 제조업 분야에 많은 투자를 해오고 그 기반으로 발전해왔다. 그중 가장 두드러지고 중요한 분야가 바로 자동차 산업이다. 매출 규모는 물론이고 국가에 기여하는 수출 및 고용창출 측면에서 그 국가 경제에 대한 기여도는 어마어마하다.

 

 자동차 산업은 전통적으로 기계, 소재분야가 종합된 산업으로 우리나라 전체 제조업 부가가치의 11%를 차지하는 부가가치 산업이다. 과거의 자동차 기술은 기계공학을 기반으로 발전하였으나 현재에는 전기. 전자, 즉 전장기술이 급속하게 접목되고 있다. 즉 자동차가 로봇화 되어가고 있는 것이다. 로봇 기술을 자동차에 접목하여 더욱 안전하고 똑똑한 미래형 자동차들이 개발되고 있는 것이 지금 현재의 기술동향이다.  그러나 우리나라의 경우, 기계중심의 자동차 개발 경향은 더욱 심화된것이 사실이지만 지능형 자동차 개발에 있어서는 다른 선진국들에 비해 많이 뒤쳐진 느낌이 있다.

 

 자동차 시장은 제조업의 꽃이라 불릴 만큼 그 시장의 크기와 가치가 어마어마 하지만 가장오래된 산업이다보니 시장이 거의 포화상태이다. 많은 메이저 회사들이 새로운 시장개척을 위해 개발 도상국을 두드리고 있다. 기존 시장유지 또한 아주 치열한 형국이다. 기존 시장에서 소비자의 요구의 맞추기 위한 노력도 엄청나다. 연비개선을 위해  하이브리드, 친환경 디젤차 및 전기차를 개발하고 있다.  그리고 자동차는 이제는 단순히 이동수단만은 아니다. 이제는 운전자 개성, 상황 그리고 열망이 확장된 공간이다. 운전자체의 즐거움이 있어야하고 자동차의 사용성에 있어서도 기쁨이 있어야하고 운전거리가 길면 길 수록 안전도 확보되어야 한다. 이러한 소비자의 안전과 편의를 위한 시스템 ADAS(Advanced Driver Assitance System) 개발도 경쟁이 치열하다. 국가별로 규제를 강화하고 있는 추세의 영향도 있어 첨단 안전 시스템의 개발이 불가피한 형국이다.

 

  이러한 ADAS는 센서의 기술의 발전과 전자/반도체 기술의 발전으로 가능하게되었다. 자동차를 더 똑똑하게 만들기 위해서는 사람의 감각기능처럼 작동할 수 있는 센서들이 필요하다. 근거리 장애물들과 충돌방지를 위해 초음파 센서를 사용하고 더나아가 앞차와 자동 거리 유지 및 충돌방지를 위해 레이더센서를 장착하고 있다.

 

  특히 지능형 자동차가 추구하는 안정성을 증대하기 위하여 카메라를 이용한 영상 시스템이 자동차에 널리 응용되어 개발되고 있다. 예를들어 전방카메라를 장착하여 차선이탈방지, 교통표지반 인식 등의 기능을 수행하고 있고  후방 시야를 확보하기위해 후방카메라를 장착하기 시작했다. 본 기술 조사에서는 카메라를 이용한 ADAS(Advanced Driver Assistance System)의 해외 기술 개발 동향 및 차후 발전 방향을 추정하여서 차후 5년 후 지능형 자동차의 응용을 가늠하고 해외 선진 기술 개발 분야가 있다면 해외와 협력하여서, 국내 개발기간을 단축하거나 직접 개발 방향을 설정하고자 한다.

제2장 국내외 기술개발 현황

 

1.     Automotive Camera

 

  자동차의 안전시스템은 차량주변 환경의 인식에 기초한다. 사람에게 시각정보의 비중이 높듯이 지능형 자동차도 영상정보가 가장 효과적이다. 지능형 자동차의 안전시스템은 정보제공, 경고 및 사고회피, 운전자 편의 등 3가지로 구분된다. 요소기술을 이루는 컴퓨터비전 응용에는 차선 검출, 장애물 검출, 보행자 검출, 교통표지판 인식(TSR), 도로인식 등이 있다. 이러한 기능의 위해 상요되는 카메라는 일반 카메라와 다른 특성이 있다.

 

  자동차용 카메라 센서는 크게 두 가지로 나뉜다. 주변상황을 보기 위한 scene viewing 용도와 주변상황을 이해하고 인식하기 위한 scene understanding 용도이다. 일반적인 카메라는 주변이 너무 밝거나 너무 어두울 경우 우리 눈으로 보는 것보다 실제 정보를 많이 잃게되는데, 자동차에서 카메라 운전자의 제한된 시야를 넓혀주기 위함이므로 주변 빛의 밝기에 영향을 적게 받아야 한다.

 

1) Scene-viewing camera

  Scene-viewing 용도의 카메라는 운전자가 보지 못하는 곳을 볼수 있는 추가적인 정보를 주는 역할을 한다. 가장 좋은 예가 주차를 도와주는 후방카메라이다. 사각지대를 쉽게 모니터 할 수 있어 접촉 사고를 쉽게 예방할 수 있다. 주차용도로 주로 쓰이므로 어두운 곳에서도 빛을 많이 확보할 수 있어야한다.

 

 

 

 

카메라의 빛을 받아들이는 부분은 작은 반도체 소자로, 이 소자의 물리적인 한계로 빛을 흡수하는데 한계가 생기는것이다. 빛을 순간적으로 많이 흡수하려면 아주 민감한 반도체 소자(CMOS)를 사용하여야 한다. CMOS는 electrical charge를 hold하기위한 memory 반도체가 있고, electrical charge가 이동하는데 중점을 둔 logic 반도체가 있다. 빛을 많이 흡수하려는 목적이므로 memory 반도체 공정을 따른 CMOS가 오토모티브용으로 많이 쓰다.

 

 

 

 

  위의 EM스펙트럼을 보면 인간의 눈은 400에서 700nm사이의 빛에 반응하는 반면, 오토모티브용 카메라는 훨씬 넓은 영역에서 반응하며 near-infrared light까지 반응하여 이 영역대의 빛에너지를 이용하여 scene을 좀 더 밝게 할 수 있다.

 

일반 카메라는 해질녁의 직사광선이나 주차장 같은 곳에서는 어둡고 밝은 부분이 뚜렷하여 주변 상황을 선명하게 나타내기 힘들다. 이러한 문제점을 해결하기 위해 자동차용 카메라는 시시각각 변하는 빛상태에서도 주변상황을 선명하게 나타내줄 수 있어야 한다. 이것은 카메라의 Dynamic range와 관련된다. 이는 같은 프레임에서 가장 밝은 픽셀과 가장 어두분 픽셀의 비율을 의미한다. 쉽게말하자면 이는 CMOS의 특성중 하나로 밝고 어두움의 극한 변화를 조정해주는 것으로 우리 인간의 눈과 비슷한 기능이다. 이러한 기능은 디지털 신호처리장치에서 구분하기 힘든 세세한 부분까지 재생할 수 있게 해준다. 이러한 능력은 자동차용 카메라에서 없어서는 안되는 꼭 필요한 기능이다. 주차용 후방카메라에서도 유용하지만 전방카메라를 이용한  lane-departure warning, adaptive headlight control, adaptive cruise control, traffic sign recognition 등의 어플리케이션에서 빛의 큰 영향없이 세부적 요소들을 잡아줄 수 있어서 아주 유용하다.

 

 

 

 

 

 

 

2) Scene-understanding systems

  Scene-understanding systems에서도 기본적으로 High dynamic range, low-light and near-IR sensitivity의 특성이 요구되고 이에 더하여 빠르게 변화하는 context를 캡처하기 위해 fast video frame rate (약 60fps)와 temperature rating이 요구된다. 

 

  Fast video frame rate 기능은 image stabilization, improved auto focus response, and action-sequence capturing burst modes 같은 기능을 향상시켜 준다. 그리고 자동차 응용 분야에서는 전체 시스템 비용을 줄여주는 효과도 있다. Front camera를 이용한 많은  시스템이 있는데 이들이 요구하는 image data를 동시에 실시간으로 공급해 주기 위해서는 여러대의 camera가 필요하지만 fast frame camera 한대면 data를 교대로 공급해줄 수 있어 전체 비용과 공간을 절감할 수 있게 된다.  예를 들어, 카메라가 60 fps로 작동한다면 30 fps는 lane departure warning system에 공금하고 나머지 30fps는 adaptive cruise control이나 pre-crash avoidance system으로 공급할 수 있다.

 

자동차는 극한 온도(심하게 덥거나 심하게 춥거나 -40° ~ 85°) 상황에서도 사용되기 때문에 이러한 extrem temperature condition에서도 camera는 잘 작동해야 한다.

 

 

 

2. Split-view cameras

 

주차장에서 도로로 접근할때나 좁은 골목에서 새로운 길로 나올때에 양쪽 벽이나 건물에 시야가 가려서 접근하는 도로에 접근하고 있는 다른 차량이나 자전거나 보행자가 있는지 없는지 알기가 힘든 경우가 종종 있다. 이러한 불편함을 해결하기 위해 최근에 몇 자동차 시스템 회사들이 split-view camera systems을 개발하고 있다. 이 시스템은 두 개의 CMOS 카메라를 앞쪽 범퍼 양쪽에 설치하여 양쪽을 모니터 할 수 있도록 도와주는 시스템이다.

 

 

 

 

 

 

 

 

 

3. Around Vehicle Monitoring

 

  일반적으로 자동차 안에서 운전자의 주변환경에 대한 가시성은 아주 제한적이다. 최근에 자동차 디자인 트렌드를 보면 측면과 뒤쪽 윈도우들이 점점 더 작아지고 공기역학과 보행자 보호의 일환으로 차체의 윤곽선도 영향을 받는 추세이다. 이런 새로운 차종에서는 가시성이 더욱 떨어질 수밖에 없고 즉 안전하고 정확한 주차나 골목길에서 대로로 나올때의 시야 확보 등이 더욱 어려워 졌다. 이런 연유에서 Rear view camera가 등장하게 되었고 이제는 자동차 둘레에 여러대의 카메라(multi-camera system)를 장착하여 자동차 주위의 즉각적인 시야를 운전자에게 확보해주는 시스템이 개발되었는데 이를 Around Vehicle Monitoring 시스템으로 통칭한다.

 

일반적으로 5개의 카메라가 사용된다. 시야각이 넓은 후방 카메라가 후진시 가려지는 시야를 제공하여 후진 주차나 후진동작을 더욱 안전하고 편하게 해준다. 다른 물체와 충돌이 예상되면 초음파 센서 시스템이 경고음으로 이를 예방해주고 디스플레이에 나타난 예상 경로를 통해 현재 steering wheel 각도에서 어디로 가게될지 쉽게 알 수 있다.  

 

 

  왼쪽 오른쪽 앞쪽 범퍼에 각각 하나씩 설치된 2대의 카메라가  주차장에서 도로로 접근할때나 좁은 골목에서 새로운 길로 나올때에 양쪽 벽이나 건물에 시야가 가려서 접근하는 도로에 접근하고 있는 다른 차량이나 자전거나 보행자가 있는지 알 수 있게 도와준다.

 

  양쪽 윙미러에도 카메라가 한대씩 설치디어 있어 자동차 측면의 시야를 확보해준다. 이를 통해 자동차가 측면에 위치한 물체들로부터 얼마나 떨어져 있는지 즉각적으로 인식이 가능하다.

 

  이 5개의 카메라로 구성된 AVM 시스템을 통해 운전자는 즉각적으로 막힘없는 주변시야를 확보할 수 있어 아주 편리하고 안전한 운전이 가능하다.

  

  지하 주차장과 같은 빛의 양이 적거나 Contrast 가 심한 환경에서 주로 사용되므로 사용되는 카메라는 이의 영향이 적게 받는 센서를 사용하고 시야각 확보를 위헤 사용되는 카메라의 시야각은 172도에 달한다. 이 경우엔 fish eye 효과가 나타나게 마련인데 특별한 image processing algorithm 으로 왜곡되지 않은 이미지로 변환하여 운전자에게 제공한다.

 

카메라가 정확한 거리 정보를 주기가 어렵기 때문에 park assist에 사용되는 utla sonic센서들을 사용하여 거리 정보를 얻고 이를 카메라로 얻은 이미지에 얹어서 운전자가 즉각적으로 거리정보도 확인할 수 있게 해준다.

 

  Land rover, BMW, Volkwagen, Nissan 차종에 설치되어 상용화 되고 있다.