2011 카메라 기반 ADAS 동향 (2/3)

4. Blind Spot Detection

 

  운전 도중 차선번경은 항상 위험을 감수해야한다. 특히 옆차선의 차량이 굉장히 빠르게 혹은 느리게 움직일 때가 그러하다. 그리고 윙미러가 커버못해 운전자가 보지 못하는 사각지대가 존재한다. 이 사각지대에 다른 자동차가 있는지 알려주는 시스템이 바로 BLIND SPOT DETECTION 시스템이다. 특히 운전자가 갑자기 차선변경을 해야할때 유용하다.

 

  차선변경은 순간적으로 결정을 내려야하는 능력이 요구된다. 이때 옆차선으로 다가오는 차량의 속도나 거리에 대한 정보가 아주 중요한 역할을 한다. 이때 Blind spot detection 시스템이 이러한 정보를 줌으로써 운전자의 안전을 더 향상 시켜줄 수 있다.

 

  빠르게 다가오는 차량이 사각지대에 있는지 정확하고 빠르게 알기위에서는 일반적으로 Radar sensor가 쓰인다. 자동차 뒷편 양쪽으로 하나씩 설치된 radar가 양쪽 차선으로 다가오는 차량을 감지하고, 이들이 사각지대에 위치하고 있을때 이 위험을 윙미러상에 표시로 알려준다. 운전자는 차선변경을 할때 반사적으로 윙미러를 보게되고 이때 사각지대 위험 표시가 보이면 윙미러상에 다른 차량이 보이지 않더라도 사각지대에 다른 차량이 있음을 즉각적으로 알게된다.

 

  Blind spot detection 시스템은 다른 환경에서도 유용하다. 예를 들면 T형 주차에서 후진으로 나올때 뒷편으로 다가오는 차량이나 보행자에 대한 위험을 감지해서 알려줄 수도 있다.

 

일반적으로 24GHz 의 multimetric wave를 내는 radar를 사용한다. 측정 최대거리는 8 m 정도 되어 반경 8 m , 중심각 150 도 되는 부채꼴 영역을 스캔한다. 차량 뒷편 양쪽 측면에 있으므로 두 개의 부채꼴이 뒷편 중심에서 만나 측면까지 펼쳐진 영역을 커버하게 된다.  사용되는 radar는 자동차에 사용되는 특성상 움직이는 mecanical한 부분은 없고 완전히 전자적으로만 동작된다. 그리고 사용되는 multimetric wave는 어떤 날씨 상황에서도 작동하는 유용성을 지닌다.

 

 

 

특별한 radar signal processing algorithm을 이용하여 사가지대에 있는 차량의 type(승용차, 트럭, 오토바이)과 위치, 속도를 정확하게 알 수 있어서 반대방향 차량이나 주차되어있는 차량은 자동으로 걸러지게 된다.

 

 

Radar 대신 ultrasonic 센서를 사용하기도 한다. Ultrasonic 센서는 측정거리가 radar 보다 짧고 다른 차량의 상대속도를 측정하는데 제약이 있기 때문에 위 그림과 같이 앞쪽 측면에 센서가 하나씩 더 필요하다. 그러나 이 센서들은 원래 자동주차시스템의 주차공간 탐색에 이미 사용되고 있는 센서들이라 추가비용이 없다는 장점이 있다.

 

앞쪽 측면 센서들은 탐색된 차량이 반대편에서 다가오는 차량인지 아닌지 판별하는데 사용된다. 측 앞센서가 먼저 검출하고 뒷 센서가 검출하게 되면 반대편에서 다가오는 차량임으로 경고를 발생하지 않게 되는 원리이다. 반대로 뒷센서가 먼저 검출하게 되면 뒤에서 다가오는 위험한 차량이므로 경고를 주게 된다.

 

 

 

Camera를 사용한 Blind spot detection 시스템도 있다. 위 그림처럼 사이드 미러 아래에 카메라를 장착하여 사각지대를 모니터링하고 다가오는 차량을 탐색한다. 이 카메라가 9.5m x 3m 공간을 모니터링 하면서 이 공간에 다른 차량이 들어오면 윈도우 안쪽에 노란 led로 경고를 주게 된다. 단점은 카메라이기 때문에 시야 확보가 안되는 날씨나 상황에서는 잘 작동하지 않는다는 점이다. 장착된 차량이 시속 10km이상 이면 작동하고 다른차량의 속도가 최대 20km 느린 차량부터 최대 70km 더 빠른 차량까지 검출이 가능하다.

 

Cadilac, Buick, chevrolet, gmc, new jaguar xf, volvo ex60, benz에 장착되어 판매되고 있다.

 

 

5. 차량용 블랙박스

 

 차량용 블랙 박스는 비행기에 장착되는 블랙 박스와 그 용도가 같다. 사고 순간의 기록을 통해서 사고 후에 사고의 원인을 규명짓는데 도움이 된다. 일반적으로 사고 전 약 30초 동안 그리고 사고 후 15초 동안의 정보들이 기록되는데 여기서 중요한 것은 자동차의 여러 센서들로부터 오는 정보들을 실시간으로 동기화하고 시간정보를 입력하면서 저장하는 기술이 필요하다. 프랑스 파리의 Mines ParisTech의 로보틱스 센터 CAOR에서 개발한 RT-maps라는 툴은 이를 가능하게 해준다. 이 툴에 대한 자세한 내용은 보고서 후반부에서 찾을 수 있다. CAOR에서는 이 기술을 기반으로 새로운 2세대 차량용 블랙 박스 기술을 내놓았다. 카메라로부터 오는 영상정보까지 함께 실시간으로 저장되어 사고순간의 확인에 더욱 용이한 장점을 가진다.

 

 디자인된 블랙 박스는 FIFO형태로 30초 전까지의 정보를 항상 가지고 있고 에어백이 터치는 순간부터 이후의 15초 정보를 저장하는 형태이다. 이런 블랙 박스 기능은 RT-maps를 상용화한 Intempora사에 의해 구현되었고, 프랑스 파리 LIVIC연구소의 실험용 차량과 실험용 도로에서 실험되었다.

 

 

 

6. Pedestrian Detection

 

 보행자 사고를 줄이기 위해서 Front camera를 이용하여 보행자를 검출해 내는 기술이 속속 나오고 있다. 수많은 보행자 샘플을 추출하여 machine learning를 통해 학습된 image processing 기술을 사용한다. 카메라만으로는 보행자와의 거리정보를 정확하게 알기는 어렵기 때문에 laser나 radar센서를 함께 사용하여 이로부터 얻는 거리 정보와 이미지 정보를 융합하여 정확하게 보행자를 검출하게 된다. 충돌 위험이 있을시 자동으로 경고음을 준다.

 

 보행자 보호를 위한 프랑스 국가 프로젝트인 LOVE를 소개한다. LOVE 는 프랑스어로 Logiciels d'Observation des Vulnerables의 약자로 우리말로 풀이하자면 보행자 발견을 위한 소프트웨어이다. 즉 보행자를 차량으로부터 보호하기 위해서 비젼기술을 이용하여 자동으로 보행자를 발견하는 기술을 위한 프로젝트이다. 프랑스의 완성차 업체인 RENAULT와 부품업체인 VALEO사가 프로젝트 기업 파트너로 있고 Mines ParisTech의 로보틱스 센터 CAOR를 비롯한 여러 연구소들이 참여하였다.

 

 프랑스에서 보행자 사망사고가 연간 900명에 이르기 때문에 보행자 보호는 자동차 안전 시스템 중에서 가장 중요하게 요구되는 기능중의 하나이다.

 

 CAOR는 RT-maps를 기반으로 카메라와 레이더 또는 레이저로부터 오는 측정 데이터들을 실시간으로 퓨전하는 기술로 보행자들을 검출하는 연구를 진행하였다. 이러한 연구를 기반으로 LOVE 프로젝트는 보행자 검출의 정확성을 높이고 기업에서 바로 상용화 할 수 있는 시스템을 개발하는 것이 목표다.

 

다음표는 이 프로젝트에 참가한 기업 및 연구소 목록이다.

 

N°	Partners name	Short name
1	VALEO	VALEO
2	RENAULT	RENAULT
3	L'Unité Heuristique et Diagnostic des Systèmes Complexes	HEUDIASYC
4	Institut d'Electronique Fondamentale	IEF
5	Centre de morphologie mathematique	CMM
6	Centre de Robotique	CAOR
7	Laboratoire sur les interactions vehicule-infrastructure-conducteurs	LIVIC
8	E-motion	E-motion
9	Informatique, Mathématiques et Automatique pour la Route Automatisée	IMARA
10	Instrumentation, control and architecture of advanced robots	ICARE
11	Laboratoire d'Intégration des Systèmes et des Technologies	LIST
12	Laboratoire des sciences et matériaux pour l'electronique et d'automatique	LASMEA

 

7. Traffic Sign Recognition (TSR)

  카메라를 이용한 교통표지판 인식은 안전성의 향상과 교통법규의 준수 등을 위하여 주로 자동차 부품 제조업체에서 연구 개발되고 있다. 교통 표지판은 도로교통의 중요한 정보로서 잠재적 위험 상황을 이용자에게 경고 또는 정보를 제공한다. 주로 제한속도 표지판 인식이 중요한 이슈이다. 교통표지판의 정보는 그 위치에서부터 다음 표지판 위치까지 유요하다. 이때 운전자가 교통표지판을 보지 못하고 지나친 경우 카메라가 검출한 정보를 계속 운전자에게 알려줄 수 있어 유용하다.

 

 

 교통표지를 나타내는 방법으로는 모양, 색깔, 각종 심볼을 사용하며 이와 같은 정보를 통해 운전자는 감지, 인식, 결정, 행동하는 4단계를 거쳐 대응하는 것이 일반적이다. 

 

 TSR을 위해 운전자가 다른데 시야를 빼앗기지 않도록 운전자의 시야에 바로 정보를 뿌려주는 Head Up Display가 점점 사용되고 있는 추세이다.

 

 BMW 7 Series, Mercedes Benz S-classe, Ford Focus 등에 장착되어 나오고 있다.

 

 

8. Over Speed Prevention (OSP)

OSP는 차량이 현재 달리고 있는 구간의 제한 속도값을 운전자에게 알려주어 과속방지를 도와주는 시스템이다. OSP는 기본적으로 TSR에 기반한다. 그러나 TSR은 빛의 영향도 많이 받고 다른 차량에 가려진 교통표지판은 놓치게 되는 경우가 많다. Navigation 시스템을 사용할 수도 있는데 이는 GPS 신호를 기반으로 차량의 현재 위치를 계산하고 현재위치에 적용될 수 있는 제한속도값을 데이터베이스로부터 찾아서 알려준다. 그러나 시스템의 업데이트가 자주 이루어지지 않아서 공사구간의 임시 제한 속나 새로생긴 도로의 제한속도를 정확하게 알려주지 못하는 한계점이 있다.

 

  이러한 각 센서의 약점을 서로 보완하기 위해 두 시스템을 융합(fusion)한다. 각 센서의 특성이 다른 만큼 이 둘은 서로의 약점을 아주 잘 커버한다. 융합 알고리즘으로는 Dempster-Shafer belief theory가 자주 사용된다. 각 시스템의 정확도가 80퍼센트정도 된다고 할때, 융합을 통해서 정확도를 90퍼센트 이상으로 향상시킬 수 있다.

 

  최근에는 네비게이션 정보 포멧을 표준화하기 위한 움직임이 활발하며 이를 통해 ADASIS 프로토콜이 탄생하였다. 앞으로 네비게이션 정보를 이용한 ADAS개발을 위해서는 이 프로토콜 사용이 불가피 할 것으로 예상된다.

 

9. Distance Warning (DW) & Distance Limiter (DL) 

주행중 앞차와의 거리를 측정하여 운전자에게 잠재적인 추돌 위험을 경보하는 시스템다. DWS(Distance Warning System)는 운전자의 주의태만, 야간운행시의 졸음 등으로 인한 불의의 사고를 미연에 방지할 목적으로 차량에 장착되어 1차 경보에도 불구하고 운전자의 조치가 없으면, 2차 경보상태로 돌입하고 2차 경보시는 배기 브레이크를 자동적으로 동작시켜 추돌의 위험을 지연시킬 수 있다.

 

운전자는 자기가 원하는 앞차와의 안전거리를 정할 수 있고 실제 거리가 이 거리보다 짧아지게 되면 경고음을 울려 위험을 알려준다.

 

일반적으로 앞차와의 거리를 측정하기 위해 radar센서를 주로 사용한다. Radar는 일반적으로 Adaptive cruise control을 위해 장착되는데 덤으로 DW이나 Front Collision Warning 시스템도 지원한다. 최근에는 자동차 앞면부에 radar외에도 camera가 함께 장착되는 경우가 많아서 이런 경우에는 camera 정보와 융합하여 정확성을 더 높이기도 한다.

 

Radar가 없고 camera만 있으면 어떻게 할까 ? 비용을 줄이기 위해 최근에는 camera만 사용하여 앞차와의 거리를 정확하게 측정하기 위한 연구가 많이 진행되고 있다. Camera만 사용하면서 radar의 기능을 대신할 수 있으면 그만큼 부가 가치를 키울 수 있다. 그러나 아직까진 Camera만 사용하면서 거리측정을 하기엔 측정값의 정확성을 보장해 줄 수 있는 범위에 한계가 있기 때문에 특정 범위에서만 사용될 수 있을 것이다.

 

이에 더 나아가 Distance Limiter (DL)는 시스템이 설정해둔 차간거리를 넘지 못하게 자동으로 제한해주는 시스템이다. 즉 차간거리가 설정해둔 값보다 클 수 는 있지만 운전자가 이 거리 안쪽으로 들어가려하면 시스템이 브레이크 콘트롤을 통해 자동으로 제한해준다.

 

 

10. Lane Departure Warning (LDW) & Lane Keeping Assist (LKA)

 

  미국에서 행해진 교통사고 유형의 분석에 따르면 약 40%가 차선과 관련하여  일어난다고 한다. 특히 부주의와 졸음 운전중에 차선이탈로 인해 사고가 많이 일어나게 된다. 이런 류의 사고를 방지하기 위해 개발된 시스템이 바로 Lane Departure Warning과 Lane Keeping Assist이다.

 

 

  LDW는 자동차의 윈드스크린과 백미러 사이에 장착된 Front camera를 사용하여 자동차 전방 10m 정도까지 도로를 모니터 한다. 이 이미지들은 적절한 processing algorithm을 통해 처리되고, 이 과정에서 이미지 속의 차선 marking을 검출하고 자동차가 차선을 넘을지 넘지 않을지 계산하게 된다. 운전자가 차선변경 신호 없이 자동차가 차선을 이탈할 위험이 감지되면 운전자는 즉각적으로 경고음을 듣게 되고 핸들을 조정하게 된다. 차선을 이탈하기 전에 알림이 발생하기 때문에 운전자는 충분한 반응시간을 가질 수 있다. LKA는 더 나아가 핸들을 자동으로 콘트롤하여 능동적으로 차선이탈을 방지하여 준다.

 

  작동 방식을 좀 더 자세히 알아보자면 CMOS 센서가 그레이 스케일의 수많은 픽셀을 측정하고 이를 imgae processing software로 보내면 이곳에서 실시간 분석을 통해 이미지 속의 lane marking이 제건축된다. 자동차의 궤적은 ESC(Electonic Stability Control)과 steering wheel sensor, g-force, lateral sensor 등의 조합으로 얻어진다. 이렇게 얻어진 궤적과 imgae processing으로 얻은 lane marking  을 비교해 자동차가 차선을 이탈하게 될지 안될지를 결정하게 되는 것이다. 카메라는 흰 선과 노란 선을 둘다 감지할 수 있고 점선형태도 감지해낸다.

 

Infiniti FX and M45, Renault Scenic, Megane 등에 장착되서 판매중이다.

 

12. Night Vision

  밤 운전은 낮 운전에 비해 시야의 제한으로 추가적인 위험을 감수해야 한다. 하향등은 자동차 앞쪽으로 고작 40m정도만 비처주기 때문에 위험을 감지하고 피하기까지의 시간이 턱없이 부족하다. 이러한 불편함을 해소하고 안전성을 높이기 위해 개발된 시스템이 Night Vision이다.

 

  하향등이 비출 수 있는 거리 제한으로 빛을 내는 장치가 없는 동물이나 보행자는 종종 늦게 발견되기 일수다. 반면 상향등은 멀리까지 비춰주지만 다른 도로 사용자들을 눈부시게 하는 단점이 있어서 자주 사용되지 않는다. 이런 이유로 대형사고의 절반 가까이가 야간에 일어나고 야생동물과의 충돌인 road kill이 빈번히 일어나 동물뿐만 아니라 운전자의 목숨도 위협하고 있다.

 

  Night vision에 사용된 기술은 의외로 간단하다. 헤드램프에 적외선 램프를 장착하여 자동차 앞쪽으로 적외선을 쏘아주고 적외선 카메라를 윈드쉴드와 백미러 사이에 장착하여 적외선 램프로 비춰진 이미지를 캡쳐하여 디스플레이로 운전자에 보여주는 원리이다. 적외선 램프는 사람눈에는 보이지 않아 다른 운전자들이나 보행자에게 불편함을 주지도 않고 전방 150m까지 도달할 수 있어 하향등으로 볼수 없는 곳까지 미리 볼수 있게 해주어 위험을 훨씬 빨리 감지하고 피할 수 있게 도와준다.