운전자 상태 감지 기술 (1/2)

서론

 

우리나라는 천연자원이 부족하므로 인적자원을 이용한 제조업 분야에 많은 투자를 해오고 그 기반으로 발전해왔다. 그중 가장 두드러지고 중요한 분야가 바로 자동차 산업이다. 매출 규모는 물론이고 국가에 기여하는 수출 및 고용창출 측면에서 그 국가 경제에 대한 기여도는 어마어마하다.

 

 자동차 산업은 전통적으로 기계, 소재분야가 종합된 산업으로 우리나라 전체 제조업 부가가치의 11%를 차지하는 부가가치 산업이다. 과거의 자동차 기술은 기계공학을 기반으로 발전하였으나 현재에는 전기. 전자, 즉 전장기술이 급속하게 접목되고 있다. 즉 자동차가 로봇화 되어가고 있는 것이다. 로봇 기술을 자동차에 접목하여 더욱 안전하고 똑똑한 미래형 자동차들이 개발되고 있는 것이 지금 현재의 기술동향이다.  그러나 우리나라의 경우, 기계중심의 자동차 개발 경향은 더욱 심화된것이 사실이지만 지능형 자동차 개발에 있어서는 다른 선진국들에 비해 많이 뒤쳐진 느낌이 있다.

 

  자동차 시장은 제조업의 꽃이라 불릴 만큼 그 시장의 크기와 가치가 어마어마 하지만 가장오래된 산업이다보니 시장이 거의 포화상태이다. 많은 메이저 회사들이 새로운 시장개척을 위해 개발 도상국을 두드리고 있다. 기존 시장유지 또한 아주 치열한 형국이다. 기존 시장에서 소비자의 요구의 맞추기 위한 노력도 엄청나다. 연비개선을 위해 하이브리드, 친환경 디젤차 및 전기차를 개발하고 있다. 그리고 소비자의 안전과 편의를 위한 시스템인 ADAS (Advanced Driver Assitance System) 개발도 경쟁이 치열하다. 국가별로 규제를 강화하고 있는 추세의 영향도 있어 첨단 안전 시스템의 개발이 불가피한 형국이다.

 

  이러한 ADAS는 센서의 기술의 발전과 전자/반도체 기술의 발전으로 가능하게되었다. 자동차를 더 똑똑하게 만들기 위해서는 사람의 감각기능처럼 작동할 수 있는 센서들이 필요하다. 근거리 장애물들과 충돌방지를 위해 초음파 센서를 사용하고 더나아가 앞차와 자동 거리 유지 및 충돌방지를 위해 레이더센서를 장착하고 있다. 특히 지능형 자동차가 추구하는 안정성을 증대하기 위하여 카메라를 이용한 영상 시스템이 자동차에 널리 응용되어 개발되고 있다.

 

  치명적인 자동차 사고의 많은 경우가 운전자의 부주의 및 졸음 운전으로 인해 발생한다. 그래서 최근에는 운전자의 상태를 모니터링하고 경우에 따라 운전자의 주의를 환기시키고 안전운전을 유도하는 시스템들이 많이 연구되고 개발되고 있다.

 

기술개발 동향

기술 개요 및 정의

 

주행 중 운전자의 머리 움직임이나 시선, 생체신호 등을 분석하여 운전자의 상태를 센싱 및 인식하고, 이를통해 운전자의 주의와 집중도를 분석하여 운전자가 보다 안전하고 쾌적한 환경에서 주행할 수 있도록 도와주는 안전운전 지원 기술

 

사회적 이슈

 

·       운전인구의 증가와 자동차 보급률의 지속적인 증가로 인하여 2010년 11월 기준 국내 자동차 보유대수는 1,792만대에 이르며, 자동차 보유대수의 증가와 더불어 차량으로 인한 사고율도 증가, 특히 운전중 발생할 수 있는 운전자 요인human factor)은 도로나 자동차 요인과 함께 교통사고를 발생시키는 중요한 원인

 

·       인간중심의 HVI(Human-Vehicle-Interface)를 마련하고, 운전자의 신체적·인지적 상태와 차량의 주행 상태를 지능적으로 인식하여 운전자에게 최적화된 방식의 인터페이스를 제공함으로써 운전자 편의와 안전을 보장해야 함 

기술적 이슈

 

·       센서 기술을 이용해 운전자의 상태와 특성, 차량 정보, 주행환경 정보 등을 분석해 운행 부하량을 산출하고, 이를 기반으로 졸음운전 경고, 내비게이션 정보제어는 물론 운전자 상태에 따라 외부에서 걸려온 전화 등을 연결할 것인지 여부도 알려줌

 

·       운전자의 행동반응이나 생리신호는 뇌전도 (EEG:electro-encephalogram), 심박수 (HR:heart rate), 피부전기저항 (galvanic skin resistance), 말초혈관반응 (PPG:peripheral plethysmograph), 피부온도 (SKT:skin temperature), 눈깜빡임, 안구운동 (EOG:electrooculogram) 등을 측정하여 분석하는 연구가 이루어짐

 

·       다양한 주행 환경과 운전자들을 대상으로 생체신호 변화를 분석하는 것이 필요하며 이를 효과적으로 수행할 수 있는 분석 protocol 개발이 요구되고, 또한 수집된 운전 생체신호 및 운전 수행도 data를 효과적이고 체계적으로 분석하기 위해서는 평가 및 분석 과정이 system화가 필요함

 

·       운전자 친화형 지능형 HVI 기술을 보급함에 따라 주행상황과 운전자 상태를 감지하고 운전자의 음성/비전 센싱 정보를 통합하여 운전자 편의 정보 서비스 창출하며 실차 주행의 운전자 반응 특성, 상태 정보에 대한 DB를 구축하여 고정밀 운전자 모델 개발 및 선진 시뮬레이션 기술력 증진

 

기술실현의 장애 요인

 

인체 부착 센서의 경우 운전자에게 거부감을 줄 뿐 아니라 비교적 고가의 센서를 구입해야 하는 단점이 있고, 카메라로 영상을 획득하는 경우는 영상을 실시간으로 처리하는 데 따르는 연산이 복잡하여 시간차가 발생

 

 

국내외 기술개발 개괄적 현황

 

- 모바일 오피스 구현을 위한 Human Factor 분석 기술(자동차 부품연구원, 2012)
- HF 기반의 운전자 행태 및 운전패턴 분석 기술 개발(자동차 부품연구원, 2012)
- HMI 사용에 따른 운전부하/피로도 평가 및 정량화 기술 개발(자동차 부품연구원, 2012)
- 운전자상태/주행상황 감시 실용화시스템(ETRI, 2012-2015)
- 지능형 인간-자동차 인터페이스 기술(ETRI, 2009-2012)

새부기술 현황

 

·       Eye Tracker : 운전자 시각인지분석 장비로서 주시각 및 얼굴 방향을 1도 정확도로 추적, Stereo Camera 기반의 3차원 눈동자/얼굴을 인식하여 방향분석, 주시 분석을 통하여 운전자 주의 분산, 기기조작, 인지시간 등 측정

 

·       Scene Camera : 전방 영상과 Eye Tracker를 통해 분석한 주시점을 대조, 운전자가 주시하고 있는 목표물을 표시하여운전 패턴 및 교통 상황에 따른 반응 분석

 

·       생체 신호 분석 장비 : 다양한 생체 신호 분석을 통한 운전자 상태의 객관적 분석
* EEG(뇌파) 8채널, ECG(심전도) 1채널
* EMG(근전도) 2채널, PPG(맥파) 1채널
* GSR(피부전기전도) 1채널, RESP(호흡) 1채널 

 

·       졸음운전 방지 기술 : 운전자의 얼굴 표정 및 눈 깜박거림, 눈 응시방향 등 다양한 시각적 특징들을 이용한 영상 처리 기술로서 일정 범위를 초과하면 운전자에게 경고를 주어 안전운행을 하도록 도움

 

주목할 만한 최신 기술 소개

 

 

Bosch DDD (Driver Drowsiness Detection)

 

연구원/연구소

 

BOSCH

 

기술개요

 

보쉬가 스티어링의 움직임을 모니터링 해 운전자의 집중력 저하를 감지하여 졸음 운전 방지하는 시스템을 발표하였다. DDD(Driver Drowsiness Detection)로 불리는 이 시스템은 폭스바겐사의 파사트에 2010년부터 탑재되었고 최신버젼은 파사트 올트렉에 탑재된다.

치명적 사고의 대부분은 운전자의 집중력 저하 및 졸음 운전에서 비롯된다는 조사가 있다. 피곤 또는 졸음으로 인한 집중력 저하를  DDD 시스템이 감지하고 운전자에게 경고음을 울려 사고 방지에 크게 도움이 된다. DDD는 EPS, 스티어링 앵글 센서와 연동해 스티어링 휠의 움직임을 지속적으로 모니터한다. 평소와 다른 움직임이 발견될 경우 졸음 운전으로 간주하고 경고음을 발생시키는 시스템이다. 

 

주목의 이유

 

집중력이 저하되고 피곤이 몰려오면 운전자의 스티어링 능력이 부정확해지고 반응시간이 느려진다. 졸음이 몰려오기 시작하면 운전자는 스티어링 휠의 작은 에러를 빈번하게 수정하게된다. 보쉬의 DDD 시스템은 운전자가 시동을 걸어 운전을 시작하면 운전자의 핸들링을 모니터링 하기 시작하여 정상적인 행동양상에서 벗어난 움직임이 일어나는지 감시한다. 가장 전형적인 비정상적인 행동은 스티어링이 드물어지고 차선을 유지하기 위한 약하지만 급작스러운 스티어링이다. 이런 변화가 일어나는 빈도, 시간대, 이동 시간 등 여러 파라미터를 고려하여 운전자의 피곤한 정도를 계산한다. 이 값이 어느 문턱값을 넘으면 시스템이 운전자에게 경고 메세지를 주게된다.

파급효과

 

최근의 자동차 핸들에는 핸들이 움직임을 감지하는 센서가 기본으로 장착되어 있다. 보쉬의 DDD 시스템은 기존 차량에 기본적으로 이미 장착되어 있는 센서들로 부터 오는 정보와 기본 정보만을 사용하여 소프트웨어적으로 운전자의 졸음을 감지하는 시스템이기 때문에 비용이 많이 들지 않고 기존에 있던 어느 ECU에나 여유공간이 있으면 장착 가능하다. 즉 적응비용이면서 복잡하지 않은 시스템으로 효과적으로 졸음 운전을 방지할 수 있다.

 

이 밖에 보쉬는 차량 내부 이산화 탄소 농도를 측정하고 자동으로 환기시켜주는 공기 제어 센서도 개발하였다. 차량 안에 승객들이 있을 때, 에어컨을 내부 공기 순환모드로 작동시키면, 승객들은 제한된 산소를 금방 소모하고, CO2는 늘어나게 될 것이다. 이는 졸음을 유발시키고, 집중력을 감소시키며 두통을 유발하기도 한다. 보쉬의 CCS를 사용하면, 절전 에어컨을 작동시켜 차량 내 승객들에게 신선한 공기를 제공할 수 있다.

 

출처

http://www.bosch-presse.de/presseforum/details.htm?txtID=5037&locale=en

http://rb-kwin.bosch.com/kr/ko/automotivetechnology/overview/newsspecial/ccs/

 

스마트폰 앱 기반 시스템

연구원/연구소

Chuang-Wen You/Dartmouth College

Andrew T. Campbell/Dartmouth College

 

기술개요 

졸음운전을 방지하기 위해 제시된 여러 기술 중 비젼을 이용한 운전자의 눈의 형태 변화를 통한 졸음 판단 방법은 운전자에게 비 접촉 방법으로 측정하므로 거부감이 없고 상당히 신뢰도가 높아 많이 사용하고 있다.

최근에는 미국 다트머스대는 스마트 폰 카메라를 이용한 일반 자동차에서도 차선 이탈과 추돌을 막아주는 안전운전용 앱을 개발함으로써, 스마트 폰의 활용범위가 더욱 확장되었다.

주목의 이유

‘카세이프(CarSafe)’라 불리는 이앱은 스마트 폰에 있는 두 대의 카메라를 이용한다. 전면카메라는 운전자의 머리 위치와 시선 눈 깜빡임을 포착하여 운전자가 졸고 있거나 주의가 산만하다고 판단되면 경보음과 함께 스마트폰 화면에 커피 아이콘을 보여준다. 후면은 앞차와의 간격과 차선 이탈을 감시한다. 자동차가 차선을 벗어나거나 앞차와의 간격이 지나치게 가까워지면 역시 경보음을 내어 위험 아이콘을 표시한다. 이 앱은 양면의 카메라 뿐만아니라 스마트폰에 있는 GPS, 가속센서, 자이로센서 정보도 활용하여 판단의 정확성을 높였다. 가장 두드러진 기술은 스마트폰이라는 제한된 제원에서 실시간으로 양쪽 카메라를 스위칭하고 이미지 프로세싱을 하는 알고리즘이다. 

 세부 알고리즘  

옆 그림은 CarSafe 시스템의 작동방식을 개괄적으로 보여주고 있는데 다음과 같은 작업 과정을 포함 한다 : (1) Camera switching, (2) frame dispatching, (3) image prepro- cessing, and (4) driving status inference.

 

이 4가지 단계는 다음과 같이 묘사된다. 먼저 camera switching buffers 를 사용하여 양쪽 카메라에서 오는 이미지를 저장한다. 지금 현재 스마트폰 OS (e.g., Android and iOS)의 제한으로 스마트폰 앱은 한번에 하나의 video stream 만 열 수 있다. 따라서 한번에 양쪽에서 오는 영상을 Switching하는 기술이 필요한데 이는 스마트폰 프로세서에 상당한 부담이 되기 때문이다. 양쪽 카메라를 번갈아 가며 이미지 프로세싱을 할때 딜레이가 생길 수 있어 양쪽 상황을 실시간으로 처리하기가 쉽지않다. 이를 해결하기 위해 다음같은 Camera-switching triggers 를 적용한다 : (1) inferred status updates generated by drowsiness detection or road information monitoring modules, and (2) sensor triggers.

 

CarSafe 앱이 카메라에 연결되면 두 카메라로 들어오는 이미지들이 버퍼에 저장된다. 비록 연속적으로 양쪽 카메라 모두 모니터할 순 없지만 (진정한 양 카메라 멀티테스킹이 되기위해선 스마트폰 하드웨어와 OS의 발전이 필요하다.) 이 앱은 앞서말한 camera switching 전략으로 양쪽면에서 일어나는 중요한 상태변화를 놓치지 않는다. 중간 중간 생기는 프포세싱 딜레이로 인해 현시점에서 좀 멀어진 데이터들이 쌓일 수 있기 때문에 두번째 단계인 Frame dispatching module 은 버퍼로 부터 다음 프로세싱을 위해 가장 최근 프레임을 찾아주는 일을 한다. 이 과정이 전체 시스템이 실시간 프로세싱에 가깝게 해준다. 세번째 이미지 프로세싱 단계에서 스마트폰의 방향과 외부 빛의 영향을 보정해준다. 스마트폰이 장착되는 위치에 따라 측정 이미지가 기울어 질 수 있는데 중력 방향을 감지하여 이미지의 기울어진 각도를 보정하는 방법이다. 더 나아가 카메라가 차가 움직이는 방향으로 같이 이동하면서 외부 밝기도 계속 변하게 되는데 이를 보정하기위해 raw frame에 histogram equalization 방법을 적용하여 보정한다. 마지막 단계에서는 운전자 상태와 도로 차선 및 앞차와 거리 측정 그리고 자동차 움직임 센싱 모듈으로 부터 나온 결과를 분석하여 현재 운전상태를 추론한다. 이 결과에 기반하여 위험이 감지되면 움전자에게 바로 주의를 주게 된다.

 

파급효과

 

원래 안전기능은 자동차 제작 시 만들어지며, 이런 기능을 추가하게 되면 반듯이 자동차 가격이 많이 비싸진다는 단점이 있다. 그리고 이러한 첨단 시스템은 최신 고급 차량에만 장착되어있어 기존의 많은 차량의 운전자들은 혜택을 보기가 힘들다. 그래서 이런 대안으로 개발되고 있는 것이 바로 스마트 폰 앱으로 비교적 접근이 쉽고 비용도 저렴하며 장착도 용이한 장점이 있어 많은 운전자들이 이용할 수 있으며 안전운전에 많은 도움이 되리라 믿는다.

 

출처

http://www.cs.dartmouth.edu/~campbell/carsafe.pdf