인간 운전자보다 안전한 자율주행차 개발 위해 엄격한 안전 규제 필요
테슬라·크루즈 사고로 안전성 문제 부각, 실리콘밸리의 '빨리빨리' 문화 부작용
안전 전문가 및 규제 기관의 검증 거쳐 엄격한 안전 규제 프레임워크 도입 시급

[해외DS]는 해외 유수의 데이터 사이언스 전문지들에서 전하는 업계 전문가들의 의견을 담았습니다. 저희 데이터 사이언스 경영 연구소 (GIAI R&D Korea)에서 콘텐츠 제휴가 진행 중입니다.

인공지능에 관한 관심이 높아지면서 머신러닝 기술이 자율주행에 어떤 역할을 할 수 있을지에 대한 기대도 높아지고 있다. 그러나 문장을 생성하는 대규모언어모델(LLM)과 공공 도로에서 차량을 운전하는 AI 사이에는 근본적인 차이가 있다. 자율주행차의 소프트웨어는 문장을 생성형 AI 애플리케이션보다 훨씬 더 높은 수준의 정확성과 신뢰성을 갖춰야 하는데, 자율주행은 무인 차량의 탑승자뿐만 아니라 도로를 공유하는 모든 사람의 생명 안전에 영향을 미치기 때문이다. 따라서 생성형 AI에서 자주 보는 '환각'과 '탈옥' 증상은 자율주행에서 가볍게 넘길 수 없는 문제로 인식될 수밖에 없다.

미국에서 인간 운전자의 실수로 인한 심각한 교통사고의 발생 빈도는 이미 현저히 낮은 수준이다. 미국 도로교통안전국(NHTSA)의 교통 통계에 따르면 사망 사고는 360만 시간당 한 번, 부상을 유발하는 사고는 6만1천 시간당 한 번꼴로 발생한다고 한다. 이는 411년 동안 한 번의 치명적인 충돌 사고가 발생하고 7년 동안 24시간 연속으로 운전할 때 한 번의 부상을 유발하는 충돌 사고가 발생한다는 의미다. 하지만 복잡한 소프트웨어 기반 시스템, 특히 자율주행 시스템이 저렴한 가격으로 대량 생산되기 시작하면, 인간 운전자와 같은 수준의 안정성을 확보하는 일은 매우 어려운 일이다.

테슬라 오토파일럿, 운전자 오용 방지 장치 미비로 리콜

특히 무인 자동차 회사 크루즈(Cruise)가 캘리포니아 안전 규제 당국과 부딪힌 문제와 테슬라(Tesla)가 NHTSA와 충돌한 문제를 들여다보면 자율주행 소프트웨어 시스템이 직면한 몇 가지 안전 문제가 두드러진다. 이 두 사건은 단순히 기술적인 문제를 넘어 안전을 최우선으로 고려해야 하는 자율주행 애플리케이션에 실리콘밸리의 '빨리빨리' 문화를 도입하려는 두 회사의 시도가 얼마나 심각한 위험을 초래할 수 있는지를 보여준다. 안전한 시스템을 개발하려면 속도와는 양립할 수 없으며 인내심과 세심한 주의가 필요하다.

먼저 테슬라의 경우, NHTSA는 운전자의 지속적인 감독과 특정 제한된 도로 및 교통 상황에서 운전자의 적극적인 개입을 요구하는 레벨 2 자동화 시스템의 안전 문제를 조사해 왔다. 특히 테슬라 운전자의 자율주행 시스템 사용 중 발생한 일련의 충돌 사고에 대한 2년간의 조사 후, 작년 12월 12일 테슬라가 운전자의 오용 예방에 대한 적절한 안전장치를 포함하지 않았다는 이유로 오토파일럿 기능이 탑재된 차량의 리콜 합의안을 발표했다. 포드나 제너럴 모터스도 비슷한 자동화 기능이 있으나, 이들의 시스템과는 완전히 대조적으로, 테슬라의 오토파일럿은 운전자의 시선을 모니터링하여 운전자의 집중도를 평가하지 않았다. 또한 테슬라의 소프트웨어는 차량 통행이 제한된 고속도로인지 아닌지에 관계없이 어디서나 시스템을 사용할 수 있도록 설계됐다.

간단한 수정만으로도 운전자에게 경각심을 불러일으키고 안전 위험을 줄이기 위해 도로 조건이 적합한 장소로 시스템 사용을 제한할 수 있었을 것이다. 하지만 테슬라는 이를 거부하고 무선 소프트웨어 업데이트를 통해 몇 가지 추가 경고 기능만 구현하는 것에 그쳤다. 시스템이 안전하게 작동하는 것으로 입증된 곳에서만 사용할 수 있도록 시스템을 '지오펜스'(geofence)하고, 운전자가 전방을 주시하고 있는 경우에만 사용하도록 강제하기 위해서는 더 강력한 규제 개입이 필요한 시점이다.

크루즈의 무인 택시 운행 중단, 자율주행 안전 문제 부각

크루즈는 샌프란시스코에서 무인 택시 서비스를 제공할 수 있는 권한이 있었으나, 캘리포니아주 차량관리국(DMV)에 의해 취소됐다. 작년 10월 2일에 발생한 차량 충돌 사고로 차량 아래에 갇힌 피해자가 중상을 입은 사건에 대해 크루즈는 납득 가능한 보고서를 제출하지 못해서다. DMV는 이번 운행 중단 명령은 해당 무인 차량의 안정성 및 기술 안전과 관련된 정보를 허위로 진술한 경우 등에 해당한다고 설명했다. 이 사건을 계기로 내부적으로 크루즈 운영에 대한 종합적인 재검토가 이뤄졌고, 그 결과 조직의 안전 문화와 대중 및 공공기관 관계자들과의 상호 작용에 심각한 문제가 있는 것으로 드러났다. 크루즈는 안전보다 개발 및 확장 속도를 중시했고, 무인 차량 호출 서비스를 개발해 온 다른 주요 기업들과 달리 최고안전책임자나 효과적인 기업 안전 관리 시스템을 갖추지 못한 것으로 밝혀졌다. 크루즈는 안전에 중대한 영향을 미치는 의사결정을 내릴 때 안전에 우선순위를 두지 않았던 것으로 보인다.

테슬라와 크루즈의 사태를 통해 이들의 우선순위가 자율주행 시스템의 발전에 있지, 시스템의 안전성에는 무관심하다는 점을 발견할 수 있다. 미국은 안전 전문가와 안전 규제 기관의 적절한 검증을 거쳐 자율주행 기술의 안전성을 강화하고, 업계가 안전에 대한 대중의 신뢰를 얻을 수 있도록 엄격한 안전 규제 프레임워크를 도입할 필요가 있다. 자동차를 구동하는 소프트웨어는 안전에 매우 중요하기 때문에 전례 없이 높은 수준의 신뢰성으로 작동해야 하므로 일반 대중과 안전 규제 당국 모두 입증할 수 있고 설명할 수 있는 증거를 기업으로부터 제공받아야 하는 것이다. 즉 소프트웨어가 머신러닝에만 전적으로 의존해서는 안 되며 명시적인 알고리즘 안전 가드레일과 통합돼야 안전성을 담보할 수 있다.

자율주행 기술이 아직 성숙 단계에 있고 정확한 성능 기반 규정을 정의하기에는 데이터가 충분하지 않지만, 안전을 개선하고 안전에 대한 대중의 인식을 제고하기 위해 주 또는 가급적 국가 차원에서 기본 안전 요건을 구현하는 데 먼저 집중해야 한다. 자율주행 시스템(ADS) 개발자와 차량 운영자는 △안전성이 입증되지 않은 곳에서는 ADS가 작동할 수 없도록 하고 △모든 충돌 사고와 아차 사고(고속 기동과 사람의 조종권 탈취 포함)를 보고하며 △감사 및 규제하에 안전 관리 시스템을 구현해야 하는 일련의 규제 프레임워크가 필요하다. 마지막으로, 소프트웨어 배포 전에 주 또는 연방 규제 기관의 검토와 승인을 받아야 하는 포괄적인 안전 사례를 개발해야 하는데, 안전 사례는 합리적으로 예측 가능한 위험을 식별하고, 실제 조건에서 사람의 감독하에 테스트한 정량적 증거를 바탕으로 공공 안전의 위험을 어떻게 완화했는지에 대한 설명을 적극적으로 요구해야 한다. 더 똑똑한 인공지능보다 더 시급한 것은 똑똑한 무인 자동차 규제다.

영어 원문 기사는 사이언티픽 아메리칸에 게재되었습니다.