"강남에서 운전 배웠다" 카카오모빌리티, 12월 레벨업 자율주행택시 달린다

by윤정훈 기자
2026.09.09 13:32

[이데일리 윤정훈 기자]카카오모빌리티가 연말까지 자체 개발한 ‘엔드투엔드(E2E)’ 자율주행 AI 모델을 실제 주행에 도입한다. 사람이 일일이 주행 규칙을 입력하는 기존 방식에서 벗어나 AI가 실제 도로 주행 데이터를 학습해 스스로 판단하고 주행하는 방식으로 전환한다. 완전 무인 자율주행인 레벨4 상용화 시대를 앞두고 강남에서 달리면서 쌓은 ‘자율주행 데이터’를 기반으로 기술력을 키워 글로벌 업체와 경쟁한다는 전략이다.

임인호 카카오모빌리티 자율주행개발팀 AI주행파트 리더가 9일 자율주행 기술을 발표하고 있다(사진=윤정훈 기자)

◇규칙 기반서 AI 스스로 판단해 운전하는 ‘E2E’로 진화

9일 카카오모빌리티에 따르면 회사는 현재 ‘인지-판단-제어’로 이어지는 기존 규칙 기반 자율주행 택시 시스템을 E2E 방식으로 전환하는 작업을 진행하고 있다.

기존 규칙 기반 방식은 카메라·라이다 등 센서가 주변 상황을 인식하면 이를 바탕으로 판단하고, 이후 차량을 제어하는 단계별 구조다. 각 단계가 분리돼 있어 개발자가 ‘이런 상황에서는 멈춘다’, ‘저런 상황에서는 속도를 줄인다’는 식으로 규칙을 정해줘야 한다.

반면 E2E는 센서로 들어온 정보를 바탕으로 주행에 필요한 판단과 제어를 하나의 AI 모델이 학습한다. 사람이 모든 상황을 규칙으로 만들어 입력하지 않아도 실제 운전 데이터를 반복적으로 학습하면서 주행 방법을 익히는 방식이다. E2E는 자체 개발 AI 기술력이 투입됐다.

임인호 카카오모빌리티 자율주행개발팀 AI주행파트 리더는 이날 미디어 간담회에서 “개발자가 도로에서 발생할 수 있는 모든 상황을 정의해야 하는 규칙 기반 방식은 사실상 불가능에 가깝다”며 “E2E는 중간 단계를 사람이 정의하지 않고 주행 과정에서 스스로 요령을 익히는 방식으로 AI가 전체 상황을 판단한 결과가 차량의 제어 능력으로 나타난다”고 설명했다.

카카오모빌리티가 E2E 전환 과정에서 가장 강조한 것은 데이터다. 단순히 많은 데이터를 확보하는 것보다 실제 주행에서 발생하는 다양한 상황을 찾아내고, 이를 AI가 학습할 수 있는 형태로 정제하는 기술이 중요하다는 설명이다.

임 리더는 “일정 수준을 넘어서면 데이터의 절대량보다 데이터를 정제하고 분석하는 기술이 AI 경쟁력을 가른다”며 “결국 얼마나 좋은 데이터를 골라내느냐가 중요하다”고 강조했다.

특히 카카오모빌리티는 서울 강남처럼 주행 난도가 높은 지역에서 확보한 데이터를 핵심 자산으로 보고 있다. 불법 유턴을 하는 차량, 갑자기 도로로 뛰어드는 보행자, 공사로 차선과 도로 환경이 바뀐 상황, 난폭운전 차량 등 예측하기 어려운 상황이 대표적인 ‘엣지케이스’다.

임 리더는 자율주행 데이터를 주행 난이도에 따라 5단계로 구분했다. 단순히 교통신호와 기본적인 도로 규칙을 따르는 단계부터 방어운전, 주변 차량과의 관계 파악, 갑작스러운 행동에 대한 대응, 마지막으로 예측하기 어려운 상황에 대처하는 단계까지다.

문제는 주행 난도가 높아질수록 이런 데이터가 급격히 줄어든다는 점이다. 임 리더는 “쉬운 곳에서 10년 운행하는 것보다 강남에서 1년 운행하는 것이 AI 학습에는 더 도움이 될 수 있다”며 “강남은 자율주행 기술에 계속 새로운 숙제를 안겨준다”고 설명했다.

카카오모빌리티 자율주행 AI모델 기술 로드맵(사진=윤정훈 기자)

◇강남서 자율주행차 6대, 1만3000km 운행

카카오모빌리티는 차량에서 서버로 주행 데이터를 전송한 뒤 유의미한 장면을 자동으로 찾아내는 데이터 파이프라인도 구축하고 있다. 차량에서 수집한 방대한 영상을 서버에 저장하고, AI를 활용해 데이터를 분석한 뒤 자율주행 성능 개선에 필요한 장면을 골라내는 방식이다. 데이터 마이닝 과정에는 시각언어모델(VLM)과 시각·언어·행동을 연결하는 VLA 기술도 활용하고 있다.

임 리더는 “차량에서 쏟아지는 방대한 데이터를 감당할 스토리지와 네트워크를 마련하는 게 첫 관문이었다”며 “이 문턱을 넘은 뒤에도 데이터 마이닝 과정에서 우리가 미처 몰랐던 상황을 얼마나 새롭게 발견하고 모델에 반영하는지가 지금도 가장 큰 고민”이라고 말했다.

개인정보 보호를 위한 데이터 처리 체계도 구축했다. 차량에 탑재된 신경망처리장치(NPU)를 통해 번호판과 보행자 얼굴 등 개인정보를 실시간으로 익명화한 뒤 클라우드로 데이터를 전송하는 방식이다. 카카오모빌리티는 2024년 3월 ‘영상정보 원본 활용 자율주행 시스템 고도화’ 관련 ICT 규제샌드박스 실증특례를 획득한 이후 데이터 처리 체계를 고도화해왔다.

카카오모빌리티는 실제 서비스에서도 자율주행 데이터를 쌓고 있다. 서울자율차 서비스에서 EV6 개조 차량 6대가 누적 1만3000km를 주행했고, 2000건 이상의 운행을 완료했다. 평균 이동 거리는 약 2.9km다.

국토부가 지난 7월 무인 자율주행차 운행을 위한 가이드라인을 마련한 것과 관련해 김민선 자율주행사업팀 리더는 “레벨4 전환을 위한 계획을 수립하고 있다”며 “정부 로드맵에 발맞춰 최대한 일정을 준수할 수 있도록 노력하겠다”고 말했다.

서비스 지역 역시 안전을 최우선으로 순차적으로 확대할 방침이다. 현재 강남 전체가 자율주행으로 운영되는 것은 아니다. 골목길 등 일부 구간에서는 필요에 따라 수동주행으로 전환하는 방식으로 운행하고 있다.

웨이모 등 해외 자율주행 기업의 국내 진출에 대해서는 ‘한국 도로에 특화된 데이터’를 경쟁력으로 내세웠다.

김 리더는 “주행기술은 한국 도로 환경에 특화된 자체 모델로 고도화해 나갈 예정”이라며 “플랫폼 사업에서는 다양한 기술 개발사와 연결해 승객의 이동 여정 전반을 자율주행으로 전환하는 것이 목표”라고 말했다.

임 리더는 “E2E 모델을 연내 도입하고 테스트하는 것이 목표”라며 “완전 자율주행 단계에서 발생할 수 있는 오인식에 따른 급감속 등의 문제를 개선하고, 이를 통해 알고리즘을 계속 발전시켜 나갈 것”이라고 말했다.