12 13

패턴 인식과 자연어 처리, 딥러닝의 강점 분야

패턴 인식이 복잡해지고 고도화되면 이미지와 영상 인

식으로 발전한다. 복잡한 사람의 얼굴 모양도 세부적인

특징을 추출해나가다 보면 결국은 다양한 도형과 색의

조합으로 이루어져 있다. 영상은 연속된 이미지의 집합

이기 때문에, 패턴인식 기술의 발달은 이미지 인식, 영

상 인식으로 발전하게 되는 것이다. 패턴인식 기술은 또

한 음성 인식에도 활용된다. 음성 인식은 인간의 음성을

분석해 컴퓨터가 처리할 수 있는 문자로 변환하는 기술

이다. 인간의 음성은 음의 강약과 높낮음 등 음성의 진

동이 갖는 다양한 패턴의 조합으로 분석해낼 수 있으며,

딥러닝은 이 같은 패턴을 학습을 통해 처리할 수 있게

한다.

자연어는 인간이 사용하는 언어를 말한다. 0과 1

의 이진법에 기반한 데이터로 모든 연산을 처리하는 컴

퓨터는 인간의 언어를 알아들을 수 없기 때문에 이를 컴

퓨터가 처리할 수 있는 형태로 변환하는 과정을 자연어

처리라고 한다. 따라서 딥러닝의 가장 강력한 능력인 패

턴 인식과 자연어 처리 기술을 통해 인간이 할 수 있는 상

당수의 활동을 컴퓨터로 구현하는 것이 가능해진다.

컴퓨터가 패턴인식과 자연어 처리를 수행할 수 있

게 되면, 이를 기반으로 무수히 많은 응용 작업이 가능하

다. 사진에서 사람의 얼굴을 인식할 수 있게 되면, 다양한

사진에서 같은 사람이 찍힌 사진들을 골라내 분류할 수 있

고, 사진에 찍힌 사람들의 이름을 다는 라벨링 작업도 가능

해진다. 영상을 인식해 영화 속 배우가 착용한 상품을 인터

넷에서 바로 찾아 정보를 알려준다거나, 컴퓨터가 자동으

로 운전하는 무인자동차 기술을 개발하는 것도 가능해 진

다. 무인자동차 기술의 핵심은 차량의 주위에 있는 사물을

분별해내는 것이다. 사람과 자동차, 차선과 길가에 떨어진

장애물과 같은 것들을 영상 인식 기술로 가려낼 수 있게 되

면, 이를 기반으로 컴퓨터가 자동으로 상황을 판단해 주행

하는 것이 가능해진다.

음성 인식과 자연어 처리, 빅데이터 기술의 결합

음성 인식 기술과 자연어 처리 기술이 결합하면 인간의 말

을 알아듣고 반응할 수 있는 인공지능 서비스 개발이 가능

하다. 애플의 시리(Siri), 구글 나우(Now), 마이크로소프트

의 코나타(Cortana)와 같은 인공지능 비서 서비스는 음성

인식, 빅데이터, 데이터 마이닝, 다양한 알고리즘의 기계학

습 기술과 함께 딥러닝 기술이 적용된 대표적인 사례이다.

인공지능 비서 서비스는 책과 블로그, 신문기사, 웹페이지

등 인터넷과 전 세계 데이터베이스에 있는 수많은 문자, 통

계 등의 정보를 해독하고 분류해 컴퓨터가 활용하거나, 인

간의 음성을 알아듣고 그에 맞는 상호작용을 하는 인공지

능 구현을 가능하게 한다.

최근에는 자연어 처리 기술과 빅데이터 분석 기법을

활용한 로봇 저널리즘이 등장해 관심을 끌고 있다. 로봇 저

널리즘은 전통적으로 뉴스 기사를 작성해왔던 인간 대신

로봇이 인터넷 상의 뉴스 기사와 통계 수치와 같은 방대한

데이터를 분석하고 종합해 뉴스 기사로 만들어내는 것을

말한다. 미국의 스타트업인 내러티브 사이언스(Narrative

Science)는 자동으로 기사를 생성하는 로봇 저널리즘 소

프트웨어인 퀼(Quill)을 만들어 포브스와 계약을 맺고 금융

관련 기사를 공급한 바 있다. 미국의 LA타임즈는 지진 관

련 정보를 자동으로 수집해 거의 실시간으로 지진 발생 기

사를 만들어내는 퀘이크봇(Quake Bot)이라는 로봇 저널

소프트웨어를 개발해 실제로 지진 속보 기사 작성에 활용

하고 있다.

딥러닝 기반 얼굴 인식 기술, 인간 수준에 육박

구글은 2012년 스탠포드 대학의 앤드루 응(Andrew Ng)

교수와 함께 진행한 딥러닝 연구 프로젝트인 구글 브레인

(Google Brain)을 통해 컴퓨터가 사진에서 고양이를 인식

하도록, 학습하는 데 성공했다. 응 교수는 구글의 분산 컴

퓨터 인프라를 이용해 1만 6천 개 이상의 CPU 코어에 딥러

닝 알고리즘을 훈련시킨 후 천만 건 이상의 유튜브 고양이

동영상에서 고양이가 찍힌 사진을 추출해 딥러닝 시스템

에 넣어 처리했다. 그 결과 딥러닝 시스템은 다양한 사진들

에서 고양이를 인식하는 데 성공했고, 인식 성공률은 기존

의 인공지능 시스템보다 70% 높은 정확도를 보였다. 이

기술은 안드로이드 oS의 음성인식 시스템에도 적용된 것

으로 알려졌다.

페이스북의 AI 연구소에서는 사람의 얼굴을 인식해

구분하는 딥페이스(Deep Face)라는 이름의 기술을 개발해

2014년 6월 공개했다. 페이스북은 2012년 사진에서 얼굴

을 인식하는 페이스북 앱을 개발한 이스라엘의 벤처기업인

페이스닷컴(Face.com)을 인수하며 관련 기술 개발을 시작

자료: pcforum.hu(2012.6.27.)

구글의 딥러닝 시스템 학습에 이용한 고양이 사진과 개발을 주도한 앤드루 응 교수

딥러닝, 어디에 적용되고 있나

딥러닝이 가장 큰 강점을 보이는 분야는 패턴인식

에서 비롯되는 이미지 및 영상, 음성 인식과 자연어

처리이다. 딥러닝은 방대한 데이터를 분석해

이들의 차이점을 가려내고 유사한 것들을 분류하는 데

강점을 지니고 있다. 딥러닝의 이 같은 강점이 어느

분야에 적용될 수 있을지 알아본다.

객원필진 _ 전창의 CT 칼럼니스트(ch2u@kaist.ac.kr)

Future Look Special Theme Trend Report Hot Click People & Talk Issue & Insight News Clippingcover story 2016년 두번째이야기문화 : 기술 - 문화와 기술의 만남 딥러닝, 어디에 적용되고 있나 - Cover Story #2

14 15

한 바 있다. 인수 이전에도 페이스북 엔지니어를 포함한 수

천명의 개발자들이 페이스닷컴의 온라인 서비스를 이용해

왔으며, 페이스북은 페이스닷컴의 모든 인력을 직원으로

함께 채용했다. 이후 페이스닷컴의 공동 창업자이자 CTo

였던 얀지브 타이그먼(Yaniv Taigman)을 주축으로 한 페

이스북의 수석 연구원, 텔아비브대학 연구원이 함께 딥페

이스 알고리즘을 개발해 왔다. 연구 논문에 따르면 이 기술

을 이용한 얼굴인식 정확도는 97.25%로 인간의 평균 눈

수준(97.53%)에 가깝다. 이는 미국의 정보기관인 FBI가 보

유한 얼굴인식 기술 정확도인 85%를 크게 상회하는 수준

으로 기존 방식을 진일보시킨 것으로 평가받았다.

딥페이스는 얼굴을 가상으로 회전시킨 3D 모델로

인식의 정확도를 높인다. 얼굴 모양은 촬영 각도에 따라 그

형태가 달라지기 때문에 컴퓨터 알고리즘을 이용해 분석

하기가 쉽지 않다. 이를 극복하기 위해 얼굴 전면부의 3D

모델을 사용해 얼굴 각도를 수정하고 다른 사진의 얼굴 이

미지와 비교함으로써 유사 관계를 파악해 낸다. 데이터 분

석에는 1억 2,000개의 연관 관계를 파악해 낼 수 있는 9개

의 심층 계층으로 4,000여 명의 사용자 얼굴에서 추출한

400만 개의 얼굴 이미지를 활용한다.

무인자율주행 자동차에 적용

딥러닝을 활용한 영상인식 기술은 컴퓨터가 운전하는 자

율주행 차량 분야에도 사용되고 있다. 그래픽카드 제조사

인 엔비디아는 GPU 기반 차량용 딥러닝 시스템인 드라이

브 PX(Drive PX)를 개발했다. 2016년 발표된 최신 시스템

인 드라이브 PX2는 슈퍼컴퓨터에 필적할 성능과 신경망

네트워크 기반의 딥러닝 기능을 갖춰 자율주행 차량이 주

위 환경을 관찰하고 분석하는 데 활용될 수 있다. 엔비디아

에 따르면 드라이브 PX2는 12개의 코어를 탑재해 8테라플

롭스(Teraflops)의 연산처리 성능을 보이며 1초에 24조 개

의 딥러닝 명령 수행이 가능한데, 이를 단순비교하자면 애

플 맥북프로 150대의 연산능력을 합친 것에 해당한다. 드

라이브 PX2는 자동차에 탑재된 센서, 카메라, 라이다(Li-

dar), 레이더, 초음파 장비 등이 측정한 데이터를 딥러닝 연

산으로 처리한다. 다시말해, 이 시스템은 카메라를 통해 촬

영된 영상과 각종 센서와 레이더로 측정된 거리 정보 등을

종합해 영상에서 사람과 자동차를 판별해내는 것이다.

드라이브 PX2의 슈퍼컴퓨터급 성능은 도로에 떨어

진 쓰레기나 장애물을 인식하고 강한 비나 눈이 내리는 혹

한의 날씨에 자율주행 차량의 영상 인식 알고리즘을 처리

하는 데 강점을 발휘할 것으로 전망된다. 사람이나 차량 이

외에 도로에 떨어진 쓰레기나 갑자기 나타날 수 있는 장애

물들은 예측 불가능한 데이터이기 때문에 이를 정확히 구

분하고 인식하기 위해서는 더욱 복잡한 처리 과정이 요구

된다. 또한 눈과 비가 내리는 날씨에는 영상 인식을 위한

데이터에 눈과 비가 뒤섞여 사물과 사람을 분별하기가 더

욱 힘들어지는데, 이와 같은 기술적 어려움을 극복하기 위

해서도 고도의 딥러닝 연산이 필요하다.

뿐만 아니라, 딥러닝은 콘텐츠 및 유저 분석에 활용

될 것으로 기대된다. 동영상 스트리밍 업체인 넷플릭스

(Netflix)는 자사 유저의 시청 행태와 성향, 콘텐츠 선호도

등 방대한 빅데이터 분석에 딥러닝 기술을 활용하기 위한

시도를 진행 중이다. 구글이나 페이스북이 자체적으로

GPU 기반의 딥러닝 서버를 구축한 데 비해 넷플릭스는

2014년 아마존의 클라우드 인프라를 활용해 GPU 분산 컴

퓨팅 모델의 서버를 구축한 것으로 알려졌다. 현재 넷플릭

스는 딥러닝 기술을 콘텐츠 및 사용자 빅데이터 분석, 영상

인식 등에 활용하기 위한 연구를 진행 중이나 세부 사항은

아직 개발 단계인 것으로 알려졌다.

헬스케어, 금융서비스까지 확장

IBM의 인공지능 슈퍼 컴퓨터 왓슨(watson)은 인공지능

플랫폼 중에서 가장 널리 알려져 있다. 왓슨은 자연어 처리

분석 기술과 기계 학습 기술을 활용해 조직화되지 않은 방

대한 데이터들 가운데서 의미와 직관적 정보를 도출하는

인공지능 기술 플랫폼이다. IBM 연구진이 2006년부터 4

년 간 진행한 연구 개발 끝에 탄생한 왓슨은 2011년 미국

의 TV 퀴즈쇼인 제퍼디(Jeopardy)에 등장해 인간 퀴즈왕

을 제치고 우승을 차지하며 화제를 모았다. 이후 미국 내 2

위 건강보험업체 웰포인트(wellPoint)를 비롯한 헬스케어

기업과 시티그룹(Citigroup Inc.) 등 금융 업계에 도입되어

데이터 분석에 활용되고 있다. 애플 시리, 구글 나우, MS 코

타나는 개인용 비서 서비스를 표방하고 있는데 반해 왓슨

은 기업용 데이터를 분석해 활용하는 B2B 시장에 특화되

어 있다는 것이 강점이다.

최근 화제의 중심에 있는 구글의 알파고(AlphaGo)

는 바둑 게임을 플레이하기 위해 개발되었다. 알파고의 알

고리즘은 딥러닝에 기반한 기계 학습과 트리 탐색 기법

을 활용하고 있다. 알파고가 바둑의 모든 확률을 수학적

으로 계산하는 것은 불가능하기 때문에, 무작위로 대입해

보며 예상 확률을 알아낸 뒤 가장 가능성이 높은 수를 선택

하는 기법인 몬테카를로 트리 탐색과 딥러닝 알고리즘인

CNN(Convolution Neural Network)을 활용한다.

구글은 알파고를 발전시켜 구글의 서비스와 다양한

분야에 적용하는 것을 목표로 하고 있다. 알파고의 개선된

알고리즘과 학습 능력은 구글의 서비스를 한 차원 더 높은

수준으로 진화시켜 줄 것으로 예상된다. 또한 향후 여행 분

야에서 최적의 여행 일정을 짜 준다거나 의료 분야에서 적

절한 진단과 치료 계획을 수립하는 등의 폭넓은 산업에 적

용될 수 있을 것으로 기대된다.

자료: NVIDIA 자료: 스포츠조선(2016.3.9.)

구글 알파고와 이세돌 9단의 대국 모습드라이브 PX 시스템과 이를 활용한 영상인식 화면

자료: Facebook

영화배우 칼리스타 플록하트의 얼굴을 이용한 딥페이스 기술 적용 과정

Future Look Special Theme Trend Report Hot Click People & Talk Issue & Insight News Clippingcover story 2016년 두번째이야기문화 : 기술 - 문화와 기술의 만남 딥러닝, 어디에 적용되고 있나 - Cover Story #2