Omni-channel Personalization Platform

데이터를통한온라인뉴스혁신사례

201510 / dable@dable.io

Dable, Inc. 이채현

데이터를 통한 UI 개선

Dable과 뉴스 추천

데이터를 통한 알고리즘 개선

CONTENTS

데이터를 통한 뉴스 혁신

데이블팀은 원래..

DB-Stars와 구글캠퍼스의 지원으로 5월 창업

회사개요 수상/선정내역

- 아시아 1호구글캠퍼스입주사선정1)

- 글로벌기술창업프로그램(TIPS) 선정

- 2015 K-Global DB-Stars(주관:한국데이터베이스진흥원) 선정2)

- 정부지원금및해외진출지원

법인설립일

대표자

투자유치

2015. 05. 06

이채현

케이큐브벤처스(다음카카오),SK플래닛투자유치

1) 전자 신문 “구글 서울 캠퍼스 오픈 글로벌 스타트업 키운다” (`15.05.08)

2) 한국데이터베이스진흥원 “2015 K-Global DB-stars 최종 선정” (`15.06.05)

상품 외에 컨텐츠도

가능하지 않을까?

잠깐 돌아보는 우리나라 온라인 뉴스의 현실

Source : 랭키닷컴 / 2015.10.14~2015.10.20

27%

일 PV 5100만 일 PV 500만

일 PV 560만

일 PV 330만

네이버에서 뉴스를 보는 이유는?

• 다양한 기사를 확인할 수 있어서..

• UI가 편해서.. (익숙해서)

• 광고가 없어서..

1

2

3

어느 경로를 통해서 언론사 기사를 볼까?

Source : 5개 언론사 평균 / 2015-10-19 데이터 기준

search.naver.com22%

newsstand.naver.com20%

언론사자체

18%

api.dable.io7%없음 (즐겨찾기등)

5%

www.naver.com5%

news.search.naver.com4%

media.daum.net3%

news.naver.com3%

search.daum.net3%

www.google.co.kr3% 기타

4%

search.naver.com newsstand.naver.com 언론사자체 api.dable.io 없음 (즐겨찾기등)

www.naver.com news.search.naver.com media.daum.net news.naver.com search.daum.net

www.google.co.kr m.search.naver.com news.zum.com 기타

• 웹에서의 유입 경로 중 절반이상이 네이버

네이버 vs 언론사 인당 PV 비교

• 실제 대부분의 언론사에서 독자들은 기사를 1~2개만 보고 떠난다

Source : 랭키닷컴 / 2015.10.07~2015.10.13

10 대종합일간지평균

16.4

2.9

우리의 목표

독자들이 언론사 사이트에서도

편하게 좀 더 많은 기사를 읽었으면 좋겠다.

Show users what they want

데이블 뉴스의 적용 화면

한겨레신문사 KBS 뉴스모바일

총 세 가지 서비스를 플랫폼으로 제공

개인화 뉴스

방문자의 뉴스 읽기 패턴을분석하여, 관심사를추출하고, 이를 바탕으로개인화된 뉴스를실시간으로 제공함

관련 뉴스

뉴스의 내용과 사용자의로그를 함께 분석하여, 선택된 뉴스와 관련성이높은 뉴스들을 실시간으로제공함

실시간 인기 뉴스

지금 많이 보고 있거나, SNS에 많이 공유되고 있는Hot News들을 모아서제공함

개인화 뉴스란?

부동산

기준금리

임대

대출

금리

경제 X

관련뉴스란?

관련뉴스예시

정부가고리원자력발전소 1호기의 '영구정지'를권고했습니다. · ·· · 중략 ···.국내첫원전인고리 1호기는 1978년 4월상업운전을시작· · · 중략 · · · 계속운전허가를받은뒤수명이 10년연장돼운영중입니다.

뉴스제목

본문

최근추정뉴스

최근위원회유사활동

다른원전활동

야당의관련활동

관련정부정책

관련시민활동

관련뉴스

+사용자들의로그

기사들간의관련성

인기뉴스란?

• 다양한 기준으로 인기 뉴스를 계산하여 제공

더 중요한 것은 A/B 테스트!!!

• 해당 영역에 어떤 로직을 어떤 UI로 노출할 것인가?

• 새로운 알고리즘을 넣는 것이 더 좋을까?

• 정답은 독자들이 알고 있다.

데이터를 통한 UI 개선

Dable과 뉴스추천

데이터를 통한 알고리즘 개선

CONTENTS

데이터를 통한 뉴스 혁신

데이터를 통한 혁신과 검증 - 알고리즘편

• 지금 보고 있는 기사도관심사에 포함할까?

• 나의 관심사만 보여주는 것이좋을까?

• 기사의 freshness는 어떤영향을 줄 것인가?

• 다른 언론사에서의 행동기록도통합하는 것이 더 좋을까?

1

2

3

4

지금 보고 있는 기사도 관심사에 포함할까?

부동산

기준금리

임대

대출

금리

경제

12:10

12:15

12:17

12:18

알고리즘 A

지금 보고 있는 기사도 관심사에 포함할까?

부동산

기준금리

임대

대출

금리

경제

12:10부동산

기준금리

임대

대출

금리

경제

주식

채권

12:15

12:17

12:18

알고리즘 A 알고리즘 B

지금 보고 있는 기사도 관심사에 포함할까?

2.85%

3.15%

알고리즘 A 알고리즘 B

나의 관심사만 보여주는 것이 좋을까?

• 부동산

• 금리

• 경제 관련 기사

• 스포츠

• 연예

• 정치

부동산

기준금리

임대

대출

금리

경제

주식

채권

나의 관심사만 보여주는 것이 좋을까?

관심사기반개인화

인기기사

2.74%

3.12%

Serendipity : [명사] 뜻밖의 재미[기쁨]

관심사기반의개인화기사

당신이좋아할만한기사

부동산

기준금리

대출

금리

경제

의외성이높은개인화기사

스포츠

연예

정치

자동차

건강

개인화 v2

의외성이 높은 기사를 섞어 주는 것이 좋다

• 개인화 v2는 인기기사 대비 클릭률이 27% 증가함

2.87%

3.65%

시간별인기 개인화 v2

기사의 최신성은 얼마나 중요할까?

관련성 + 사용자로그 +기사의최신성

2015-09-30

2015-09-26

2015-09-14

2015-10-05

2015-10-05

2015-10-12

2015-10-13

2015-10-10

2015-09-30

2015-10-12

결과

종합일간지 경제전문지

4.88%

5.34%

관련성가중치 최신가중치

2.56% 2.34

%

관련성가중치 최신가중치

시사주간지

4.00%

3.98%

관련성가중치 최신가중치

• 언론사마다 특성이 다양하다

타 언론사의 로그를 합치는 것이 더 좋을까?

• 언론사의 문제

– 대부분의 인당 PV가 1~2 정도.

– 즉, 기사 1~2개를 읽고 나가 버린다.

– 이런 상황에서 개인화?

• 우리의 해결책

– 모든 언론사 로그를 통합 분석하자.

– 해당 언론사에 처음 들어온 독자들에게도 개인화된기사를 제공할 수 있음

결과

• 늘긴 늘었지만, 생각만큼 많이 늘지는 않았다

Source : 종합일간지 2015-09-23~2015-09-30

3.59%

3.65%

해당언론사기사만분석 언론사통합분석

결과 분석

• 통합 분석을 했더니 클릭률이 증가하긴 했다.

– (+)효과 : 처음 들어왔지만 개인화된 뉴스를 제공(자동차 구매를 마음 먹은 독자에게 폭스바겐 디젤게이트 뉴스를 제공)

– (-) 효과 : 난 아이유, 장기하 기사를 한 번 봤을뿐인데..

• (-) 효과를 최소화하면서, (+) 효과를 극대화하는방법을 찾는 중

데이터를 통한 UI 개선

Dable과 뉴스추천

데이터를 통한 알고리즘 개선

CONTENTS

데이터를 통한 뉴스 혁신

데이터를 통한 혁신과 검증 - UI편

• 지금부터 20개의 사례가주어집니다.

• 직접 맞춰보세요!

1단 노출? 2단 노출?

• 2단 노출을 하는 것이 좋다.

클릭률

1) 테스트 기간 : 2015-09-21 ~ 2015-09-23

1.28%

1.11%

0.00% 0.50% 1.00% 1.50%

1단 노출? 2단 노출?

• 2단 노출을 하는 것이 좋다.

클릭률

1) 테스트 기간 : 2015-10-07 ~ 2015-10-12

6.30%

4.54%

0.00% 2.00% 4.00% 6.00% 8.00%

1단 노출? 2단 노출?

• 2단 노출을 하는 것이 좋다.

클릭률

1) 테스트 기간 : 2015-10-06 ~ 2015-10-14

5.09%

4.08%

0.00% 2.00% 4.00% 6.00%

모든 언론사에 적용이 되는가?

• 2단 노출을 하는 것이 좋다.

• 1단 노출을 하는 것이 좋다.

클릭률1) 테스트 기간 : 2015-09-29 ~ 2015-10-13

2.43%

2.76%

0.00% 1.00% 2.00% 3.00%

이미지를 넣으면 무조건 좋은가?

• 이미지를 넣는 것의 반응성이 더 떨어진다.

클릭률1) 테스트 기간 : 2015-10-14 ~ 2015-10-21

2.41%

3.04%

0.00% 1.00% 2.00% 3.00% 4.00%

• 추천 영역 하단의 광고와 비슷하게 보인다

도대체 왜??

• 광고처럼 보이지 않는다

이미지를 오른쪽으로 옮겨보자

이미지를 오른쪽으로 옮겨보자.

2.56%

3.04%

0.00% 1.00% 2.00% 3.00% 4.00%

클릭률1) 테스트 기간 : 2015-10-14 ~ 2015-10-21

• 그래도 텍스트만 노출하는 게 더 좋다

모든 언론사에 해당하는 정답은 없다

이미지와 함께 보여주는 것이 좋을까?

15.5%

<클릭률

13.1%

1) 테스트 기간 : 2015-09-17 ~ 2015-09-19

이미지와 함께 보여주는 것이 좋을까?

>클릭률

7.46%

6.30%

1) 테스트 기간 : 2015-10-07 ~ 2015-10-12

이미지와 함께 보여주는 것이 좋을까?

<클릭률

7.53%8.01%

1) 테스트 기간 : 2015-10-12 ~ 2015-10-15

몇 개의 이미지를 보여주는 것이 좋을까?

>클릭률

8.48%7.76%

1) 테스트 기간 : 2015-10-15 ~ 2015-10-21

이미지가없는기사를아예제외하는것이좋을까?

<클릭률

4.15%4.66%

1) 테스트 기간 : 2015-10-14 ~ 2015-10-17

타이틀에 따라 사용자들의 반응도 달라질까?

3.32%

>클릭률

3.52%

1) 테스트 기간 : 2015-09-22 ~ 2015-09-24

우측영역에서는이미지와함께보여주면좋을까?

<클릭률

1.64%

1.87%

1) 테스트 기간 : 2015-10-06 ~ 2015-10-16

모바일에서는 이미지와 함께 보여주는 것이 좋을까?

8.90%

<클릭률

6.36%

1) 테스트 기간 : 2015-09-02 ~ 2015-09-16

사용자들은 어떤 형태를 더 선호할까?

6.01%

>클릭률

6.75%

1) 테스트 기간 : 2015-09-17 ~ 2015-10-12

모바일에서 위치에 따른 효과는 어느 정도일까?

1.17%

클릭률

7.25%

1) 테스트 기간 : 2015-10-06 ~ 2015-10-09

기사본문

개인화

기사본문

관련

인기뉴스

광고

주요뉴스

개인화

인기뉴스

광고

주요뉴스

관련

>

6.2배

가장 좋은 영역에 어떤 추천을 보여줘야할까?

7.25%

클릭률

7.84%

1) 테스트 기간 : 2015-10-08 ~ 2015-10-14

>

기사본문

추천영역

인기뉴스

광고

주요뉴스

우리의 의사 결정 방법은?

• 모두 맞추셨나요?

– (그럼 그냥 지금처럼 하셔도 됩니다)

• 앞으로는?

– 대표님 지시입니다. (X)

– UX센터장님 의견입니다. (X)

– 데이터에 기반한 테스트 결과입니다.(우리 독자들이 실제로 이런 걸좋아합니다!) (O)

데이터를 통한 UI 개선

Dable과 뉴스추천

데이터를 통한 알고리즘 개선

CONTENTS

데이터를 통한 뉴스 혁신

데이블 개인화 추천 성과

A/B 테스트를통해사이트별최적화를합니다.

방문자가더많은기사를보게합니다.

방문자가더다양한기사를소비하게합니다.

1.5

1.7

1.9

2.1

2.3

2.5

2.7

20

15-0

9-2

3 (수

)2

015

-09-

24

(목

)2

015

-09-

25

(금

)2

015

-09-

26

(토

)20

15-0

9-2

7 (일

)2

015

-09-

28

(월

)2

015

-09-

29

(화

)2

015

-09-

30

(수

)2

015

-10-

01

(목

)2

015

-10-

02

(금

)2

015

-10-

03

(토

)2

015

-10-

04

(일

)2

015

-10-

05

(월

)2

015

-10-

06

(화

)2

015

-10-

07

(수

)2

015

-10-

08

(목

)2

015

-10-

09

(금

)2

015

-10-

10

(토

)2

015

-10-

11

(일

)2

015

-10-

12

(월

)2

015

-10-

13

(화

)20

15-1

0-1

4 (수

)2

015

-10-

15

(목

)2

015

-10-

16

(금

)2

015

-10-

17

(토

)2

015

-10-

18

(일

)2

015

-10-

19

(월

)2

015

-10-

20

(화

)2

015

-10-

21

(수

)2

015

-10-

22

(목

)

데이터 서비스 적용 후 성과(1/3)

A社 웹 인당 PV

• Dable News 적용 전 대비인당 PV가 5.2% 증가

5.2%

Dable News 적용2015.10.05인당 PV

1.5

1.6

1.7

1.8

1.9

2.0

20

15

-10

-02

(금)

20

15

-10

-03

(토)

20

15

-10

-04

(일)

20

15

-10

-05

(월)

20

15

-10

-06

(화)

20

15

-10

-07

(수)

20

15

-10

-08

(목)

20

15

-10

-09

(금)

20

15

-10

-10

(토)

20

15

-10

-11

(일)

20

15

-10

-12

(월)

20

15

-10

-13

(화)

20

15

-10

-14

(수)

20

15

-10

-15

(목)

20

15

-10

-16

(금)

20

15

-10

-17

(토)

20

15

-10

-18

(일)

20

15

-10

-19

(월)

20

15

-10

-20

(화)

20

15

-10

-21

(수)

20

15

-10

-22

(목)

인당 PV

5.5%

Dable News 적용2015.10.08

• Dable News 적용 전 대비인당 PV가 5.5% 증가

B社 웹 인당 PV

데이터 서비스 적용 후 성과(2/3)

C社 모바일 인당 PV

• Dable News 적용 전 대비인당 PV가 19% 증가

1.5

1.8

2.1

2.4

2.7

20

15

-07

-10

(금

)

20

15

-07

-11

(토

)

20

15

-07

-12

(일

)

20

15

-07

-13

(월

)

20

15

-07

-14

(화

)

20

15

-07

-15

(수

)

20

15

-07

-16

(목

)

20

15

-07

-17

(금

)

20

15

-07

-18

(토

)

20

15

-07

-19

(일

)

20

15

-07

-20

(월

)

20

15

-07

-21

(화

)

20

15

-07

-22

(수

)

20

15

-07

-23

(목

)

20

15

-07

-24

(금

)

20

15

-07

-25

(토

)

20

15

-07

-26

(일

)

20

15

-07

-27

(월

)

19%

Dable News 적용2015.07.21

인당 PV

1.7

1.9

2.1

2.3

2.5

20

15

-09

-23

(수

)

20

15

-09

-24

(목

)

20

15

-09

-25

(금

)2

01

5-0

9-2

6 (토

)

20

15

-09

-27

(일

)

20

15

-09

-28

(월

)2

01

5-0

9-2

9 (화

)

20

15

-09

-30

(수

)

20

15

-10

-01

(목

)2

01

5-1

0-0

2 (금

)

20

15

-10

-03

(토

)

20

15

-10

-04

(일

)2

01

5-1

0-0

5 (월

)

20

15

-10

-06

(화

)

20

15

-10

-07

(수

)2

01

5-1

0-0

8 (목

)

20

15

-10

-09

(금

)

20

15

-10

-10

(토

)2

01

5-1

0-1

1 (일

)

20

15

-10

-12

(월

)

20

15

-10

-13

(화

)2

01

5-1

0-1

4 (수

)

20

15

-10

-15

(목

)

Dable News 적용2015.10.06

• Dable News 적용 전 대비인당 PV가 10% 증가

10%

D社 모바일 인당 PV

데이터 서비스 적용 후 성과(3/3)

E社 모바일 인당 PV

1.0

1.5

2.0

2.5

3.0

3.5

4.0

20

15

-04

-11

(토

)

20

15

-04

-14

(화

)

20

15

-04

-17

(금

)

20

15

-04

-20

(월

)

20

15

-04

-23

(목

)

20

15

-04

-26

(일

)

20

15

-04

-29

(수

)

20

15

-05

-02

(토

)

20

15

-05

-05

(화

)

20

15

-05

-08

(금

)

20

15

-05

-11

(월

)

20

15

-05

-14

(목

)

20

15

-05

-17

(일

)

20

15

-05

-20

(수

)

20

15

-05

-23

(토

)

20

15

-05

-26

(화

)

20

15

-05

-29

(금

)

20

15

-06

-01

(월

)

20

15

-06

-04

(목

)

20

15

-06

-07

(일

)

20

15

-06

-10

(수

)

20

15

-06

-13

(토

)

20

15

-06

-16

(화

)

20

15

-06

-19

(금

)

20

15

-06

-22

(월

)

20

15

-06

-25

(목

)

20

15

-06

-28

(일

)

20

15

-07

-01

(수

)

20

15

-07

-04

(토

)

20

15

-07

-07

(화

)

20

15

-07

-10

(금

)

20

15

-07

-13

(월

)

20

15

-07

-16

(목

)

20

15

-07

-19

(일

)

20

15

-07

-22

(수

)

20

15

-07

-25

(토

)

20

15

-07

-28

(화

)

20

15

-07

-31

(금

)

20

15

-08

-03

(월

)

20

15

-08

-06

(목

)

20

15

-08

-09

(일

)

20

15

-08

-12

(수

)

20

15

-08

-15

(토

)

30%

Dable News 적용2015.04.20

• Dable News 적용 전 대비 인당 PV가 30% 증가

데이블 개인화 추천 성과

A/B 테스트를통해사이트별최적화를합니다.

방문자가더많은기사를보게합니다.

방문자가더다양한기사를소비하게합니다.

기사의 생명주기

• 대부분의 기사는 공개된 후 2~3일이 지나면, 아무도 읽지 않는다

• 데이블 뉴스를 적용하면, 기사의 생명 주기가 길어진다

시간

PV

기존

데이블뉴스적용이후

경제지 사례

• 독자들이 훨씬 다양한 기사를 소비한다

5,000 7,000 9,000

11,000 13,000 15,000

20

15

-09

-21

(월)

20

15

-09

-23

(수)

20

15

-09

-25

(금)

20

15

-09

-27

(일)

20

15

-09

-29

(화)

20

15

-10

-01

(목)

20

15

-10

-03

(토)

20

15

-10

-05

(월)

20

15

-10

-07

(수)

20

15

-10

-09

(금)

20

15

-10

-11

(일)

20

15

-10

-13

(화)

20

15

-10

-15

(목)

하루 한 번 이상 읽힌 기사수(Mobile)

46.6%증가

추천적용전(9.22~10.5)

추천적용후(10.6~10.15)

일평균

8,844개

일평균

12,969개

10,000 15,000 20,000 25,000 30,000 35,000 40,000

20

15

-09

-21

(월)

20

15

-09

-23

(수)

20

15

-09

-25

(금)

20

15

-09

-27

(일)

20

15

-09

-29

(화)

20

15

-10

-01

(목)

20

15

-10

-03

(토)

20

15

-10

-05

(월)

20

15

-10

-07

(수)

20

15

-10

-09

(금)

20

15

-10

-11

(일)

20

15

-10

-13

(화)

20

15

-10

-15

(목)

하루 한 번 이상 읽힌 기사수(PC)

20.7%증가

추천적용전(9.22~10.5)

추천적용후(10.6~10.15)

일평균

25,431개

일평균

30,697개

앞으로 데이블은?

• 언론사별 최적화 컨설팅

• 자동화된 A/B 테스트

• 언론사와 상생

– 별도의 비용 없이 Dable News를 적용

– 분석된 데이터를 기반으로 효율성이 높은 광고 집행

– 광고 영역을 통해 발생한 매출을 share

감사합니다.

http://dable.io

070-8265-3336

dable@dable.io

THANK YOU