네이버 뉴스 알고리즘 이렇다

48 | 관훈저널 | 2020 겨울호

네이버 뉴스 알고리즘 이렇다

유봉석 | 네이버 서비스운영 총괄(대표 집필) ■ 광운대학교 신문방송학 박사 ■ 영국 Exeter University MBA 석사 ■ 연세대학교 본대학원 경제학 석사

최창렬 | 네이버 뉴스개발 기술리더(공동 집필) ■ 한국과학기술원 전산학 석사

최재호 | 네이버 AiRS 책임 리더(공동 집필) ■ 미국 University of Massachusetts Amherst Computer Science 석사

수천만 명 사용자마다 각기 다른 뉴스를

네이버는 검색, UGC(user generated contents)와 같은 정보 서비스뿐만 아 니라 쇼핑이나 페이 등 다양한 버티컬(vertical) 서비스를 담아내는 플 랫폼(platform)으로써 끊임없는 혁신을 시도하고 있다. 뉴스 서비스도 마찬 가지다. 2019년 내부 뉴스 배열을 중단하고, 대신 언론사가 직접 뉴스를 편 집하면 사용자가 관심 있는 매체를 선택해서 뉴스를 보는 구조로 바뀌었 다. ‘언론사 편집’이라고 불리는 이 영역은 뉴스 생산자에게는 주요 기사 편 집권을, 사용자에게는 관심 있는 언론사 선택권을 제공하고 있다.

모바일 네이버 메인(m.naver.com)에서는 ‘언론사 편집’과 함께 ‘MY뉴스’ 영역을 보조적으로 서비스하고 있다.

MY뉴스판은 구글·페이스북 등 글 로벌 사업자처럼 알고리즘을 통해 개인화된 뉴스를 맞춤형으로 제공하는 영역이다.

알고리즘 기반의 개인 추천 서비스인 MY뉴스는 모바일과 AI 시대가 가져온 2가지 큰 변화 덕분에 구현할 수 있게 되었다.

첫 번째는 PC에서 모바일 시대로 넘어오면서 로그인 기반 사용자 비율이 크게 늘어났다. 여러 명이 공유하는 PC와 달리 개인화 기기인 스마트폰 사용이 늘면서 자연스럽게 앱을 설치하고 로그인한 후 네이버를 사용하는 비율이 높아졌다. 현재 로그인 사용자 비율은 전체 70%에 달한다.

두 번째는 대용량의 데이터를 빠르게 처리하는 빅데이터 기술과 머신러 닝(machine learning), 딥러닝(deep learning)으로 대표되는 AI 기술의 비약적인 발전이다. 2011년에 정식 발표된 하둡(Hadoop)1)을 필두로 빅데이터 분산 처리 기술의 발전은 대용량의 데이터를 적은 비용으로 빠르게 분석할 수 있는 토대를 마련해 주었다. 2016년 이세돌 9단과의 대결로 유명한 알파고 (AlphaGo)의 등장은 AI 기술의 발전된 모습과 가능성을 보여주었다. 알파고 이후 머신러닝과 딥러닝을 활용한 자동화(automation) 작업은 우리의 일 상 곳곳에서 이루어지게 되었다. MY뉴스는 로그인 아이디를 기반으로 사용자의 최근 뉴스 소비 이력 바 탕으로 개인화된 뉴스를 제공한다.

 1) Hadoop, High-Availability Distributed Object-Oriented Platform

개인이 선호하지 않더라도 다수 언론사 가 다루는 주요 이슈와 관련된 뉴스나 최신성이 높은 기사 등 다양한 특성 을 고려한 뉴스 콘텐츠를 사용자에게 함께 추천한다. 만약 네이버를 이용 하는 사용자들의 대부분이 로그인을 하지 않았다면 불가능한 시나리오다. 당연한 이야기지만, 사용자마다 추천되는 뉴스가 다른 이유는 사용자가 구 독한 언론사와 최근에 읽은 뉴스 기사가 다르기 때문이다. 아울러 구독한 언론사가 완전히 동일한 사용자라 하더라도 사용자마다 읽은 뉴스 기사와 시간, 순서가 다르기 때문에 추천 뉴스 결과도 달라지게 된다. 그 결과 수천만 명에게 동일한 뉴스를 배열하던 방식에 비해 사용자에게 노출되는 기사 수는 100배가량 늘어나고 1인당 일간 뉴스 소비도 크 게 증가했으며, 페이지뷰(PV) 10만 이상 기사 수는 24% 감소하는 등 특정 기사에 대한 쏠림 현상이 완화되었다.

추천 시스템의 원리와 협력 필터링 알고리즘

추천 시스템은 수많은 정보 중에서 사용자가 관심을 가질 만한 정보들 (예, 영화·음악·책·뉴스·상품 등)을 효과적으로 제공하는 일종의 정보 필터링(information filtering) 시스템을 말한다. 요즘 우리에게 익숙해진 넷플릭스 (Netflix)는 추천 시스템의 중요성을 일찍이 간파해 2007년부터 3년에 걸쳐 우수한 영화 추천 알고리즘을 찾기 위해 전 세계 연구자들을 대상으로 넷플릭스 프라이즈(Netflix Prize) 대회를 개최했다. 상금이 무려 100만 달러(약 12억 원)에 달했다. 아마존(Amazon)은 전체 상품 판매량의 상당 비율이 추천 시스템을 통해 발생하는 것으로 알려져 있으며, 유튜브(Youtube) 역시 구독·추천 알고리즘을 통해서 개인화된 동영상을 제공하고 있다.

검색엔진 기술을 자체 연구·개발해온 네이버 역시 IT 기술변화를 선도 하기 위해 개인화된 추천 시스템을 위한 인프라와 기술 개발에 많은 노력 을 기울여 왔다. 추천 시스템의 구조와 알고리즘은 매우 다양하다.

추천 시스템 구성은 특정 서비스의 사용자(user)와 서비스에서 제공하는 수많은 정 보, 즉 아이템(item)들을 어떻게 연결해줄 수 있을까에 대한 고민에서 출발 한다.

검색엔진을 이용하면 사용자가 입력한 검색어를 통해 사용자 의도를 파악해 가장 적합한 아이템을 찾아줄 수 있다.

반면 추천 시스템은 사용자 가 검색어를 입력하지 않아도 사용자의 과거 이력과 성별, 연령, 위치 등의 컨텍스트(context) 정보를 기반으로 가장 적합한 아이템을 찾아주어야 한다. 대표적인 추천 알고리즘으로 ‘협력 필터링’(collaborative filtering)을 꼽을 수 있다.

협력 필터링이란 협력이라는 단어가 나타내듯이 나와 관심사가 비슷한 다른 사용자들의 소비 이력을 기반으로 정보를 필터링하는 것을 말한다. 나와 관심사가 비슷한 사용자들이 선택한 것이니 나에게도 역시 유용할 것이라는 가정하에 추천하는 원리이다. 사용자 이력을 바탕으로 한 다는 의미에서 로그 기반(log-based) 협력 필터링이라 부르기도 한다.

다른 사용자 소비 이력을 활용하지 않고도 콘텐츠 자체(예, 제목이나 본문 등)의 특징을 기반으로 추천을 할 수도 있다. 이를 내용 기반(content-based) 필터링이라고 한다. 예를 들어, 사용자가 과거에 소비한 뉴스와 유사한 단어나 표현, 문장을 포함하는 경우 해당 이슈에 대한 후속 기사거나 관련 뉴 스일 가능성이 높다고 보는 것이다. 물론 과거에 소비한 뉴스 기사와 내용 면에서 너무 유사한 경우 알림 자료 등을 기반으로 작성된 기사이거나 사 용자가 이미 알고 있는 정보만을 포함할 수도 있으므로 추천 알고리즘은 이러한 점들을 고려해 뉴스 기사의 노출 순서를 결정해야 한다. 일반적으로 추천 로직은 앞에서 언급한 사례를 포함해 다양한 알고리즘 의 하이브리드(hybrid) 형태로 사용하는 경우가 많다.

추천 시스템이 어떤 알고리즘을 사용할 것인지 결정하는 데 가장 중요한 요소는 알고리즘의 입력값(input)으로 사용되는 사용자 로그 데이터 크기와 추천할 대상이 되는 아이템의 특성이다.

뉴스 추천 시스템의 경우 매일 수천만 명의 사용자가 방문하며 로그인 비율과 1인당 일간 뉴스 소비량이 많은 편이기 때문에 로그 기반(log-based) 협력 필터링 알고리즘이 동작하기에 매우 적합한 조건 을 갖추고 있다. 또 최신성이 중요한 뉴스의 특성상 작성된 지 얼마 되지 않은 뉴스 기사 를 빠르게 추천하기 위해서는 연산량이 비교적 적으면서도 효과적인 통계 기반의 필터링 알고리즘이 필요하다. 예컨대, 몇 년 전에 나온 영화나 음악 을 추천하는 것과 달리 뉴스 기사의 경우 몇 시간만 지나도 새로운 뉴스 기사가 나와서 최신 정보로서의 가치가 떨어질 수 있다. 실제로 생성된 이후 시간 경과에 따른 뉴스 기사 소비량 분포를 살펴보면, 기사작성 이후 수 시간 이내에 최대치를 기록하고 24시간 이후에는 해당 뉴스가 거의 소비되 지 않는 패턴을 볼 수 있다.

뉴스 기사의 최신성뿐만 아니라 뉴스를 소비하는 사용자들의 관심사 역시 매우 빠르게 변화하는 점도 뉴스 추천 시스템이 갖는 중요한 차이점 중 하나다. 즉 뉴스 추천 시스템은 사용자들이 과거에 관심을 가졌던 이슈나 분야의 최신 소식을 업데이트함과 동시에 오늘 새롭게 발생한 이슈에 대 한 뉴스도 (사용자가 관심이 없는 분야의 뉴스이더라도) 함께 추천해야 하는 특 성을 갖는다.

기사 품질 모델과 클러스터링 알고리즘

그렇다면 사용자의 관심사 정보가 없는 상태에서 어떻게 새로운 이슈에 관한 뉴스를 추천할 수 있을까？가장 먼저 떠올려 볼 수 있는 방법은 새로 나온 뉴스 조회 수나 체류 시간 같은 전체 뉴스 사용자들의 피드백 (Feedback) 정보를 활용하는 것이다. 다수의 사용자가 소비한 뉴스이니 평 소 해당 분야에 관심 이력이 없더라도 추천할 수 있다.

사용자가 비(非)로그 인 상태이거나 과거 이력이 없는 콜드-스타트(Cold-start) 사용자인 경우에 는 다수의 사용자가 관심을 갖는 뉴스를 추천하는 것이 자연스러운 출발 일 수 있다. 사용자들의 피드백 정보가 쌓이려면 뉴스 기사가 작성된 이후 어느 정도 의 시간이 필요하다. 하루에 생성되는 뉴스 기사의 양이 수만 건에 이르다 보니 기사가 작성된 지 얼마 되지 않은 시점에는 조회 수가 낮은 기사들이 많이 존재한다.

더군다나 수만 건의 뉴스 기사 중에는 특정 회사나 제품을 홍보하려는 상업성이 짙은 기사나 사용자들의 클릭을 유도하려는 목적으로 바이라인(Byline) 없이 작성된 기사들도 존재하며 이러한 기사들이 무분 별하게 추천될 경우 사용자들의 만족도는 떨어질 수 있다. 따라서 뉴스 기사작성 직후 조회 수가 낮은 상황에서도 기사의 품질을 가늠하기 위해서는 기사 자체를 기반으로 뉴스 품질을 예측하는 모델이 필요하다.

뉴스의 주요 특징 중 최신성은 기사가 포함하고 있는 정보가 현재 시점에서 얼마나 유효한가를 고려하는 요소라면, 기사의 품질을 예측하 는 모델은 내용과 형식의 충실함과 관련된 요소들을 고려한다.

즉 조회수 등의 피드백 정보가 쌓이기 전까지 해당 기사가 얼마나 풍부한 정보를 담 고 있는지, 사용자에게 잘 전달될 수 있는 가독성 높은 형태로 구성되어 있는지, 정확한 작성자(바이라인, Byline)를 명기해서 완성도 있게 작성된 기사 인지 등을 딥러닝 기술을 이용해서 예측하는 것이다.

이미 잘 알려진 대로 딥러닝은 심층 신경망(Deep Neural Network)이라고 불리는 모델을 학습하는 방법으로서 입력층(Input Layer)과 출력층(Output Layer) 사이에 여러 개의 은닉층(Hidden Layer)을 두어 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있는 것이 장점이다.

뉴스 기사 품질 예측을 위해 사용하는 딥러닝 모델 동작 과정을 설명하면, 기사 제목, 본문, 이미지, 바이라인, 기사작성 시간 등의 문서 정보를 숫 자와 벡터처럼 컴퓨터가 알아들을 수 있는 형태로 변환해 입력값으로 사용한다.

딥러닝 모델을 학습하기 위한 데이터는 협력 필터링 알고리즘과 마찬가지로 사용자의 과거 소비 이력을 활용한다. 단 개인의 소비 이력을 일일이 사용하는 대신 해당 기사가 작성된 이후 누적된 조회 수와 체류 시 간을 기반으로 두 개의 뉴스 기사(Pair)를 샘플링(Sampling)하는 방식으로 데이터를 구성한다.

예를 들어, 학습 데이터로서 누적 조회 수와 체류 시간이 모두 큰 기사와 그렇지 않은 기사의 데이터 샘플이 주어지면, 딥러닝 모델 은 두 기사 간의 모델 예측값의 차이가 크도록 모델 파라미터들을 업데이 트하는 방식이다.

이렇게 두 기사 간의 격차를 이용하여 모델을 학습하고 나면 새로운 뉴스 기사가 주어졌을 때, 해당 기사의 조회 수와 체류 시간이 어느 정도 될지 예측할 수 있게 된다.

이렇게 품질 모델은 다수의 사용자 피드백 정보를 이용해서 기사의 품질을 예측할 수 있고, 실제 사용자 피드 백 정보와 합쳐져서 사용자 개인의 관심사가 아닌 경우에도 추천해 줄 수 있게 된다.

기사 품질 모델이 다수 사용자의 피드백 정보를 기반으로 기존의 관심사가 아닌 새로운 이슈에 대한 뉴스를 추천하는 방식이라면, 뉴스 클러스터링(Clustering)은 사용자 개인의 관심 여부와 상관없이 다수의 언론사에서 다루는 이슈에 대한 정보를 기반으로 뉴스를 추천하는 방식이다.

비슷한 시간대에 많은 언론사가 같은 주제로 생산하는 기사가 많다면, 대중적으로 관심이 많고 중요 이슈일 수 있다는 걸 전제로 한다. 이 방식은 움직이는 시간 윈도(time-based sliding window) 내에 생산되는 기 사를 기반으로 클러스터 서비스 영역에 맞는 기사를 선별해 클러스터링 대상 기사 풀을 만든다.

이때 평일, 주말, 공휴일, 낮시간, 밤시간 등 시점에 따라 생산되는 기사량 편차를 고려해 뉴스의 최신성과 함께 기사 송고량 에 따라 시간 윈도가 동적으로 변한다. 기사 풀이 만들어지면 클러스터링 분야 대표 알고리즘 중 하나인 계층적 군집화(hierarchical clustering) 알고리 즘을 이용해 클러스터링을 진행한다.

네이버의 형태소 분석기를 이용해 기 사를 구성하는 색인어 원형을 만들고, 색인어 구성을 분석해 기사 간의 코 사인 유사도(cosine similarity)를 계산한다. 이 유사도 값을 기준으로 기사 그 룹을 완성한다. 현재 섹션별 헤드라인 영역의 기사 그룹(클러스터) 순서와 개별 클러스터 내 기사 순서는 이슈 강도 점수(관련 내용 특허 출원 중)를 계산해 자동 정렬 된다.

움직이는 시간 윈도를 기사량 비율로 보다 세분화하는데, 각 시간 간격의 기사량에 따라, 최신 기사가 많은 클러스터에 좀 더 점수를 부여하고, 전반적으로 기사량이 많은 클러스터에도 좀 더 점수를 부여한다.

큰 이슈 가 발생해 단기간에 기사량이 많으면, 시간 간격이 좁혀지며, 이 이슈가 상 위에 위치하게 된다. 반대로 기사량이 적은 밤 시간대에는 시간 간격이 넓어지기 때문에 당일 많이 다뤄진 기사 그룹이 가중 점수를 받을 가능성이 높아진다.

24시간, 평일, 휴일 관련 없이, 사회적 이슈 상황에 능동적으로 순위가 변경되는 알고리즘이라 볼 수 있다. 기사 그룹인 클러스터 내에서 기사 순서는 최신성, 사용자의 참여도, 기사 그룹 내에서 다른 기사들과 관 계 중요도, 최초 송고된 기사, 기사의 길이 등 기사 속성의 조합 점수에 의해 결정한다.

이렇듯 클러스터링은 다수의 언론사가 다루는 주요 이슈를 파악할 수 있 도록 해주는 역할을 한다. 예를 들어, 어떤 기사가 클러스터링에 묶여 있다 면 해당 뉴스 기사를 추천할 때 동일한 클러스터에 포함된 다른 언론사의 기사들을 함께 묶어서 추천할 수 있다. 네이버 뉴스 추천 시스템은 사용자 개개인의 뉴스 소비 이력을 기반으로 개인화된 뉴스를 추천함과 동시에 개인이 선호하지 않더라도 다수의 사용자가 피드백을 많이 받는 뉴스, 다수의 언론사가 다루는 이슈에 대한 기사나 최신성이 높은 기사 등 다양한 특성을 추천 알고리즘에 고려하고 있다.

알고리즘의 검증과 사용자에게 선택권을 주는 노력

지금까지 네이버 뉴스 추천 알고리즘을 구성하는 3가지 주요 요소인 1) 사용자 로그에 기반한 협력 필터링과 2) 딥러닝 기반의 뉴스 기사 품질 모델, 그리고 3) 뉴스 기사 클러스터링에 대해 간략히 살펴보았다.

이는 2017 년에 처음 뉴스 추천 베타서비스를 출시한 이후로 뉴스 사용자 개개인의 관심사에 따라 뉴스를 추천하는 가치와 다수의 언론사가 공통적으로 생산 하는 이슈에 대한 가치를 동시에 반영하기 위해 고안한 결과물이다. 수천만 명이 사용하는 뉴스 서비스의 알고리즘을 어떻게 만드는 것이 과 연 가장 올바른 방법인 것인가에 대한 고민은 지금도 계속되고 있다. 고민 의 일환으로 뉴스 알고리즘이 외부의 개입 없이 객관성을 확보해 작동하 고 있는지에 대해 지난 2018년 6개월간에 걸쳐 뉴스 알고리즘 검토위원회 를 통해 11인의 교수진으로 구성된 외부 전문가 그룹에 의뢰하여 검토 받 은 바 있다.(관련기사) 2) 

일각에서는 알고리즘을 모두 공개해 공정성과 신뢰성을 확보하자는 주 장도 존재하나, 앞서 언급했듯이 협력 필터링 알고리즘 하나만 해도 굉장 히 다양한 방식이 존재하기 때문에 어떠한 알고리즘을 사용했는지는 사실 지엽적인 문제일 수 있다. 오히려 매일 네이버에 방문해 뉴스를 읽는 수천 만 명의 사용자들의 반응과 의견을 귀담아듣고, 네이버가 뉴스 편집 권한 을 내려놓고 사용자에게 어떤 언론사의 뉴스를 먼저 볼 것인지에 대한 선 택권을 주었듯이, 사용자 만족도를 높이기 위한 다양한 옵션을 끊임없이 만들어 가는 게 더 중요하다.

네이버가 궁극적으로 추구하는 건 알고리즘이 아니라 저널리즘 가치를 잘 전달하는 것이다. 저널리즘 기준으로는 여전히 인간 편집자 판단이 우 위에 있을 수 있다. 그래서 네이버는 언론사 소속 ‘사람 편집자’들이 고른 ‘언론사 편집’ 뉴스를 먼저 보여주고, 알고리즘 추천은 보조 서비스로 제공 한다. 하지만 시간이 지날수록 AI 기반의 개인화 뉴스 서비스 기술은 더 발 전할 것이다. 알고리즘 기반의 뉴스 추천에 대한 우려를 해결할 수 있는 기 술적 대안이 계속 모색되고 있기 때문이다.

일례로 네이버 뉴스 알고리즘 의 경우 첫선을 보일 때부터 확증편향(필터 버블) 문제를 줄이는 로직이 반 영되었다.

네이버는 국내에서는 가장 많은 데이터와 최신 AI 기술을 연구 하고 있지만, 구글이나 아마존과 같은 글로벌 IT 기업들과 경쟁하기 위해 서는 끊임없는 기술 개발을 통해 궁극적으로 사용자들에게 가치 있는 서비스 경험을 제공해야 한다. 동시에 단순히 알고리즘 기술 자체에만 몰두 하지 않고 기술 플랫폼이 갖춰야 할 책무를 다하면서 관련 AI 윤리 준칙도 지켜나갈 때 의미 있는 발전이 가능하다는 점을 숙지하고 있다.

 

2) 11인 교수그룹 “네이버 뉴스 알고리즘, 문제없다”(디지털데일리)

“네이버 뉴스 편집 과정서 원칙적 개입 없어 믿을 만”(한국일보)

“네이버 뉴스 자동화, 공정성·신뢰성 위한 효율적 대안”(종합)(연합뉴스)

[일문일답]네이버 뉴스 검토 위원회 “공정성·객관성 확보” [아시아경제]