네이버가 7일 오후 파트너스퀘어 역삼에서 웹호스팅 업체, 웹사이트 제작 대행사 실무진, 광고/마케팅 담당자를 대상으로 <2017 웹커넥트 데이>를 진행하고, 그간 웹문서 검색의 연구 과정 및 향후 방향성 등에 대해 공유하는 시간을 가졌다.
네이버 웹검색 김상범 리더는 키노트를 통해 “네이버는 한국어 웹문서가 척박했던 2000년대 초반부터 양질의 문서와 사이트를 구축해 잘 보여주기 위한 노력을 지속해왔다”며, “최근에는 AI기반의 웹검색 기술 발전에 맞춰 수집, 스팸, 랭킹 시스템을 개선하고, 학술전문자료나 외부 사이트 검색도 강화하는 방향으로 연구를 이어가고 있다”고 밝혔다.
먼저, 네이버는 웹문서 검색 고도화를 위한 ‘그리핀(Griffin) 프로젝트’의 방향성 하에, AI 기반의 기술을 접목해 ▲웹문서의 실시간 수집 ▲자연어이해 기반의 스팸 탐지 ▲투명성을 강화한 검색 랭킹에 대한 연구를 소개했다.
실시간 스트리밍(Streaming) 구조의 문서 수집 시스템으로 개선…전문정보, 해외 웹문서 수집 강화
문서 수집 시스템의 경우, 실시간 스트리밍(Streaming) 구조로 개선해 수집 로봇이 뉴스, 위키백과 등 신규 콘텐츠를 상시 분석하여, 새롭게 등장하는 웹문서를 발견해 신속하게 수집할 수 있도록 했다. 또한, 학술전문정보나 해외의 가치있는 사이트 및 웹문서 수집도 적극 강화했다.
자연어이해 기반으로 고도화된 스팸 처리 시스템, 내용의 충실성까지 판단해 스팸 제거
네이버는 딥러닝을 적용해 문서의 노출과 클릭 패턴뿐만 아니라, 문서 내용의 충실성까지 판단해 스팸을 제거하는 시스템에 대해서도 소개했다. 자연어이해(Natural Language Understanding) 기반의 웹 스팸 추출 로직을 개발하여, AI가 자동으로 복잡하고 다양해진 스팸 문서를 학습해 제거할 수 있도록 개선했다. 예를 들어, TextCNN 등 딥러닝 기반의 자연어이해 기술을 활용해 스팸 문서들이 자주 사용하는 단어 셋을 학습하여 성인, 도박, 보험 관련 스팸들을 제거하는 방식이다.
화제성, 신뢰도, 평판 등 반영해 검색 랭킹의 투명성 강화… 검색 랭킹을 결정하는 시그널은 공개 어려워
수집과 스팸 탐지를 거쳐, 네이버 화면에서의 노출을 결정하는 랭킹 시스템은 투명성을 강화해, 여러 곳에서 인용되었고 이용자들이 꾸준히 소비하는 화제성, 작성자 및 게시물에 대한 다른 이용자들의 신뢰도 등의 가치를 더욱 반영했다.
네이버 웹검색 김상범 리더
‘웹검색과 랭킹’ 세션을 발표한 김상범 리더는 “네이버 뿐만 아니라 구글, 야후 등 검색 사업자들은 검색 랭킹을 결정하는 시그널(요소)을 외부에 공개하기 어렵다”라며, “랭킹 시그널을 공개하는 순간, 해당 랭킹시그널을 이용하려는 외부 시도들에 의해 그 랭킹시그널은 빠른 시일 내에 무력화되기 때문”이라고 덧붙였다.
또한, 네이버는 웹사이트 운영에 도움이 될 만한 실질적인 정보들을 공유하는 세션과, 쉬는 시간 동안 웹사이트 운영자들이 궁금증을 해결할 수 있는 부스도 마련했다. 실제로, 추첨을 통해 선정된 일부 사이트 관리자들에게는 네이버 실무진들이 일대일로 사이트 진단을 해주는 컨설팅 기회도 제공됐다.
한편, 네이버는 웹문서와 사이트 검색을 ‘웹사이트’로 통합하는 개선을 시작했다. 웹문서와 사이트영역으로 나뉘어져 있던 정보들을 한데 모아, 보다 일목요연하게 웹문서 정보를 제공하기 위함이다.
네이버 웹검색 김종범 프로덕트 매니저는 “기존에는 별도로 존재하는 두 영역에서 클릭 수가 분산됨으로써, 각각의 영역이 통합검색 결과에서 아래쪽에 위치하는 경향이 있었다면, 두 영역이 통합되면서 ‘웹사이트’ 영역이 상단에 더 잘 노출될 가능성도 생겼다”며, “네이버는 현재 ‘웹사이트’ 영역의 수집 대상을 웹문서에 한정하고 있지만, 향후 다양한 시도를 거쳐 네이버 내부문서까지 포함하는 것도 고려할 예정이다”고 밝혔다.
관련 기사
