2014년 12월 “홈페이지를 만들 필요가 없는 나라, SEO를 잊어버린 나라”라는 포스트에서 저는 “검색 공공성 VS 검색 중립성”을 이야기하면서의도적인지 아닌지는 모르겠지만 네이버가 구글을 포함한 타 검색엔진들이 네이버 블로그, 네이버 지식인 등과 같이 로그인 없이 사용할 수 있는 웹컨텐츠들을 검색 서비스를 위해 크롤링하거나 색인하기가 대단히 어렵게 만들었다는 주장을 했었습니다. 그리고 그 시점으로부터 1년 반이 흘렀으나 상황은 변하지 않은 것으로 보입니다. 그래서 오늘은 제가 주장한 내용의 근거가 될 수 있는 몇 가지 정황들을 나눠보고 싶습니다.
네이버 블로그에 대한 구글의 페이지 색인수와 다른 블로그들에 대한 페이지 색인수의 비교
1. 네이버 블로그는 몇 가지 형태의 URL을 가지고 있습니다. 정상적이라면 구글은 이들 도메인 밑에 있는 블로그를 포스트 단위로 크롤해서 색인해 두어야합니다. 따라서 현재 구글에 색인된 포스트 수가 2,447,000개인데 하나의 블로그에 10페이지가 존재한다면 네이버 블로그의 이용자수는 24만명정도가 된다고 할 수 있습니다. 그러나 이 숫자는 상식적으로 볼 때 너무 적은 숫자임에 틀림없어 보입니다. 다음의 티스토리의 색인 숫자가 217만일 정도이기 때문이죠. 즉, 이런 숫자로 볼 때 네이버에 올리는 블로그 포스트들은 구글에 잘 색인되지 않고 있다고 말할 수 있다고 생각합니다.
네이버 블로그는 다른 블로그들과 달리 원문의 URL과 구글에 색인된 URL이 동일하지 않다. 그건 왜일까?
2. 그렇다면 색인이된 244만개의 포스트의 상황이 어떤지를 확인한게 두번째와 세번째 이미지입니다. 원래 블로그의 원글의 URL과 구글에서 해당 블로그의 제목으로 검색을 했을 때에 검색결과에 나오는 해당 포스트의 URL 그리고 구글에 색인되어 있는 URL은 원래 동일해야합니다. (2번째 이미지의 미디엄의 경우 처럼) 그런데 네이버의 블로그의 경우는 네이버 블로그 원글의 URL과 제목으로 검색한 결과로 보여지는 링크의 URL 그리고 검색이 색인해서 들고 있는 URL이 모두 다릅니다.
이를 통해 우리가 확인할 수 있는 최소한의 결론은 네이버 블로그의 경우는 블로그 유저가 하나의 포스트를 생성하면 원문용 URL외에도 구글에 색인이 되는 URL등 2~3개의 다른 URL이 생성된다는 것입니다. 이것은 typepad나 tumblr, wordpress.com과 같은 회의 다른 블로그 플랫폼에서는 확인되지 않는 케이스이며, 직관적으로는 왜 이렇게 번거롭게 해야하는지 이해하기 어려운 정책입니다. 특히 네이버 재팬의 네이버 마토메 서비스(http://matome.naver.jp/)와 같은 네이버의 해외 서비스에서도 이런 형태의 정책은 찾아 볼 수가 없습니다.
그렇다면 의문이 생깁니다. 왜 네이버 블로그는 국내에서만 이런 방식을 유지하고 있을까요? 저는 공개된 웹컨텐츠의 공정이용에 해당하는 검색엔진의 크롤링이나 색인을 네이버가 의도적으로 방해한 것이 아니라 네이버 서비스 로직상 필요한 이유가 있어서라면 이에 대해 네이버가 해명을 해줄 필요가 있다고 생각합니다. 블로그에 글을 올리면서 지식인에 답을 달면서 과연 이 내용은 네이버 안에서만 보여지면 좋겠다라고 생각하고 글을 쓰는 사람이 있을까요? 네이버 블로그를 사용하고 있는 사람들이 내가 쓴 포스트가 구글을 포함한 다른 검색엔진에는 잘 색인되지 않아서 검색 결과에 나오기 어렵다는 사실을 알고 있을까요? 이런 내용을 네이버는 사전에 공지하고 있을까요? 궁금합니다.
전 세계인이 사용하는 인터넷 안에 한국의 인터넷이 있고 그 안에 네이버가 있는 것이기 때문에 인터넷에서 웹서비스를 제공하는 사업자들이 당연히 지켜야하는 암묵적인 룰이 있다고 생각합니다. 네이버 안에는 한국인들이 오랜 시간에 걸쳐 쌓아 올린 엄청난 양의 컨텐츠가 들어가 있습니다. 그 정보의 저작권이 네이버가 동의하던 말던 한국인 대부분에 해당하는 이용자들에게 있다는 점은 분명합니다. 따라서 한국어 정보의 퍼블리싱 플랫폼인 네이버 블로그가 국내의 타 검색엔진이 크롤링하고 색인조차 할 수 없는, 혹은 하기 어려운 구조를 가지고 있고 이것이 단순히 한 회사의 웹서비스 퀄리티의 좋고 나쁨의 문제로 끝나지 않고 우리나라의 정보 경쟁력을 약화시키는 근본적인 문제가 되어버린다면 우리는 이 문제를 시정하기 위해 네이버에게 변화할 것을 요구하고 압박해야한다고 생각합니다. 필요하다면 정부의 힘도 빌려야한다고 생각합니다.
위에서 언급한 것과는 별도로 또 한가지 꼭 생각해야할 것이 있습니다. 네이버는 과연 검색엔진 사업자로서(본인들은 아니라고 할 수 있지만 사람들에게 그렇게 계속 믿도록 하고 있기 때문에) 네이버 플랫폼 안의 컨텐츠만이 아니라 적어도 인터넷 전체에 올라온 한국어 컨텐츠는 충실하게 크롤하고 색인하고 있는가 하는 것입니다. 한국어로 만들어진 전체 웹페이지가 총 몇 개로 추산되는데, 그 중에서 네이버가 몇 %를 크롤해서 색인하고 있는지를 매년 공개해줘야한다고 생각합니다. 간혹 나오고 있는 미디어들과 네이버 검색 담당자들의 인터뷰 기사를 보면 네이버의 웹 검색 결과가 나쁘다는 기자의 지적에 네이버는 늘 한국 웹 컨텐츠의 빈약성을 지적합니다. 저는 이런 지적을 하려면 자신들이 어느 정도의 한국어 컨텐츠를 크롤링했으며 색인했는지도 말해줘야만 이런 주장이 근거를 가질 수 있다고 생각합니다.
정보를 찾는 사람과 정보를 제공하는 사람을 잘 연결하기 위해 웹검색 사업자로서 크롤과 색인을 충실하게 하는 것과 구글을 포함해서 어디선가 차세대 검색엔진을 꿈꾸며 열심히 기술을 개발하는 사람들이 자신들의 서비스로 공정한 경쟁을 할 수 있도록 네이버의 오픈 플랫폼 상의 컨텐츠를 문제 없이 크롤하고 색인할 수 있게 허용하는 것은 검색이란 공공적 성격의 서비스를 통해서 엄청난 부를 만들어낸 네이버가 국민과 한국 인터넷 산업에 대해서 책임져야 할 최소한의 의무라고 생각합니다.
이왕 이야기를 한 김에 네이버에게 원하는 것을 하나만 더 말해보고 싶습니다. 통합검색을 없애거나 웹 검색으로 대체하라고는 주장하지 않겠습니다만, 네이버 뉴스에서 네이버가 취했던 자세처럼 네이버 검색 창에서 통합검색과 웹검색 둘중의 하나를 사용자들이 선택하여 디폴트로 사용할 수 있게 해달라는 것입니다. 네이버에선 웹 검색이 아에 보이질 않습니다.
웹검색을 찾으려면 더보기를 누르고 들어가서 한참을 찾아야합니다. 이렇게 고객에게 선택권을 주더라도 자신들의 광고 매출이 줄지는 않을 것입니다. 그리고 이렇게 해야 많은 이들이 다시 웹검색을 사용할 것이고 그래야 서비스가 좋아질 기회도 생길 것입니다. 네이버 웹검색의 비율이 높아진다면 컨텐츠를 제공하는 기업이나 개인들의 동기도 높아져서 국내 컨텐츠 전체의 양과 질이 올라갈 것이라고 기대할 수 있게 됩니다.
