향후 검색엔진의 논쟁은 검색결과의 정확성과 다양성에 바탕한 Quality 논쟁과 검색해서 나온 결과를 어떻게 이해하기 좋게 전달하고 정리하도록 도와주느냐 하는 Delivery 논쟁으로 양분될 것이다.이 둘은 따로 따로 일어나는 것이 아니고 한번에 뒤섞여서 혼란스럽게 일어나고 있다.
엠파스와 네이버의 검색엔진 경쟁을 보면 이 말이 이해가 된다.“야후에서 못찾으면 엠파스에서 찾는다”라는 공격적인 광고카피를 들고 작년 중반부터 검색시장을 두드리던 엠파스는 거의 모든 검색엔진 소비자 만족도 조사결과가 말해주고 있는 것처럼 적어도 퀄리티면에서 타의 추종을 불허하고 있는 듯했다.
적어도 네이버가 새로운 서비스를 라이브하기 전까지는 그랬던 것 같다.그런데 네이버가 변했다.
필자는 며칠 전에 네이버에 참으로 오랜만에 들어갔다가 “이소라”라는 검색을 하자 검색결과 상단에 이소라의 사진이 있는 프로필이 나오고 다양한 이미지가 제공되더니 그 아래는 이소라의 사운드(MP3)파일이 찾아지고 그 밑에 디렉토리서치 결과가 보였다.
그리고 더욱 재미있는 서비스는 바로 넥서치119란 서비스인데 이 서비스는 유저가 웹을 서핑하던 중,혹은 기타 업무를 보다가 검색이 필요한 경우 원하는 단어 위에서 오른쪽 마우스 버튼을 누르면 바로 네이버의 서치결과로 가는 버튼을 심어 놓는 기능이다.
거기에다 영한,한영사전기능까지 넣어놓았다.네이버의 이번 서비스는 Lycos.com의 서치나 yahoo.com의 서치에서 보여주는 검색결과와 흡사하면서 일단 한국에서는 가장 앞선 검색결과를 보여주고 있다고 할 수 있다.
분명 네이버를 엠파스의 가장 확실한 경쟁상대로 다시 올려 놓을 가치있는 기능임에 틀림없지만 이들 둘은 서로 다른 방식으로 서로와 경쟁하고 있는 것이다.
검색엔진간의 퀄리티 논쟁의 핵심에는 사실 아래의 3가지 카테고리에 의한 구분이 위치한다.검색엔진에는 다양한 구분 방식이 가능하지만 검색엔진의 구분을 위한 카테고리의 기준은 첫번째 자연어 처리 여부,두번째 Static 웹페이지 검색 or Dynamic 웹페이지 검색,세번째 웹로봇에 의한 검색 or 디렉토리서비스.
원래 검색기술은 DB형태로 정리된 데이터에서 원하는 정보를 찾아내는 DB검색과 웹상에 뿌려져있는 다양한 형식의 Static데이터에서 원하는 컨텐츠를 찾아주는 웹검색이 한 동안 통합을 모르고 지속적으로 발전해 오고 있었다.
이러던 것이 같은 URL이면서도 실시간에 따라서 웹페이지의 내용이 바뀌는 Dynamic 데이터 컨텐츠가 증가하면서 바로 두 검색양식의 통합이 시도되고 있다.
그리고 엠파스로 촉발된 자연어 처리는 검색엔진은 일단 자연어 처리에 대한 이해가 우선 필요한데 자연어 처리라는 것은 원래 외국어 번역연구에서 중요시 되었던 연구분야였다.
자동번역엔진을 한번 생각해보자
자동번역엔진은 아래의 4단계를 거쳐서 번역을 진행하는데-
1.한국어나 일본어 문장을 최소의미단위(형태소)까지 쪼개는 작업을 한다.
2.이렇게 쪼개진 각 형태소의 의미를 Lexical Analysis(즉 문장속에서 각 단어들이 사용된 원래의 의미를 문장을 구성하고 있는 단어의 위치나 문장의 종합구조 등에 의존해서 찾아내는 분석방식)를 통해서 확인한다.
3.이번에는 뜻이 밝혀진 각 단어를 일본어나 한국어에 매칭이 되는 단어로 대치를 한다.
4.마지막으로 이 단어들을 다시 번역이 된 언어의 문장어순에 맞추어 재정렬한다.
대략 이런 4가지의 단계를 거쳐서 언어 번역이 이루어지는데 대개의 경우 검색엔진에서 자연어 처리라고 하면 위의 1번과 2번의 단계를 말하는 것이라고 보면 맞겠다.
하지만 대개의 경우 2번까지의 프로세스를 완벽하게 하는 자연어 처리 엔진은 아직 없는 것으로 알고 있고 대개의 경우는 1번 프로세스를 주로하고 2번 프로세스를 서브로 해서 검색결과를 처리하는 엔진이 요즘 국내에서 우리가 접하고 있는 자연어 처리 검색엔진이라고 할 수 있다.
(바로 이점이 필자가 엠파스를 자연어 검색엔진이라는 것에 동의하기가 어려운 점이다.2번 프로세스를 완벽하게 하려면 엄청난 Database가 쌓여야 하는데 우리나라에서 아직 이 부분에 대한 충분한 DB를 쌓아놓은 회사는 없는 것으로 안다.)
아무튼 자연어처리가 이렇게 문제가 있는 것이라면 어떻게 이들 자연어처리를 표방하는 검색 엔진이 우리가 파리라고 검색어를 넣었을 경우 이것이 곤충의 파리인지 프랑스 파리인지를 아는가 하고 의아할 수 있지만 이것은 검색되는 단어들의 빈도에 따라 검색엔진에게 어떤 뜻으로 먼저 주된 검색 결과를 보여줄 것인지를 지시해 놓은 것이라고 보면 된다.
이렇게 보면 현재 검색의 퀄리티면에서는 앞으로 검색의 기능을 위한 논쟁은 분명 DB베이스의 Dynamic 컨텐츠 검색과 웹 검색이 통합되고 검색어의 자연어처리를 위해서 위의 1,2번 프로세스를 완벽하게 갖춘 엔진이 나오는 순간 정리가 된다고 보면 될 것 같다.
그렇다면 Delivery측면에서는 어떤 변화 요소가 있을까?
우선 생각해 볼 수 있는 Delivery논쟁에서의 첫 이슈는 검색엔진들이 현재의 네이버나 Lycos.com혹은 Yahoo.com의 검색결과 전달 방식으로 얼마나 빨리 변화할 수 있는가가 될 것이다.
즉 디렉토리검색, 웹검색, 이미지검색,멀티미디어검색, 뉴스검색, 사전검색등을 완전히 통합해서 유저에게 보여주는 형식이 관건이 되는 것이다.
그 다음은 무엇일까?
Davidndanny는 이 의문에 대한 답을 correlate.com이나 webbrain.com 그리고 about.com 그리고 Napster에서 찾을 수 있다고 생각한다.
(About.com과 Napster는 오늘의 주제에서 벗어나기 때문에 일단 깊이 있게는 다루지 않겠지만 이들 P2P 기술 혹은 트랜드가 오늘날의 검색형식을 바꿀것 이라는 예상은 이미 Davidndanny’s column식구들은 많이 들어 봤을 것이라고 생각한다)
Correlate과 webbrain은 검색을 실행한 유저들이 자신들이 찾아낸 정보를 자신만의 방식으로 정리, 활용, 공유, 관리하는 툴이다. 검색엔진의 퀄리티 논쟁에서 자연어처리가 차지했던 역할을 Delivery논쟁에서는 지식관리가 차지하고 있다고 필자는 보고 있다.
통합검색이 검색결과를 유저가 원하는 방식으로 보여지는데 성공했다면 이제 유저들이 검색엔진에게 원하는 것은 찾아진 자료를 어떻게 원하는 방식으로 재구성해서 기존에 가지고 있던 정보와 통합하고 효율적으로 보관, 관리해서 활용할 수 있게 도와주는 지의 여부라고 생각한다.
Correlate서비스
데스크탑 어플리케이션, 인터넷상의 자료들, 네트워크안에 있는 동료들의 PC,Database, MRP, ERP, 문서자료관리를 바로 하나로 묶어내는 어플리케이션이라고 보면 된다.
Correlate의 컨셉을 살펴보자.
1.Browsing and searching for information:
자신의 로컬 PC나 사내 혹은 학교내의 네트워크에 있는 정보와 이메일 그리고 인터넷에 있는 정보사이를 하나의 툴로 서핑하고 다니며 찾을 수 있다.
2.Harvesting information and Organizing it:
유저가 찾고 있던 정보를 발견했을 때 단순히 drag-and-drop으로 각 정보를 하나의 문서에 자신만의 Knowledge Tree형식 (자신에게 의미있는 방식으로 개별 정보를 연결하는 것)으로 통합 관리하게 해준다.
3.Sharing:
이렇게 모으고 정리된 당신만의 정보꾸러미를 이메일로 보내거나 웹에 올려 친구와 나눌 수 있고 로컬에 저장해 놓는 것도 가능하다.
4.Updating:
이렇게 만들어 논 Correlate Document는 유저가 원할 때 자동적으로 최신 정보로 Update된다.
www.webbrain.com의 서비스 개요
웹브랜인의 서비스에는 웹서비스와 클라이언트버젼 서비스 등이 있는데 이들의 의미는 지식들간의 연간관계를 극도록 시각적으로 인지하기 쉽게 유저에게 전달한다는 것이다.
예를 들어 야후나 라이코스의 디렉토리 서비스는 하나의 아이템이 선택되면 이 것에 이르는 경로를 중점적으로 표현된다면 웹브레인은 이 아이템을 중앙에 놓고 이와 연계가 있는 모든 다른 아이템을 보여준다.
그리고 이러한 개별 아이템에 대해서 유저가 관련 사항들을 입력해 놓을 수 있다.Correlate과 Webbrain의 서비스를 보면서 검색엔진과 결합한다면 분명 유저들에게는 새로운 검색엔진의 가치가 만들어 질 것으로 기대한다.
검색엔진의 검색결과에 대한 퀄리티 논쟁과 검색엔진 마다의 검색결과의 Delivery논쟁은 사람들이 더 이상 지식을 다른 곳에서 찾는 일이 없어지지 않는 한 계속해서 이슈가 될 것이라고 생각하지만 대략 그 지향점이 보고 있는 것이 아닌가 생각하면서 오늘 글을 마친다.
