안녕하세요. 저는 John입니다.
저는 구글에서 검색 및 머신 러닝팀을 이끌고 있습니다.
저는 전세계의 모든 사람들이
소소한 질문부터
매우 중요한 문제까지 답을 찾기 위해 검색 엔진을 켜는 것이
놀랍도록 고무적인 일이라 생각합니다.
그래서 우리는 큰 책임감을 갖고
가능한 한 최선의 답을 제공하고자 합니다.
안녕하세요. 제 이름은 Akshaya이고 Bing 검색팀에서 일하고 있습니다.
우리는 수 차례에 걸쳐 인공지능과 머신러닝
조사를 시작할 수 있었지만
결국 가장 중요한 것은 우리가 사회에 영향을 주길 원했기 때문에
사용자가 이를 어떻게 이용할지에 관해 답을 찾아야 합니다.
간단한 질문을 하나를 해보죠.
화성까지 가는 데 얼마나 걸릴까요?
검색결과가 어디에서 나왔으며,
다른 결과 보다 이것들이 먼저 나열된 이유가 무엇일까요?
좋아요, 검색 엔진이 요청을 결과로 어떻게 바꿔놓는지
한번 살펴볼까요.
먼저 알아야 할 것은 검색을 언제 하는가 입니다.
사실 검색엔진은 실시간 검색을 위해
월드와이드웹으로 나가지 않습니다.
인터넷에는 수 십억개 이상의 웹사이트가 있고
매 일분마다 수 백개 이상이 새로 만들어지기 때문입니다.
그래서 검색엔진이 사용자가 원하는 것을 찾고자
각 사이트 하나 하나를 조사하는 일이 어려우면,
그냥 한없이 시간을 끌게 될 것입니다.
그래서 더 빠르게 검색하기 위해,
검색엔진은 미리 웹을 계속해서 스캐닝하여
나중의 검색에 도움이 될만한 정보를 기록합니다.
이런 식으로, 화성까지의 여행에 관한 검색을 할 때,
검색엔진은 이미 실시간 으로 답을 주기위해 필요한
내용을 갖게 됩니다.
어떤식으로 이루어지는지 볼까요.
인터넷은 하이퍼링크에 의해 서로 연결된 페이지들의 웹(거미줄)입니다.
검색엔진은 이러한 웹 페이지를 서로 이어주는
스파이더라고 불리는 프로그램을 계속해서 실행하여
그것들에 관한 정보를 수집합니다.
하이퍼링크를 찾을 때마다
전체 인터넷 상에서 그것이 찾을 수 있는
모든 페이지를 방문할 때까지 그것을 따라갑니다.
스파이더가 방문하는 각 페이지마다
검색 인덱스라고 부르는 특수 데이터베이스를 추가함으로써
검색에 필요한 정보를 기록합니다.
이제, 더 이전의 검색으로 되돌아 가서
검색엔진이 검색결과를 어떻게 생성하는지
살펴보도록 할까요.
화성까지 가는데 어느 정도 걸리는지 물어볼 때,
검색엔진은 검색인덱스에 타이핑된 단어 하나 하나를
보고 그 단어가 들어 있는 인터넷 상의 모든 페이지
목록을 즉시 가져옵니다.
하지만 검색 용어만을 기준으로 하면
수 백개의 페이지가 나열될 수 있습니다.
그래서, 검색엔진은 맨 처음 표시할 요청에 가장 잘 일치하는 결과를
결정할 수 있어야 합니다.