The Internet: How Search Works

안녕하세요. 저는 John입니다.

저는 구글에서 검색 및
머신 러닝팀을 이끌고 있습니다.

저는 전세계의 모든 사람들이

소소한 질문부터

매우 중요한 문제까지
답을 찾기 위해 검색 엔진을 켜는 것이

놀랍도록 고무적인 일이라 생각합니다.

그래서 우리는 큰 책임감을 갖고

가능한 한 최선의 답을 제공하고자 합니다.

안녕하세요. 제 이름은 Akshaya이고
Bing 검색팀에서 일하고 있습니다.

우리는 수 차례에 걸쳐
인공지능과 머신러닝

조사를 시작할 수 있었지만

결국 가장 중요한 것은
우리가 사회에 영향을 주길 원했기 때문에

사용자가 이를 어떻게 이용할지에 관해
답을 찾아야 합니다.

간단한 질문을 하나를 해보죠.

화성까지 가는 데 얼마나 걸릴까요?

검색결과가 어디에서 나왔으며,

다른 결과 보다 이것들이
먼저 나열된 이유가 무엇일까요?

좋아요, 검색 엔진이
요청을 결과로 어떻게 바꿔놓는지

한번 살펴볼까요.

먼저 알아야 할 것은
검색을 언제 하는가 입니다.

사실 검색엔진은 실시간
검색을 위해

월드와이드웹으로 나가지 않습니다.

인터넷에는 수 십억개 이상의
웹사이트가 있고

매 일분마다 수 백개 이상이
새로 만들어지기 때문입니다.

그래서 검색엔진이
사용자가 원하는 것을 찾고자

각 사이트 하나 하나를
조사하는 일이 어려우면,

그냥 한없이 시간을 끌게 될 것입니다.

그래서 더 빠르게 검색하기 위해,

검색엔진은 미리 웹을
계속해서 스캐닝하여

나중의 검색에 도움이 될만한
정보를 기록합니다.

이런 식으로, 화성까지의
여행에 관한 검색을 할 때,

검색엔진은 이미 실시간
으로 답을 주기위해 필요한

내용을 갖게 됩니다.

어떤식으로 이루어지는지 볼까요.

인터넷은 하이퍼링크에 의해
서로 연결된 페이지들의 웹(거미줄)입니다.

검색엔진은 이러한 웹 페이지를
서로 이어주는

스파이더라고 불리는 프로그램을
계속해서 실행하여

그것들에 관한 정보를 수집합니다.

하이퍼링크를 찾을 때마다

전체 인터넷 상에서
그것이 찾을 수 있는

모든 페이지를 방문할 때까지
그것을 따라갑니다.

스파이더가 방문하는 각 페이지마다

검색 인덱스라고 부르는 특수
데이터베이스를 추가함으로써

검색에 필요한
정보를 기록합니다.

이제, 더 이전의 검색으로
되돌아 가서

검색엔진이 검색결과를
어떻게 생성하는지

살펴보도록 할까요.

화성까지 가는데 어느 정도
걸리는지 물어볼 때,

검색엔진은 검색인덱스에
타이핑된 단어 하나 하나를

보고 그 단어가 들어 있는
인터넷 상의 모든 페이지

목록을 즉시
가져옵니다.

하지만 검색 용어만을 기준으로 하면

수 백개의 페이지가 나열될 수 있습니다.

그래서, 검색엔진은 맨 처음 표시할
요청에 가장 잘 일치하는 결과를

결정할 수 있어야 합니다.