The Internet: How Search Works

Привіт, мене звати Джон. Я керую командою
пошуку та машинного навчання в Google

Мене надзвичайно надихає те,
що люди по всьому світі

звертаються до пошукових машин,
щоб знайти відповіді на тривіальні питання

і на дуже важливі питання.

Це велика відповідальність -
надати якомога кращі відповіді.

Привіт, мене звати Акшая.
Я працюю в команді пошуку в Bing.

Часом, коли ми розглядаємо проблеми
штучного інтелекту та машинного навчання,

нам також потрібно з'ясувати,
як це будуть використовувати,

тому що насправді ми хочемо
зробити свій внесок у суспільство.

Задамо просте питання:

Скільки часу займає подорож до Марсу?

Звідки беруться ці результати?

І чому ці відповіді виведені на початку?

ОК, давайте подивимось, як пошукова машина
перетворює Ваш запит на результати.

Перше, що потрібно знати - коли Ви задаєте пошук,
пошукова машина не вирушає в Інтернет

щоб пошукати інформацію на сайтах
у режимі реального часу.

Тому що зараз існують мільярди сайтів,
і щохвилини створюються сотні нових.

Тож якби пошуковій машині довелось
переглядати кожен із них при кожному запиті

це би займало вічність.

Тож для пришвидшення пошуку, пошукові
машини постійно сканують Інтернет заздалегідь

І записують інформацію, яка може пізніше
допомогти з Вашим запитом.

Так, якщо Ви шукатимете
завтрашню подорож, пошукова машина

вже має потрібну інформацію, щоб
видати її одразу.

Ось як це працює.

Інтернет - це мережа сторінок, пов'язаних
між собою гіперпосиланнями.

Пошукові машини мають постійно запущені
програми, які називаються павуками.

Вони переміщуються між сторінками і
збирають інформацію про них.

Знайшовши гіперпосилання, павук переходить
по ньому, поки не перегляне усі сторінки,

які зможе знайти в усьому Інтернеті.
Для кожної відвіданої сторінки

павук записує всю інформацію, яка може
знадобитись для пошуку, в спеціальну

базу даних, яка називається
пошуковим індексом.

Повернімось до попереднього запиту,
і подивимось, як пошукова машина

отримує результати.

Коли Ви спитали
Скільки часу займає подорож до Марсу?

пошукова машина шукає кожне з цих слів
у пошуковому індексі і одразу

має список всіх сторінок в Інтернеті, які
містять ці слова.

Але простий збіг повертає мільйони сторінок,
потрібно ще виявити найкращу відповідність

і показати її на початку.

Тут все стає складніше, бо пошукова машина
часом має вгадати, що саме Ви шукаєте.

Кожна пошукова машина має власний алгоритм
для побудови рейтингу сторінок, базуючись

на припущенні щодо того, що Вам потрібно.

Наприклад, алгоритм може перевіряти, чи
пошукові слова містяться у заголовку сторінки,

чи ці слова розміщені поряд, чи будь-які
інші розрахунки, які допоможуть краще

визначити, які сторінки Ви би хотіли
побачити, а які - ні.

Google винайшов найвідоміший алгоритм
показу найвідповідніших результатів пошуку.

Він враховує, скільки інших веб-сторінок
містять посилання на цю сторінку.

Ідея полягає в тому, що якщо багато інших
сайтів вважає, що ця сторінка є цікавою,

то можливо Вам вона теж підійде.

Цей алгоритм називається Page Rank.
Але не тому, що він будує рейтинг сторінок,

а тому, що він названий на честь його автора
та співзасновника Google - Ларі Пейджа.

Оскільки сайти можуть заробляти гроші
за відвідування користувачами, спамери

намагаються знайти все кращі способи
обіграти пошукові алгоритми, щоб їхні

сторінки показувались вище у результатах.

Пошукові машини регулярно оновлюють
свої алгоритми, щоб не дати фейковим

та ненадійним сайтам дістатись до вершини
результатів пошуку.

Але зрештою, Ви самі маєте враховувати,
наскільки сайт є надійним, перевіряючи

його адресу і переконуючись, що це
надійне джерело.

Пошукові програми постійно вдосконалюються,
щоб покращити алгоритми і давати

кращі результати, і швидше, ніж конкуренти.

Сучасні пошукові машини навіть використовують
інформацію, яку Ви явно не давали, щоб

звузити результати пошуку.

Наприклад, якщо Ви шукатимете
"майданчики для вигулу собак"

багато пошукових машин видасть
результати щодо майданчиків неподалік,

навіть якщо Ви не вказали
своє місце розташування.

Сучасні пошукові машини розуміють
більше, ніж просто слова на сторінках.

Але й їхнє значення, щоб показати
саме те, що Ви шукаєте.

Наприклад, якщо Ви шукаєте
"найшдвиший пітчер"

Ви отримаєте інформацію про спортсмена.

Якщо ж Ви шукаєте "найбільший пітчер",
то отримаєте інформацію про глечик.

Щоб краще розуміти слова, ми використовуємо
так зване машинне навчання.

Це вид штучного інтелекту, який допомагає
пошуковим алгоритмам не лише знаходити

окремі слова чи фрази на сторінках,
але й розуміти значення цих слів.

Інтернет експоненціально зростає,
але якщо команди, які відповідають

за розробку пошукових машин, добре
виконуватимуть свою роботу,

то інформація, яка Вам потрібна, завжди
буде доступна за кілька кліків.