The Internet: How Search Works

Привет, меня зовут Джон. Я руковожу командой поиска
и машинного обучения в Google

Меня очень вдохновляет то, что люди по всему миру

обращаются к поисковым машинам, чтобы найти ответы
на тривиальные вопросы

и на очень важные вопросы.

Это большая ответственность - предоставить как можно
лучшие ответы.

Привет, меня зовут Акшая. Я работаю в команде поиска
в Bing.

Иногда, когда мы рассматриваем проблемы искусственного
интеллекта и машинного обучения,

нам также нужно выяснить, как это будут
использовать,

потому что в действительности мы хотим внести свой
вклад в общество.

Зададим простой вопрос:

Сколько времени занимает путешествие к Марсу?

Откуда берутся эти результаты?

И почему эти ответы выведены в начале?

ОК, давайте посмотрим, как поисковая машина превращает
Ваш запрос на результаты.

Первое, что нужно знать - когда Вы задаете поиск,
поисковая машина не уходит в Интернет

чтобы поискать информацию на сайтах в режиме реального
времени.

Потому что сейчас существуют миллиарды сайтов, и
ежеминутно создаются сотни новых.

Поэтому если бы поисковой машине пришлось пересматривать
каждый из них при каждом запросе

это бы занимало вечность.

Поэтому для ускорения поиска, поисковые машины
постоянно сканируют Интернет заранее

И записывают информацию, которая может позже помочь
Вашему запросу.

Так, если Вы будете искать завтрашнюю путешествие,
поисковая машина

уже имеет нужную информацию, чтобы выдать ее
сразу.

Вот как это работает.

Интернет - это сеть страниц, связанных между собой
гиперссылками.

Поисковые машины должны постоянно запущены программы,
которые называются пауками.

Они перемещаются между страницами и собирают информацию
о них.

Найдя гиперссылки паук переходит по нему, пока не
пересмотрит все страницы,

которые сможет найти во всем Интернете. Для каждой
посещенной страницы

паук записывает всю информацию, которая может
понадобиться для поиска, в специальную

базу данных, которая называется поисковым
индексом.

Вернемся к предыдущему запросу, и посмотрим, как
поисковая машина

получает результаты.

Когда Вы спросили Сколько времени занимает путешествие
к Марсу?

поисковая машина ищет каждое из этих слов в поисковом
индексе и сразу

имеет список всех страниц в Интернете, которые
содержат эти слова.

Но простое совпадение возвращает миллионы страниц,
нужно еще найти наилучшее соответствие

и показать ее в начале.

Здесь все становится сложнее, потому что поисковая
машина время должен угадать, что именно Вы ищете.

Каждая поисковая машина имеет собственный алгоритм
для построения рейтинга страниц, основываясь

на предположении о том, что Вам нужно.

Например, алгоритм может проверять, поисковые слова
содержатся в заголовке страницы,

или эти слова размещены рядом, или любые другие
расчеты, которые помогут лучше

определить, какие страницы Вы бы хотели увидеть, а
какие - нет.

Google изобрел самый известный алгоритм показа
наиболее подходящих результатов поиска.

Он учитывает, сколько других веб-страниц содержат
ссылку на эту страницу.

Идея заключается в том, что если многие другие сайты
считает, что эта страница является интересной,

то возможно Вам она тоже подойдет.

Этот алгоритм называется Page Rank. Но не потому,
что он строит рейтинг страниц,

а потому, что он назван в честь его автора и
соучредителя Google - Ларри Пейджа.

Поскольку сайты могут зарабатывать деньги за посещение
пользователями, спамеры

пытаются найти все лучшие способы обыграть поисковые
алгоритмы, чтобы их

страницы показывались выше в результатах.

Поисковые машины регулярно обновляют свои алгоритмы,
чтобы не дать фейковых

и ненадежным сайтам добраться до вершины результатов
поиска.

Но в конце концов, Вы сами должны учитывать, насколько
сайт является надежным, проверяя

его адрес и убеждаясь, что это надежный источник.

Поисковые программы постоянно совершенствуются,
чтобы улучшить алгоритмы и давать

лучшие результаты, и быстрее, чем конкуренты.

Современные поисковые машины даже используют
информацию, которую Вы явно не давали, чтобы

сузить результаты поиска.

Например, если Вы будете искать "площадки для выгула
собак"

много поисковых машин выдаст результаты по площадок
неподалеку

даже если Вы не указали свое местоположение.

Современные поисковые машины понимают больше, чем
просто слова на страницах.

Но и их значение, чтобы показать именно то, что Вы
ищете.

Например, если Вы ищете "найшдвиший питчер"

Вы получите информацию о спортсмене.

Если же Вы ищете "самый питчер", то получите информацию
о кувшин.

Чтобы лучше понимать слова, мы используем так
называемое машинное обучение.

Это вид искусственного интеллекта, который помогает
поисковым алгоритмам не только находить

отдельные слова или фразы на страницах, но и понимать
значение этих слов.

Интернет экспоненциально растет, но если команды,
которые соответствуют

за разработку поисковых машин, хорошо выполнять свою
работу,

то информация, которая Вам нужна, всегда будет
доступна за несколько кликов.