The Internet: How Search Works

ИНТЕРНЕТ
КАК РАБОТАЕТ ПОИСК

Привет, меня зовут Джон.

Я руковожу командой поиска
и машинного обучения в Google

Меня очень вдохновляет то,

что люди по всему миру

обращаются к поисковым системам,

чтобы получить ответы

на тривиальные

и на очень важные вопросы.

Это большая ответственность —

дать им лучшие ответы.

Привет, меня зовут Акшая.

Я работаю в команде поиска в Bing.

Мы часто используем

искусственный интеллект

и машинное обучение.

Нам также нужно выяснить,

как это будут использовать пользователи,

потому что мы хотим внести

свой вклад в общество.

Зададим простой вопрос:

Сколько времени
займет путешествие к Марсу?

Откуда берутся эти результаты?

И почему эти ответы показаны первыми?

Давайте посмотрим,

как поисковая система превращает

ваш запрос в результат.

Первое, что нужно знать —

когда вы задаете вопрос,

поисковый движок не уходит в Интернет

чтобы искать информацию на сайтах

в режиме реального времени.

Сейчас существуют миллиарды сайтов,

и ежеминутно создаются сотни новых.

Если бы поисковой системе пришлось

пересматривать каждый из них

при каждом запросе

это заняло бы вечность.

Поэтому для ускорения поиска

поисковые системы постоянно

сканируют интернет заранее

и записывают информацию,

которая может позже помочь

ответить на ваш вопрос.

То есть, когда вы ищете информацию

о путешествии на Марс,

поисковая система

уже имеет нужную информацию,

чтобы дать вам ответ.

Вот как это работает.

Интернет — это сеть страниц,

связанных между собой гиперссылками.

Поисковые движки постоянно

запускают программы,

которые называются "пауками".

Они перемещаются по страницам

и собирают информацию о них.

Найдя гиперссылки,

паук переходит по ним,

пока не просмотрит все страницы,

которые сможет найти во всем интернете.

О каждой посещенной странице

паук записывает всю информацию,

которая может понадобиться для поиска,

в специальную базу данных,

которая называется

поисковым индексом.

Вернемся к предыдущему запросу,

и посмотрим, как поисковая система

получает результаты.

Когда вы спросили,

сколько времени занимает
путешествие к Марсу,

поисковая машина ищет

каждое из этих слов

в поисковом индексе

и сразу получает список

всех страниц в Интернете,

которые содержат эти слова.

Но простое совпадение

возвращает миллионы страниц,

поэтому поисковой системе

нужно найти лучшее соответствие

и показать его первым.

Здесь все становится сложнее,

потому что поисковая система

должна угадать, что именно вы ищете.

Каждая поисковая система

использует собственный алгоритм

для построения рейтинга страниц,

основываясь на предположении

о том, что вам нужно.

Например, алгоритм может проверять, поисковые слова
содержатся в заголовке страницы,

или эти слова размещены рядом, или любые другие
расчеты, которые помогут лучше

определить, какие страницы Вы бы хотели увидеть, а
какие - нет.

Google изобрел самый известный алгоритм показа
наиболее подходящих результатов поиска.

Он учитывает, сколько других веб-страниц содержат
ссылку на эту страницу.

Идея заключается в том, что если многие другие сайты
считает, что эта страница является интересной,

то возможно Вам она тоже подойдет.

Этот алгоритм называется Page Rank. Но не потому,
что он строит рейтинг страниц,

а потому, что он назван в честь его автора и
соучредителя Google - Ларри Пейджа.

Поскольку сайты могут зарабатывать деньги за посещение
пользователями, спамеры

пытаются найти все лучшие способы обыграть поисковые
алгоритмы, чтобы их

страницы показывались выше в результатах.

Поисковые машины регулярно
обновляют алгоритмы,

чтобы не дать фейковым

и ненадежным сайтам добраться до вершины результатов
поиска.

Но в конце концов, Вы сами должны учитывать, насколько
сайт является надежным, проверяя

его адрес и убеждаясь, что это надежный источник.

Поисковые программы постоянно совершенствуются,
чтобы улучшить алгоритмы и давать

лучшие результаты, и быстрее, чем конкуренты.

Современные поисковые машины даже используют
информацию, которую Вы явно не давали, чтобы

сузить результаты поиска.

Например, если Вы будете искать "площадки для выгула
собак"

много поисковых машин выдаст результаты по площадок
неподалеку

даже если Вы не указали свое местоположение.

Современные поисковые машины понимают больше, чем
просто слова на страницах.

Но и их значение, чтобы показать именно то, что Вы
ищете.

Например, если Вы ищете "найшдвиший питчер"

Вы получите информацию о спортсмене.

Если же Вы ищете "самый питчер", то получите информацию
о кувшин.

Чтобы лучше понимать слова, мы используем так
называемое машинное обучение.

Это вид искусственного интеллекта, который помогает
поисковым алгоритмам не только находить

отдельные слова или фразы на страницах, но и понимать
значение этих слов.

Интернет экспоненциально растет, но если команды,
которые соответствуют

за разработку поисковых машин, хорошо выполнять свою
работу,

то информация, которая Вам нужна, всегда будет
доступна за несколько кликов.