Яндекс запустил новый алгоритм для своего поисковика

Разработчики интернет-компании Яндекса объявили о запуске нового алгоритма сортировки сайтов в своём поисковике, для работы которого используется технология нейронных сетей. Так поиск будет осуществляться не как обычно – по заголовкам и ключевым словам, а обращаться к смыслу предлагаемых результатов, чтобы они как можно точнее соответствовали запросу. Алгоритм назвали в честь советского учёного, основоположника практической космонавтики и конструктора Сергея Королёва.

От прошлой версии алгоритм отличается тем, что в нём нейронная сеть сможет сопоставлять смысловую часть веб-страниц и запросов, полностью сравнивая их семантические векторы. Так «Яндекс.Поиск» будет обращать внимание не только на заголовки и ключевики, благодаря чему он сможет отвечать на более неординарные запросы, на которые пользователь обычно не получал нужного ответа. Возможно, теперь не придётся гадать, как правильно поставить вопрос, если Яндекс будет сам понимать, что именно ты хочешь узнать, и какую информацию должна содержать предлагаемая страница в Интернете.

Ещё одно существенное отличие – это, так сказать, пропускная способность. Предыдущий алгоритм ранжирования мог пропустить через себя около 150 документов для смыслового анализа, когда как «Королёв» способен проанализировать до 200 тысяч документов. Он может обращаться не только к тексту выпадающих страниц, но и просматривать статистику просмотров чтобы определить, на какую страницу чаще всего переходили пользователи с аналогичным запросом. Таким образом алгоритм создаёт дополнительные связи, которые значительно помогут улучшить работу.

Первоначально «Королёв» считывает векторы веб-страниц не в режиме «онлайн», а ещё будучи на этапе индексирования, т.е. с самого начала. Как только человек обращается к поисковику с запросом, алгоритм проводит сравнение между семантическим вектором самого запроса с уже знакомыми ему векторами веб-страниц. Подобная схема поможет ещё на раннем этапе сортировки сайтов начать процесс подборки результатов, которые подходят по смыслу.

Пока что обучение нейронной сети осуществляется с помощью поисковой статистики и отзывов, оценок миллионов человек. Так алгоритм будет развиваться не только благодаря своим создателям, но и при помощи обычных пользователей поисковика, которых насчитывается около 50-ти миллионов.