Блог

О введении Спектра

«Спектр» - механизм, применяемый для моделирования послежовательноестей поисковых запросов пользователя к «Яндекс».

Задумывались ли вы, каким образом вы используйте поиск? Если вы думаете «ключевыми словами» и ими же пишете в поиске, Яндекс, выдает то, что вы искали. Но, к примеру, что такое «ЯК»? Так вот, примерно для половины опрошенных это животное, а для двух оставшихся четвертей – это модель самолета и «Яндекс.Каталог» соответственно.

На самом деле, эта информация известна в полной мере и Яндексу. Только теперь, она получена с помощью работы нескольких формальных алгоритмов. Кстати, сама идея применения формальных алгоритмов для поиска информации возникла задолго до появления поисковой системы Яндекс. Просто напросто, в одной научной библиотеке, сотрудники пришли к выводу, что искать книги по формальным алгоритмам проще и эффективнее, нежели вникать в запросы каждого ученого, пришедшего за литературой по необходимой тематике. Собственно говоря, тогда же и разработали метод ранжирования, который заключался примерно в следующем. В качестве исходного материала используется ряд поисковых запросов с заранее известными правильными ответами. Затем проводится сравнение поисковых алгоритмов по набору формальных метрик. Т.е. происходит определение того алгоритма, который покажет ответ наиболее близкий к уже известному «правильному».

Если, по-вашему мнению все улучшения поиска должны сводиться к тому, чтобы пользователь получал как можно больше релевантных ссылок на первой странице выдачи по своему запросу, то, это уже в прошлом. Такой механизм уже давно реализован и называется он Discounted Cumulative Gain – линейно-взвешенная релевантность отдельных результатов. Однако поисковой системе важен и другой результат, а именно, когда пользователь найдет нужную ему информацию. Это и есть база для ключевой Яндекс.Метрики - pFound. Но и она требует некоторой оптимизации и вот почему. Существует ряд запросов, показатель выдачи pFound для которой будет очень высок, хотя в реальности такие результаты окажутся бесполезны пользователю. Так происходит с внешне четкими, но по сути «расплывчатыми» запросами: «Москва», «Аспирин», «МГУ» и тд. И в самом деле, не ясно, что именно пользователь хотел узнать по своему запросу. И здесь как раз таки и кроется необходимость улучшения работы поисковой системы, а именно механизма – pFound, который теперь называется wide pFound.

Один и тот же поисковый запрос может нести разную смысловую нагрузку у разных пользователей и релевантные ссылки для этих пользователей в результатах выдачи будут разными. И если «поисковику» будет известна та самая смысловая нагрузка (в процентном соотношении), то появится возможность определить «правильный» ответ для того или иного поискового запроса.

Далее возникает проблема определения потребностей пользователей. Впрочем, решается достаточно просто – обработкой уже известных поисковых запросов заданных этим пользователем (которых бывает очень много). Часть запросов впоследствии уточняется самим пользователем, и здесь становится важна семантика последовательности самих запросов, с целью правильного определения приоритетности искомой информации. Для этого поисковая система распределяет искомые объекты по наиболее популярным категориям (фильмы, музыка, гаджеты, электроника, автомобили и тд.). И при поступлении нового поискового запроса, в первую очередь происходит определение той категории, к которой он принадлежит (кстати, для каждой из них упоисковые потребности же известны). Наиболее важные по смыслу потребности объединяются и получают свой собственный вес. В результате, появляется набор «правильных» ссылок для каждой потребности.

Далее вносит свои коррективы сама сложившаяся на момент поиска ситуация, в которой вероятны проблемы с классификацией запроса (по категориям), местонахождением пользователя и техническими условиями (не забывайте, что любой поисковый запрос обрабатывается машиной, технический возможности которой не безграничны).

Тем не менее, есть и плюсы в уже приобретенном поисковой системой опыте. После запуска Спектра снизилось количество популярных запросов без кликов, и увеличился CTR по многим витальным запросам. Кроме того появилась опция «подсказки» возможного варианта запроса. Многим пользователям проще выбрать свой запрос из списка имеющихся, чем печатать его полностью.

Хотя, наверняка, и такая, в целом позитивная, ситуация с моделированием очередности запросов со временем потребует новых улучшений, потому что такие последовательности, если они кэшируются, будет легко подделать в массовыми запросами к поиску, повышая вес нужных вам запросов.