Матрикснет — новое слово в поиске или тупик?

Сейчас Яндекс — ведущая поисковая система рунета. Коллектив Яндекса достиг немалого за время существования компании. Сначала Яндекс оставил далеко позади остальные русские поисковики, затем отстоял и укрепил свой статус ведущего поисковика на фоне попыток Гугла осуществить экспансию в рунете. Долгое время яндексоиды планомерно улучшали поисковик, поисковая выдача Яндекса становилась всё более чистой и релевантной. Но это было до недавнего времени.

Возможно, разработчики Яндекса чересчур уверовали в свою гениальность или произошло ещё что-то, однако прошлой осенью вектор развития Яндекса сменился. Разработчики Яндекса решили одним махом разрубить гордиев узел и, вместо планомерного совершенствования алгоритмов и улучшения выдачи, внедрить новый супералгоритм, который сразу решит все задачи. Это изменение стратегии не замедлило сказаться — сейчас, просматривая выдачу Яндекса по многим запросам, можно увидеть удивительные вещи, которые год назад назад были бы невозможны. По конкурентным запросам на первом месте сайты почти без внешних ссылок на бесплатном хостинге или ещё хуже — в ТОП попадают страницы, содержащие введённый запрос лишь в саповских ссылках. Складывается впечатление, что на место хоть сколько-нибудь логичному ранжированию пришёл полный хаос.

К сожалению, не обращая внимания на факты, яндексоиды продолжают гордиться своим матрикснетом, хвастаясь тем, что с его помощью победили в конкурсе, организованном Yahoo. Но если включить мозги и хорошо подумать, верен ли путь внедрения матрикснета в принципе?

Что такое матрикснет? Это самообучающийся алгоритм, в котором формула ранжирования подбирается автоматически на основе оценок асессоров. Асессоры оценивают результаты выдачи, определяя, какие документы хорошо соответствуют запросу, а какие — не очень, и алгоритм подстраивает формулу ранжирования таким образом, чтобы «хорошие» документы были выше в выдаче под данным запросам, а плохие — ниже. Конечно, здесь можно сразу поднять много тем о том, насколько оценки асессоров объективны, насколько репрезентативна выборка, насколько подробна шкала оценок и т. п. Однако у матрикснета есть куда более фундаментальная проблема.

Матрикснет в корне противоречит эффективной и единственно работоспособной схеме решения задач, которой человечество успешно следует тысячи лет. Условно эту схему можно представить так: цель — метод — решение. Т. е. сначала мы определяем, чего мы хотим достичь, затем разрабатываем метод (или, если хотите, алгоритм), и затем используем этот метод на практике. Например, цель — защитить тело от холода, метод — использование одежды из шкур животных, а поимка конкретных животных и изготовление конкретной одежды — это уже конкретное решение. Конкретное решение менее фундаментально, чем метод, а метод — менее фундаментален, чем цель. Что есть цель, метод и решение для Яндекса? Цель — релевантность, т. е. пользователь должен найти то, что ищет. Метод — различные алгоритмы, формирующие выдачу, предлагающие подсказки, дополняющие выдачу картинками и новостями и т. п. Решение — конкретная выдача, то, что пользователь, вводящий запрос, видит перед собой на экране. Что делает Яндекс, вводя матрикснет? Он переворачивает всё с ног на голову. Он ставит решение впереди метода, который пытается к этому решению подогнать.

Почему матрикснет не работает и никогда не будет работать так, как нужно? Потому, что сформировать выдачу, даже имея миллиард асессоров, куда сложнее, чем разработать алгоритм. Критериев для оценки качества выдачи огромная масса, причём эти критерии могут лежать далеко за пределами возможностей настройки параметров, доступных для матрикснета. Например, асессор укажет, что запросу «фараоны египта» список этих самых фараонов релевантен, а страница о чае «египетский фараон» — нет, или, что известный ресурс для фрилансеров более релевантен запросу «удалённая работа», чем сайт, призывающий школьников заработать на сёрфинге (кстати, сейчас в топ10 Яндекса по этому запросу гениальный алгоритм Яндекса вывел страницу про оперу, посвящённую житию Серафима Саровского). Но как алгоритм сможет подстроиться под оценку асессора? Ни возраст сайта, ни число страниц, ни хостинг, ни прочие факторы, доступные алгоритму, не имеют никакой связи с этой оценкой. Поэтому алгоритм будет подстраиваться, используя какие-то случайные корреляции, и не улучшать выдачу, а лишь портить её. Что мы и наблюдаем на практике. Вместо, возможно, недостаточных для формирования идеально отточенной выдачи, но логичных и универсальных принципов, алгоритм будет использовать непредсказуемую хаотичную формулу, подогнанную под текущие оценки асессоров. Рассказывая о нововведениях Яндекса, Волож в одном из интервью хвастался тем, что новый алгоритм учитывает тысячи факторов. Но разработчикам Яндекса почему-то не пришло в голову, что любые факторы хороши только тогда, когда понятно, для чего они введены и какое оказывают влияние. Если же факторы таковы, что сами разработчики не понимают, каким образом они учитываются в алгоритме, то все эти факторы не плюс, а минус, поскольку они лишь хаотично искажают выдачу.

Интересно, хватит ли здравого смысла у яндексоидов отказаться от матрикснета, с которым развитие поисковых технологий буксует уже более полугода, или, упорствуя в его внедрении, Яндекс загонит себя в тупик?