Google внедрит в сканирование машинное обучение

Мартин Сплитт, сотрудник Google, который часто отвечает на вопросы пользователей в Twitter и специальных видео, рассказал о том, как работает машинное обучение в различных системах Google. На данный момент оно активно применяется в сканировании, однако ещё не задействовано в рендеринге. Об этой возможности специалисты пока только задумываются.

Благодаря нейросетям, Google легко распознаёт ряд параметров при сканировании, предоставляя пользователям актуальную выборку. Так, он способен определять качество URL, а также особенности контента по ссылке - как его качество относительно стандартов системы, так и свежесть относительно остальных сайтов. Таким образом, по словам Сплитта, это позволяет многократно повысить точность поисковой выборки.

Поскольку сайтов в интернете бесчисленное множество, Google, даже со всеми имеющимися мощностями, не имеет возможностей просканировать их все. В таких случаях машинное обучение помогает сэкономить ресурсы и понять, стоит ли данный конкретный URL самого сканирования. В результате выборка получает только актуальные и качественные ссылки, среди которых есть и Autosurf.

Также машинное обучение позволяет понять, стоит ли уделять время на ежедневное сканирование сайта или можно обойтись менее частыми визитами. Такое решение система принимает, основываясь на частоте обновления контента - для ежедневных новостей в таком случае выделяется больше ресурсов, чем для менее периодических изданий.

Впрочем, даже Спилтт не способен точно сказать, насколько технология приживётся в Google. Сейчас неизвестно, эксперимент это или уже устоявшаяся технология, так что в будущем станет понятно.