Здравствуйте, друзья! Сегодня мы поговорим о поисковых системах, наверняка все о них знают, кроме разве что бабушек и дедушек, и то не всех. В любом случае если вы сюда добрались, то на 70% из поисковика. Одним холодным дождливым вечером мне стал интересен принцип работы поисковых систем и я решил его поподробнее изучить. Теперь непосредственно к делу.

Основные составляющие поисковой системы, которые нам интересны:
Поисковый робот (он же паук) — занимается выкачиванием страниц с сайта для дальнейшей обработки;
индексный робот — убирает HTML-код с выкачанных поисковым роботом страниц и оставляет только слова, располагая их в алфавитном порядке и добавляя к ним ссылки со страниц сайта.
Итак, поисковик скачал страницу с вашего сайта и передал ее индексному роботу, далее индексный робот приводит все слова к своим первоначальным словоформам, в первую очередь, для уменьшения занимаемого словами места, а также для более точного поиска (выдачи более релевантных страниц по запросу).
Раньше поисковики не запоминали местоположение слов на страницах, что весьма усложняло выдачу релевантных страниц для многословных запросов, так как поисковик не определял стоят эти слова рядом или одно вверху страницы, другое внизу. Сейчас поисковая система различает слова, стоящие рядом или через одно/два/пять слов. Более того, поисковая машина отдает предпочтение в выдаче тем страницам, ключевые слова которых расположены преимущественно в начале.
Знаки препинания и теги языка HTML поисковая система не индексирует, например если ввести в яндекс символ «,» он выдаст сообщение о синтаксической ошибке. Считаю индексировать разделители и знаки препинания для поисковой машины составит слишком большую нагрузку, более того они имеются в каждом тексте.
Раньше поисковики не индексировали также предлоги, союзы и междометия. Затем число пользователей интернет, запрашивающих информацию с этими словами, стало возрастать и поисковики стали индексировать их наравне с остальными словами. Также поисковые системы индексируют цифры и буквенно-цифровые слова.
Индексируются также гиперссылки с сайтов, они безусловно являются словами, оформленные с помощью языка HTML. Необходимо уточнить, что именно благодаря индексации ссылок поисковик повышает авторитетность того или иного ресурса. Если упрощенно, то чем больше людей говорит, что вы очень хороший, то вы и правда очень хороший. В Google этот показатель называется Pagerank, в Яндексе ТИЦ (тематический индекс цитируемости). В SEO такие ссылки называются анкорами, не все конечно ссылки, ведущие на ваш ресурс, а именно «заточенные» под поисковые запросы или семантическое ядро (подробнее о его составлении вы можете прочитать в статье статье Семантическое ядро сайта).
Очень важно при написании текста статьи не допускать ошибок, потому как поисковик проиндексирует это слово таким, какое оно есть на вашем сайте, то есть не сможет убрать окончание и привести слово к первоначальной словоформе, что может не очень хорошо сказаться на результатах выдачи. Также поисковик не будет выкачивать с вашего сайта огромное количество страниц сразу, если они у вас есть. Поисковый робот будет брать каждый раз разумное количество, чтобы перейти к следующему сайту. Не стоит делать страницы, до которых можно добраться только через 10-20 ссылок, уровень вложенности должен быть разумным.
У поисковой системы есть еще отдельный поисковый робот для более важной информации, которую требуется обновлять очень часто (это например курсы валют, прогноз погоды, новости). Для того, чтобы вас обходил этот быстрый поисковый робот (так называемый «быстробот») вам надо стать достаточно авторитетным и иметь большое количество страниц, также необходимо часто обновлять информацию, которую вы предоставляете. Думаю теперь хотя бы в общих чертах вы поняли принцип работы поисковых систем. Спасибо за внимание, желаю успехов на просторах интернета!