Яндекс (Yandex)

Яндекс (Yandex)
Поисковая система Яндекс занимает лидирующее положение в поисковом трафике Рунета, являясь фактически фаворитом в поиске информации в странах СНГ

Поисковая система "Яндекс" является восьмой среди крупнейших поисковых сайтов мира по количеству обработанных поисковых запросов (1,892 млрд., статистика за декабрь 2009 г.) и первым крупнейшим неанглоязычным поисковым сервером. Ежедневная посещаемость этой поисковой системы – более 9 миллионов человек в сутки (январь 2010). В поисковой системе представлено более 5,4 миллиона сайтов с количеством страниц более 2,5 миллиарда, что составляет более 62 терабайта информации.

Поисковая система Yandex.ru была официально анонсирована 23 сентября 1997 года, и первое время развивалась в рамках компании CompTek International. Как отдельная компания "Яндекс" образовался в 2000 году. Компания вышла на самоокупаемость в 2002 году, оборот за 2008 год — более 300 млн. долларов. Оборот за 2006 год — 72,6 млн. долларов, чистая прибыль — 29,9 млн., за 2005 год — 35,6 млн. долларов, чистая прибыль — 13,6 млн.

"Яндекс" постоянно совершенствует свои поисковые алгоритмы, что позволяет ему соответствовать современным критериям поиска и становиться на уровень Google хотя бы в России. А пока так и есть, если судить по уровню освоения обоих поисковых систем аудиторией СНГ. "Яндекс", как и Google, работает на кластерной системе организации компьютерных вычислительных сетей. Каждый кластер отвечает за определённый сегмент сохранённой информации.

Сканирующие роботы поисковой системы бывают 2 видов:

1) основной сканирующий робот
2) быстрый робот, который  регулярно сканирует сайты, на которых информация обновляется очень часто, и вносит информацию с этих сайтов в поисковую систему, что обеспечивает быстрое обновление индекса поисковой системы.

Обновления (апдейты) поисковой системы бывают 2 видов:

1) Обновления поисковой базы. Происходят несколько раз в месяц. В поиске начинают
выдаваться обновлённые страницы сайтов, собранные основным сканирующим
роботом.
2) Обновления программной части (движка) поисковой системы. Сутью данных
обновлений является изменение алгоритмов ранжирования документов в поисковой
системе. Обычно подобные обновления анонсируются и им даются определённые
названия.

"Яндекс" учитывает морфологию русского языка (мощная система определения словоформ), имеет возможность сузить запрос до максимально точного при помощи специальных поисковых формул и геотаргетинга, имеет качественно разработанный алгоритм оценки релевантности документов (точность отношения текста документа к поисковому запросу), обладает высокой скоростью реакции на запросы и практическим отсутствием перегрузок серверов.

Совсем недавно (с 2009 года) с вводом нового алгоритма "Снежинск" поисковая система "Яндекс" научилась определять региональную принадлежность сайтов и формировать результаты поиска по географическому расположению пользователя. Сегодня это самый точный географический поисковик Рунета.

В "Яндекс" можно подать заявку на индексацию сайта и написать письмо разработчикам о проблемах с индексацией, также имеется форум поисковой системы http://forum.yandex.ru  и блог http://webmaster.ya.ru, что уже неплохо соответствует минимальным правилам юзабилити.

К тому же функционирует панель управления собственным сайтом в поисковой системе "Яндекс" - http://webmaster.yandex.ru, на котором можно настраивать индексацию собственного сайта, отслеживать нежелательные изменения кода, следить за качественностью индексации сайта в этой поисковой системе, выявлять возможные ошибки индексации сайта и даже исправлять орфографические ошибки.

Индексация новых сайтов идёт дольше, если это происходит естественным путём без влияния внешних поисковых факторов (расстановка ссылок, ссылающихся на ваш сайт). Как показывает опыт, не раньше месяца. Домены в зоне .ru индексируются быстрее, чем аналогичные домены в других зонах (.info,  .net, .com) и бесплатных pp.ru net.ru и т. д.

"Яндекс" умеет индексировать текст внутри документов Shockwave Flash (только если текст не нарисован на самом изображении). Помимо этого, индексируются документы PDF, RTF, DOC, XLS (документы Excel), PPT (презентации PowerPoint) и документы Open Office.

Поисковая система учитывает данные файла robots.txt (к тому же поддерживает атрибут Allow) и некоторые метатеги. Роботом "Яндекса" игнорируются метатеги Revisit-After и Keywords.

Описание документа в выдаче (сниппет) формируется на основе цитат найденного документа, поэтому тег Description не очень эффективен для этой поисковой системы (хотя иногда может использоваться). С недавнего времени (с 2009 года) поисковая система поддерживает технологию Sitemaps.

Не критичен для этой поисковой системы метатег кодировки. Разработчики утверждают, что поисковая система умеет определять кодировку документов автоматически.

Важно отметить, что "Яндекс" не индексирует документы величиной больше, чем 10 мегабайт, так что оптимизируйте ваши файлы.

Для "Яндекса" важен HTTP-показатель Last-Modified при ответе сервера. Если сервер не выдаёт такую информацию, то информация на этом сайте может индексироваться реже. Также важно, чтобы сервер был правильно сконфиругирован и выдавал в случае ошибок отдавал серверный редирект 302 (временный редирект), а не 301 (постоянный редирект), т. к. в последнем случае страница будет исключена из индекса. Аналогичное произойдёт при ошибке сервера 404 (документ не найден).

До сих пор есть проблемы с документами на фреймовой основе (<frame>, <frameset>, <iframe>), поэтому приходится использовать специальные скрипты, которые переводят пользователя, пришедшего с поисковой системы, на нужную страницу.

Наличие зеркал одного сайта иметь не рекомендуется. Придётся принимать меры для того, чтобы исключить индексацию зеркал или же произвести их склейку, если индексация обоих произошла, например, через файл robots.txt.

Не формируйте ссылки при помощи скриптов javascript - "Яндекс" не индексирует подобные ссылки!

Поскольку "Яндекс" ориентируется на гео-таргетинг, и если ваш сайт принадлежит к какому-то региону, то было бы необходимо указать на страницах либо телефонный код города, почтовый индекс или же адрес, чтобы поисковая система могла более точно идентифицировать регион вашего сайта.

Яндекс.Каталог - основной помощник этой поисковой системы. Если сайт находится в нём, то этот знак показывает, что сайт заслуживает особого внимания. К тому же становится проще определить тематическую направленность сайта и получить значимую внешнюю ссылку на свой ресурс.

Названия поисковых роботов "Яндекса"

В логах некоторых сайтов можно обнаружить различные текстовые метки поисковиков, которые посещали сайт. IP-адреса роботов "Яндекс" не разглашает.

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот;
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок;
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов;
Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons);
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму "Добавить URL";
Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке "Найденные слова";
YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети "Яндекса".

Самым важным из них являются основной индексирующий робот. Именно от его индексации в большинстве случаев определяется поисковая значимость сайта.

Роботы работают отдельно друг от друга, поэтому появление одного из них не гарантирует, что появится и другой (например, YaDirectBot/1.0 посетил ваш сайт, но это не означает, что придёт именно Yandex/1.01.001 после него).

Есть также ещё и роботы-помощники, которые периодически обходят сайты и проверяют их на предмет доступности. В основном, это роботы "Яндекс.Каталога" и рекламной сети "Яндекса".

Основные показатели внешней оптимизации для поисковой системы "Яндекс":

1) тИЦ – тематический индекс цитирования сайта, общедоступен, показывает некоторое усреднённое значение ссылающихся тематических ссылок на сайт, напрямую не влияет на поисковое ранжирование документов, используется в Яндекс.Каталоге для определения позиции сайта в тематической категории каталога, а также многими веб-мастерами и оптимизаторами для оценки
примерного уровня раскрутки сайта.
2) вИЦ – взвешенный индекс цитирования. Скрытый параметр, известный
только "Яндексу". Алгоритм определения количества внешних ссылок,
а также их влияния на выдачу в поисковой системе. Применяется среди многочисленных факторов, влияющих на
ранжирование в поиске.
3) Наличие в "Яндекс.Каталоге"
4) Количество проиндексированных страниц
5) Частота индексации документов
6) Учёт и неучёт ссылок с сайта, наличие сайта под поисковыми фильтрами (непот-фильтр)

"Яндекс" помимо самой поисковой системы разрабатывает различные продукты и сервисы, что несколько смещает фокус предоставления услуги поиска, однако именно с целью поиска пока большинство людей идут на сайт "Яндекса".

Сайт: http://www.yandex.ru/