Взаимодействие с поисковыми системами

Чтобы управлять вашим сайтом в соответствии с правилами двигателей, некоторые сведения...

Резюме

Как получить английский

поисковик?

Чтобы автоматически не перенаправляться на Goole.fr при вводе google.com, добавляется параметр языка :

https://www.google.com/?hl=en
Точно так же и для всех других иностранных языков. Когда вы хотите получить доступ к поисковику, он автоматически перенаправляет вас на региональную версию двигателя. Это подходит большинству пользователей, но не веб-мастеру или пользователю, который хочет сделать поиск по google.com.
Чтобы получить google.com без перенаправления на французский движок, введите в строке URL :
www.google.com/ncr
Что можно разместить в букмарке. «Ncr» означает «no country redirect» (без перенаправления стран).

Как исключить страницу из индекса

?

Вставить метатег в раздел <head> HTML-страницы: 

<meta name="robots" content="noindex" />
Файл robots.txt в корне сайта может также содержать для поисковых систем инструкции по исключению страниц.

Управление временно недоступным сайтом

Это может быть при неправильном управлении ситуацией, что предполагает, что заранее будет известно, что участок будет выведен из эксплуатации.
В противном случае веб-мастеры могут подумать, что сайт, если он не очень важен, закрыт и удалять обратные ссылки. Точно так же роботы поисковиков могут вернуть отрицательный сигнал.
Если планируется вывод из эксплуатации, то идеалом является возврат кода HTTP 503, который предусмотрен для данной ситуации. В PHP код домашней страницы или всех страниц в случае CMS может быть таким :

header('HTTP/1.1 503 Service Temporarily Unavailable');
header('Retry-After: Mon, 25 Jan 2011 12:00:00 GMT');
Этот код предоставил Google.

Управление дубликатом содержимого

Довольный дубликат - наличие дублирующих страниц не на сайте или сайтах, а в индексе Google или другой поисковой системе.
Это может произойти с разными URL-адресами, указывающими на одну и ту же страницу, или с копиями страниц. Это был бы способ для сайта, который пришел бы в голову результатам монополизации первой страницы, но этого никогда не видно, поэтому можно сделать вывод, что двигатели действительно штрафуют счастливого дубликата.
Дублированный контент может также включать часть статьи с другого сайта на своем сайте. Это гарантированный фактор штрафных санкций, если только это не цитата, размещенная в теге «блокквота». Цитаты должны сопровождаться личным текстом.

Управление изменением конструкции

Вебмастеры часто экспериментировали с потерей позиционирования с изменением дизайна сайта без изменения контента, сразу после прохождения Гуглбота.
Этот опыт делился на Webmasterworld. Позиционирование возвращается в предыдущее состояние после переменной задержки. Вполне вероятно, что массовое изменение вызовет какой-то сигнал у двигателя.
Кроме того, Google рекомендует не менять дизайн при смене домена и перенаправлении страниц.
Поэтому рекомендуется менять сайт постепенно, а не глобально. Если что-то вызовет вывод из эксплуатации, будет легче понять, почему.

Можно изменить фрагменты

Так Google называет описание под заголовком страницы в результатах поиска. Мы можем изменить его, Google высказалась об этом через свой блог для веб-мастеров (Improve snippets with a meta describition makeover), мы должны использовать метаописание тега, которое находится в верхней части страницы и имеет следующую форму: 

<head>
...autres balises...
<meta name="description" content="information lisible et utile">
</head>
Текст, назначенный атрибуту content, должен иметь особые качества : Google использует этот тег, когда считает его действительным и главное :

Карта сайта полезна

Карта сайта - это файл в стандартном формате XML или HTML, содержащий список всех страниц сайта в виде URL-адресов. Sitemap может создаваться автоматически CMS или со скриптом типа Simple Map на статическом сайте.

  1. Главная цель sitemap - облегчить задачу поиска в Google. Но есть и другой.
  2. Динамические ссылки игнорируются роботами из поисковых систем. С помощью XML или HTML-sitemap можно создать статическую ссылку.
  3. Теперь XML-sitemap может использоваться ведущими поисковиками. Единый формат sitemap признается всеми.
  4. Каждый раз при изменении содержимого сайта необходимо будет восстанавливать карту сайта. Но регистрировать его на двигателе нужно только один раз.
  5. После регистрации sitemap можно получить статистику и анализ своего сайта Google с возможными ошибками.
  6. Адрес XML-сайта можно поместить в файл robots.txt.
  7. Существует специальный формат sitemap для индексирования видео.
    8. В
  8. заключение, сохраните XML-карту, если ваш сайт неправильно проиндексирован, индексация не обновляется быстро, или вы хотите получить статистическую информацию.

Ссылки и дополнения: См. часто задаваемые вопросы о Sitemaps.org

Как обрабатывается файл robots.txt

Файл должен находиться в корне любого веб-сайта. Он указывает поисковикам, какие страницы нужно просканировать или пропустить.
Типичным содержимым по умолчанию для robots.txt является следующее:

User-Agent: *
Disallow:

Пользователь-Агент - это имя краулера для каждой поисковой системы, а Disallow указывает полный путь (с/в начале) к странице или каталогу, который вы хотите исключить из ссылки.
Чтобы исключить каталог cgi, формат будет:

User-Agent: *
Disallow: /cgi-bin/

Чтобы исключить файл, выполните следующие действия.

User-Agent: * 
Disallow: /rep/nomfichier.html

Необходимо соблюдать регистр указанных имен файлов.
Не помещайте несколько имен файлов или обхода в одну строку, помещайте несколько групп User-Agent или несколько строк Disallow с одним и тем же пользователем-агентом.
Не вставляйте пустую строку без кода # в начале строки.
Проверить действительность файла роботов-txt можно с помощью инструментов для вебмастера от Google, а также отредактировать его онлайн.
По словам Мэтта Каттса для Google, если страница помещена в disallow, робот Google игнорирует ее и не парирует, но если у этой страницы есть обратные ссылки, она может появиться в результатах (disallow не означает no index). Для описания будут использоваться ссылки на эту страницу.

Дополнительная информация

Невидимые указания для двигателей. С x-роботами.

Google написала FAQ о своем роботе Googlebot. Гарантировать разведку объекта и т. Д.