Індексація сайту в пошукових системах: підготовка, перевірка і прискорення

Індексація сайту в пошукових системах – процес обробки веб-ресурсу та занесення відомостей, отриманих з нього, в спеціальну базу даних, програмами-роботами (далі - ботами). Вона необхідна для того, щоб користувачі могли легко знайти в Мережі ваш ресурс з яким-небудь пошуковим запитам. Якщо не вживати ніяких заходів по її проведенню, поліпшенню і прискоренню, ваш ресурс, швидше за все, так ніхто ніколи і не побачить. Але про все по порядку.

Навіщо потрібна індексація?

Індексація - дуже важливий процес на етапі розкручування сайту. Своєчасно виконана, вона дозволяє вирішити відразу кілька завдань: зайняти гідне місце в пошукових системах; залучити пошуковий трафік на ресурс; залучити партнерів для обміну посиланнями, а магазинам – клієнтів; поліпшити поведінковий фактор (працює, якщо контент на сайті по-справжньому корисний, а не складається з абракадабри); Крім того, боти при індексації можуть виявити порушення правил діючих пошукачів і застосувати заходи. Наприклад, заблокувати ресурс або відправити його під фільтр, тим самим трохи знизивши конкуренцію в Мережі.

Якою вона може бути?

Індексація сайту в "Яндексі" або Google може бути здійснено двома різними способами: Роботи самостійно визначають свіжі сторінки на ресурсі. Цей метод хороший тільки в тому випадку, якщо на ваш сайт вже посилаються інші ресурси. Інакше приходу ботів можна чекати до нескінченності. Ручний метод. Ви самі додаєте посилання на свій ресурс в аддурілкі "Яндекса" і "Гугла". Спосіб простий, зрозумілий. Дозволяє молодому сайту швидко встати на чергу» і проиндексироваться. Але яким би не був обраний метод, необхідно ще правильно підготувати сайт до індексації в пошукових системах. Про те, як це зробити, розповімо трохи нижче.

Як часто проходить обробка?

Індексація сайту в "Яндексі" і інших пошукових системах може займати аж до цілого місяця. Але цей термін можна значно скоротити, буквально до кількох годин. Для цього необхідно викладати на ресурс щодня хоча б по одній якісної статті та додавати посилання на них у аддурилку. Втім, цього буде достатньо лише в тому випадку, якщо ви провели всі необхідні роботи по поліпшенню і прискоренню свого порталу.

Які вимоги пред'являють пошуковики?

Щоб ресурс був проіндексований як можна швидше і ефективніше, він повинен відповідати наступним вимогам пошукачів: бути адаптованим до перегляду на мобільних телефонах і комп'ютерах; швидко завантажуватися (він повинен це робити буквально за 2 секунди або менше); мати грамотну перелінковку (посилання з однієї сторінки сайту на іншу); мати грамотну структуру (віддаленість кожної сторінки від головної - не більш ніж в 3 кліка); бути часто оновлюваним корисними для користувачів матеріалами. Що стосується інтернет-магазинів, кожен товар в ньому повинен мати свою сторіночку, опис і фото. Непогано також буде де-небудь під описом розмістити блок посилань на схожі продукти (дуже корисно для поліпшення конверсії!).

Як підготувати сайт до індексації?

Зробити це можна шляхом його внутрішньої і зовнішньої оптимізації. Зокрема, необхідно зробити наступне: Вибрати правильне ім'я домену. Краще всього, якщо його назва буде входити головне ключове слово. Бажана довжина – до 12 символів. Вибрати надійний хостинг. Він повинен бути швидким і зрозумілим, працювати без перебоїв і не заважати індексації. Один з найкращих – beget.ru. Використовувати адаптивний дизайн. Якщо ви використовуєте шаблон, дивіться, щоб він добре відображався на планшетах, мобільники і комп'ютерах. У ньому також не повинно бути ніяких прихованих посилань. Створити Robots.txt. Цей файл показує роботам, які сторінки можна, а які не можна індексувати. Налаштування складна, тому краще довірити її фахівцям. Створити карту сайту. Навіть дві: перша має бути у форматі .xml (для пошукових ботів), друга - в .html (для людей). Зробити їх легше. Для складання карт навіть придумані спеціальні плагіни. Наприклад, на Wordpress це WP Sitemap Page і відомий досвідченим веб-майстрам Google XML Sitemaps від Arne Brachhold. Скласти семантичне ядро (СЯ) – це такий список з пошукових фраз, за якими надалі ваш сайт будуть знаходити користувачі. В принципі, цю роботу потрібно виконати до реєстрації домену та хостингу. І, природно, ще до перевірки індексації сайту в пошукових системах. Написати тексти з урахуванням слів з СЯ і оптимізувати картинки. Статті слід писати оптимізовані, не забуваючи про новий алгоритм від "Яндекса" «Корольов». Зображення до завантаження на ресурс бажано стискання без втрати якості. Зробити це можна за допомогою спеціальних сервісів. Прописати всі важливі мета-теги. Зокрема, Title (назва статті, довжина – до 80 символів) і Description (короткий опис, довжина – до 200 символів). У дескрипшен важливо включити найголовніше ключове слово в розбавленому вигляді. Залишити посилання на авторитетних ресурсах (зовнішня оптимізація!). Тут тільки 2 правила: сайт-донор повинен бути дійсно тематичним, а посилання - вічною. Створити групу для сайту в соц.мережах та розміщувати посилання на нові пости там. Підтвердити права на свій ресурс і поставити його в чергу на індексацію. Зробити це можна через панель веб-майстри Yandex чи "Гугла". Ще перед тим, як перевірити індексацію сайту "Яндексом", потрібно прискорити завантаження ресурсу. Всі рекомендації по тому, що для цього можна зробити, варто дивитися на developers.google.com/speed/або іншому аналогічному ресурсі.

Що ще потрібно зробити?

При створенні сайту також важливо відмовитися від використання flash-файлів (на них діють обмеження), непрацюючих внутрішніх посилань (їх слід періодично виявляти і усувати), зайвих блоків і відомостей. Всю другорядні віджети рекомендується перемістити до низу сторінки, а інформацію – сховати від ботів через Robots.txt шляхом прописування спеціальних тегів. І ще: викладати сайт на індексацію варто тільки після закінчення розробки і хоча б невеликого наповнення матеріалом (всі важливі сторінки + 20-30 унікальних і грамотних статей).

Чого робити точно не варто?

Деякі "розумні" веб-майстри вдаються до використання чорних і сірих інструментів SEO. Зокрема, вони закуповують тисячами посилання, накручують поведінкові фактори, розміщують гостьові статті і пости (Google за це зараз карає!), поширюють спам на форумах і чужих блогах з посиланнями на портал, розміщують невидимі посилання і ключові слова на сторінках свого сайту, автоматично створюють велику кількість відеороликів для його розкручування і роблять автоматичний обмін посиланнями. Якщо ви хочете, щоб ваш сайт довго жив і індексувався пошуковими системами, ніколи не робіть нічого з перерахованого вище. Інакше бана і потрапляння під фільтри не уникнути.

Як перевірити індексацію сайту "Яндексом"?

Найпростіший спосіб - зайти на сторінку пошуковика і ввести в віконечко запит виду site:site.ru, де site.ru – це адреса вашого домену. Якщо сторінки ресурсу є у видачі, вони будуть показані. Другий метод – зайти на сторінку https://webmaster.yandex.ru/і перейти в розділ «Індексування сайту» - «Сторінки в пошуку». Тут ви зможете побачити, які сторінки були включені, а які виключені і чому. Перевірка через Google здійснюється аналогічним способом. Ще можна використовувати спеціальні онлайн-сервіси. Зараз їх дуже багато, перераховувати все просто не має сенсу.

Як прискорити обробку сайту ботами?

Якщо при перевірці індексації сайту ви побачили, що сторінок ресурсу все ще немає в пошукових системах, не переживайте. Обробку порталу ботами можна прискорити. Для цього досить виконати всі рекомендації, наведені вище. Плюс: додати тексти з посиланнями на ресурс каталоги статей (вибирайте перевірені!); залишити посилання на сервіси питань і відповідей (обережно, щоб не вважали за спам!); залишити коментарі в якісних блогах схожої тематики (вони не повинні бути покинутими!); залишити посилання на свій ресурс на популярному форумі (єдине «але» - ваш профіль повинен бути тут прокачен, інакше лінк видалять модератори); поставити наскрізну посилання з одного свого блогу на інший; використовувати сервіс «Переобход сторінок» від "Яндекса" (у ньому потрібно вказувати адреси тих сторінок, які, на вашу думку, повинні бути швидко проіндексовані ботами). Крім того, для швидкої розкрутки сайту можна використовувати спеціальні сервіси. З усіх безкоштовних сьогодні кращим вважається SeoPult.

Можна заборонити обробку?

Іноді потрібно закрити сайт від індексації. Наприклад, при створенні або первинному наповненні. Звичайно, ми б не радили цього робити, так як після ресурс буде гірше індексуватися (вже перевірено!). Але якщо вам дуже сильно потрібно, знайте: зробити це можна через Robots.txt. У цьому файлі достатньо прописати таку інструкцію:

User-agent: *Disallow: / Відразу після цього всі пошуковики почнуть обходити ваш сайт стороною. І, до речі, для сайту на Wordpress є ще одна можливість заборонити індексування – через панель управління. Потрібно зайти в Налаштування і поставити галочку навпроти пропозиції «Попросити пошукові системи» як на картинці.

В якості висновку

Тепер ви знаєте, як прискорити, заборонити і перевірити індексацію сайту "Яндексом" безкоштовно. Однак якщо при всіх ваших спробах і старань вона або сповільнена, або не відбувається зовсім, зверніть увагу на наступне: чи все правильно прописано в sitemap.xml або robots.txt достатньо швидкою завантаження ресурсу, добре проглядається він на мобільних, не надто часто виникають помилки на сервісах. А також може бот потрапити на портал і доступна йому вся розміщена інформація. При виправлення подібних помилок все обов'язково налагодиться.