Індексація сайту в пошукових системах. Як відбувається індексування сайту в "Яндекс" і "Гугл"

Що таке індексування сайту? Як воно відбувається? На ці та інші питання ви можете знайти відповіді в статті. Веб-індексуванням (індексуванням в пошукових системах) називають процес прилучення інформації про сайт до бази даних робот пошукової машини, яка згодом використовується для розшуку відомостей на веб-проектах, які пройшли таку процедуру. Дані про веб-ресурсах найчастіше складаються з ключових слів, статей, посилань, документів. Індексуватися також можуть аудіо, зображення і так далі. Відомо, що алгоритм виявлення ключових слів залежимо від пошукового пристрою.


Типи індексованою інформації (flash файли, jаvascript) існує деяка лімітація.

Управління залученням

Індексування сайту – складний процес. Щоб управляти їм (наприклад, забороняти залучення тієї або іншої сторінки), потрібно використовувати файл robots.txt і такі приписи, як Allow, Disallow, Crawl-delay, User-agent та інші. Також для ведення індексації застосовують теги і реквізит У пошуковій системі Goglle нові сайти індексуються від пари днів до одного тижня, а в Яндексі – від одного тижня до чотирьох. Ви бажаєте, щоб ваш сайт відображався у запитах результатів пошуковиків? Тоді він повинен бути оброблений «Рамблером», «Яндексом», Google, Yahoo і так далі. Ви повинні повідомити пошуковим машинам (павукам, систем) про існування вашого веб-сайту, і тоді вони просканує його повністю або частково.


Багато сайтів не індексуються роками. Інформацію, яка на них знаходиться, не бачить ніхто, крім їх власників.

Способи обробки

Індексування сайту може виконуватися декількома способами: Першим варіантом є ручне додавання. Вам потрібно ввести дані свого сайту через особливі форми, пропоновані пошуковими системами. У другому випадку робот пошукової машини сам знаходить ваш веб-сайт по посиланнях і індексує його. Він може розшукати ваш сайт посилання з інших ресурсів, які ведуть на ваш проект. Цей спосіб найбільш ефективний. Якщо пошуковик знайшов сайт таким чином, він вважає його значним.

Терміни

Індексування сайту відбувається не занадто швидко. Терміни різні, від 1-2 тижнів. Посилання з авторитетних ресурсів (з чудовим PR і Тиц) значно прискорюють розміщення сайту в базі пошуковиків. Сьогодні самим повільним вважається Google, хоча до 2012 року він міг виконувати цю роботу за тиждень. На жаль, все дуже швидко змінюється. Відомо, що Mail.ru працює з веб-вузлами в цій області близько півроку. Індексування сайту пошуковиках здійснити здатний не кожен фахівець. На строки додавання в базу нових сторінок вже обробленого пошукачами сайту впливає частота коригування його вмісту. Якщо на ресурсі постійно з'являється свіжа інформація, система вважає його часто оновлюваним і корисним для людей. У цьому випадку її робота прискорюється. За ходом індексації веб-сайту можна стежити на особливих розділах для веб-майстрів або на пошукових системах.

Зміни

Отже, ми вже розібралися, як відбувається індексування сайту. Необхідно зазначити, що бази даних пошукачів часто оновлюються. Тому кількість доданих до них сторінок вашого проекту може змінюватися (як зменшуватися, так і збільшуватися) з наступних причин:
санкції пошукача до веб-сайту; наявність похибок на сайті; зміна алгоритмів пошуковиків; огидний хостинг (недосяжність сервера, на якому знаходиться проект) і так далі.

Відповіді «Яндекса» на звичайні питання

«Яндекс» - пошукова система, якою користуються багато користувачів. Вона займає п'яте місце серед пошукових систем світу за кількістю оброблених дослідних запитів. Якщо ви в неї додали сайт, він може надто довго додаватися до бази. Додавання URL не гарантує його індексацію. Це лише один із методів, з допомогою якого повідомляють роботу системи про те, що з'явився новий ресурс. Якщо на сайті відсутні посилання з інших сайтів або їх небагато, додавання допоможе його швидше виявити. Якщо індексація не відбулася, потрібно перевірити, чи не було на сервері збоїв у момент створення йому заявки від робота «Яндекса». Якщо сервер повідомляє про помилку, робот завершить свою роботу і спробує її виконати в порядку всебічного обходу. Працівники «Яндекса» не можуть збільшити швидкість додавання сторінок в базу пошукової системи. Індексування сайту в «Яндексі» - досить-таки складне заняття. Ви не знаєте як додати ресурс в пошукову систему? Якщо на нього є посилання з інших сайтів, то додавати спеціально сайт не потрібно – робот автоматично знайде і проіндексує. Якщо у вас немає таких посилань можна використовувати форму «Додати URL», щоб заявити пошуковику про існування веб-сайту. Необхідно пам'ятати, що додавання URL не гарантує індексацію вашого творіння (або швидкість). Багатьом цікаво, скільки часу займає індексування сайту в «Яндексі». Співробітники цієї компанії не дають гарантій і не прогнозують терміни. Як правило, з тих пір, як робот дізнався про сайт, сторінки його в пошуку з'являються через два дні, іноді – через пару тижнів.

Процес обробки

«Яндекс» - пошукова система, що вимагає точності та уваги. Індексація сайту складається з трьох частин: Пошуковий робот виконує обхід сторінок ресурсу. Вміст (контент) сайту записується в базу даних (індекс) пошукової системи. Через 2-4 тижні, після оновлення бази, можна побачити результати. Ваш сайт з'явиться (або не з'явиться) в пошуковій видачі.

Перевірка індексації

Як перевірити індексацію сайту? Виконати це можна трьома способами: Введіть найменування свого підприємства у рядку пошуку (наприклад, «Яндекса») і перевірте кожну посилання на першій і другій сторінці. Якщо ви виявите там URL свого дітища, значить, робот своє завдання виконав. Можна ввести URL свого сайту розшукової рядку. Ви зможете побачити, скільки інтернет-листів показується, тобто проіндексовано. Зареєструйтеся на сторінках веб-майстрів в Mail.ru, «Гуглі», «Яндексі». Після того як ви пройдете верифікацію сайту, ви зможете побачити і підсумки індексації, і інші сервіси пошукових систем, створені для поліпшення роботи вашого ресурсу.

Чому «Яндекс» відмовляє?

Індексування сайту в Google здійснюється наступним чином: робот в базу даних заносить всі сторінки сайту, неякісні і якісні, не вибираючи. Але в ранжируванні беруть участь лише корисні документи. А «Яндекс» весь веб-мотлох виключає відразу ж. Він може проіндексувати сторінку, але пошуковик з часом ліквідує все сміття. У обох систем є додатковий індекс. І в тієї, і в іншої сторінки низької якості впливають на рейтинг веб-сайту в цілому. Тут працює проста філософія. Улюблені ресурси конкретного користувача будуть займати більш високі позиції в його видачі. Зате цей же індивідуум з працею відшукає сайт, який йому в минулий раз не сподобався. Саме тому спершу необхідно від індексації прикрити копії веб-документів, проінспектувати наявність порожніх сторінок і не пускати на видачу неякісний контент.

Прискорення роботи «Яндекса»

Як можна прискорити індексацію сайту в «Яндексі»? Необхідно виконати наступні кроки: Встановити на комп'ютер браузер «Яндекса» і побродити з допомогою нього по сторінках сайту. Підтвердити права на управління ресурсом в «Яндекс.Вебмастере». У Twitter опублікувати посилання на статтю. Відомо, що з 2012 року «Яндекс» співпрацює з цією компанією. Для сайту додати пошук від Yandex. В розділі «Індексація» можна вказати власні URL-адреси. Ввести код «Яндекс.Метрики», не вказуючи галочку «Відправка сторінок на індексацію заборонена». Виготовити файл Sitemap, який існує тільки для робота і не видно аудиторії. Перевірка буде починатися саме з нього. Адреса Sitemap вводиться в robots.txt або у відповідну форму в «Вебмастере» - «Настройка індексації»-«Файлів Sitemap».

Проміжні дії

Що необхідно виконати, поки веб-сторінка «Яндексом» не проіндексована? Вітчизняний пошуковик повинен вважати сайт першоджерелом. Саме тому ще до публікації статті обов'язково необхідно додати її зміст у форму «Специфічних текстів». В іншому випадку плагіатори скопіюють запис на свій ресурс і опиняться в базі даних першими. У підсумку визнані авторами будуть вони.

База даних Google

Для Google підійдуть ті ж рекомендації, про які ми розповіли вище, тільки сервіси будуть іншими: Google+ (замість Twitter); Google Chrome; Google-пристосування для програмістів – «Сканування» - «Поглянути як Googlebot» - опція «Сканувати» - опція «Додати в індекс»; пошук всередині ресурсу від «Гугла»; Google Analytics (замість «Яндекс.Метрики).

Заборона

Що собою являє заборона індексування сайту? Ви можете накласти його на всю сторінку, так і на окрему її частину (посилання або шматок тексту). Фактично існує як глобальний заборону індексації, так і локальний. Як це реалізується? Розглянемо заборону додавання в базу пошукової системи веб-сайту в Robots.txt. З допомогою файлу robots.txt можна виключити індексацію однієї сторінки або цілої рубрики ресурсу так: User-agent: * Disallow: /kolobok.html Disallow: /foto/ Перший пункт говорить про те, що інструкції визначено для всіх ПС, другий вказує на заборону індексації файлу kolobok.html, а третій - не дозволяє додавання в базу всієї начинки папки foto. Якщо потрібно виключити кілька сторінок або папок вкажіть їх в «Роботсе». Для того щоб перешкодити індексації окремого інтернет-листа, можна застосувати мета-тег robots. Він відрізняється від robots.txt тим, що дає вказівки відразу всім ПС. Цей мета-тег підпорядковується загальним принципам формату html. Його потрібно розміщувати в заголовку сторінки між тегами . Запис для заборони, наприклад, може бути написана так: .

Ajax

А як проводить індексування Ajax-сайтів Yandex? Сьогодні технологією Ajax користуються багато розробники веб-сайтів. Звичайно, у неї є великі можливості. За допомогою неї можна створювати швидкодіючі і продуктивні інтерактивні веб-сторінки. Однак робот пошукової системи веб-лист «бачить» не так, як користувач і браузер. Приміром, людина дивиться на комфортний інтерфейс з рухомо подгружаемими інтернет-листами. Для пошукового робота вміст тієї ж сторінки може бути порожнім або представленим як інший статичний HTML-контент, для генерації якого скрипти не йдуть у справу. Для створення Ajax-сайтів можна застосовувати URL с #, але його робот-пошуковик не використовує. Зазвичай частина URL після # відділяється. Це потрібно враховувати. Тому замість URL виду http://site.ru/#example він робить заявку на головній сторінці ресурсу, розміщеної за адресою http://site.ru. Це означає, що контент інтернет-листа може не потрапити в базу даних. В результаті він не опиниться в результатах пошуку. Для удосконалення індексації Ajax-сайтів «Яндекс» підтримав зміни в пошуковому роботові і правила обробки URL таких веб-сайтів. Сьогодні веб-майстри можуть вказати пошуковику «Яндекса» на необхідність індексації, створивши відповідну схему в структурі ресурсу. Для цього необхідно: Замінити в URL сторінок символ # на #!. Тепер робот зрозуміє, що він зможе звернутися за HTML-версією наповнення цього інтернет-листа. HTML-версія контенту такої сторінки повинна бути розміщена на URL, де #! замінений на ?_escaped_fragment_=.