Детальний посібник з файлу Sitemap. XML Sitemap: повний посібник з використання Як створити файл sitemap xml

Sitemap - це файл із посиланнями на сторінки сайту, який повідомляє пошукові системи про актуальну структуру сайту. Яндекс підтримує формати XML та TXT. Формат XML дозволяє передавати додаткову інформацію.

Примітка.

1. Яндекс не гарантує, що всі вказані у файлі URL потраплять у результати пошуку.
2. Вимоги до файлу

Питання та відповіді

У яких випадках потрібний файл Sitemap Яндекс розробляє спеціальні алгоритми, за якими робот, що індексує, дізнається про сайт. Наприклад, за допомогою

посилань – переходячи з однієї сторінки на іншу. Іноді робот може пропустити сторінки. Використовуйте Sitemap, якщо на сайті:велика кількість

сторінок;

окремі сторінки без навігаційних посилань;

глибока вкладеність.

Формати, що підтримуються Яндексом

Яндекс не гарантує, що всі вказані у файлі URL потраплять у результати пошуку.

Обмеження.

Пошук Яндекса не підтримує передачу RSS та Atom-фідів за допомогою файлу Sitemap.

Максимальний розмір файлу в стиснутому вигляді - 50 МБ.

Розмістіть файл на тому ж домені, як і сайт, для якого він складений.

При зверненні до файлу сервер повинен повертати код HTTP 200.

Вимоги до файлу

Як створити файл та повідомити про нього Яндексу

При необхідності ви можете видалити інформацію про Sitemap.

Sitemap відображається у сервісі як виключена сторінка зі статусом «Неправильний формат документа»

Відображення файлу Sitemap (як і інших XML-файлів) як виключених сторінок має лише інформативний характер і ніяк не впливає на індексування сайту або обробку Sitemap.

Файл Sitemap може містити лише певні XML-елементи. Якщо веб-майстер виявить у файлі інші елементи (наприклад, вказівку на мобільну або мультимовну версію, адреси картинок), у вебмайстрі з'явиться помилка «Невідомий тег». Непідтримувані елементи ігноруються роботом під час обробки Sitemap , у своїй дані з підтримуваних елементів враховуються. Тому змінювати файл Sitemap необов'язково.

Якщо буде змінено вміст файлу, потрібно буде до двох тижнів на оновлення інформації у Вебмайстрі.

Файл Sitemap знаходиться у статусі «Не проіндексовано»

Файл Sitemap може бути не проіндексований з кількох причин:

Робот обійшов файл Sitemap нещодавно і ще не встиг опрацювати його. Зачекайте два тижні. Якщо ви використовуєте файл індексу Sitemap з кількома файлами, їх обробка може зайняти більше часу, ніж одного файла Sitemap .

Сайт раніше був недоступний для індексуючого робота. Необхідно дочекатися наступного відвідування сайту роботом.

У цьому путівнику ми розглянемо такі питання:

Що таке Sitemap?

Це файл, який містить перелік посилань на всі важливі сторінки сайту. Тобто цей документ спрямовує пошукові системи на основний контент на сайті.

Навіщо потрібна карта сайту

Сайтмап потрібен, якщо сайт має проблеми з індексацією, які викликані:
1) великою кількістю сторінок;
2) відсутністю посилань (внутрішніх чи зовнішніх) на сторінки;
3) глибокої вкладеністю на сайті (заплутаною структурою).

HTML vs XML-картка сайту

Карти сайту бувають наступних типів:

• HTML;

Найпростіше пояснення різниці між цими форматами в тому, що XML-карта в першу чергу призначена для пошукових систем, а HTML – для користувачів.

HTML-карта– це лише загальний огляд сайту, містить лише інформацію та сторінки, які потрібно бачити користувачам. Якщо ви знаходитесь на сайті та шукаєте певний розділ, при переході на Sitemap HTML легко його знайдете. Незважаючи на те, що такий тип карток сайту орієнтований на користувача, він також може допомогти вашому ранжируванню в пошукових системах. Це одне із свідчень того, що ви дбаєте про зручність сайту для користувача.

При складанні HTML-карти сайту важливо враховувати:

1. Структурований зміст.

Карта сайту має бути зрозумілою та зручною для сприйняття користувача. Бажано, щоб вона включала розділи, категорії, підкатегорії і т.д.

2. Анкори посилань.

Протокол XML-карткисайту призначений для пошукових роботів. XML-файл містить інформацію про те, коли останній раз оновлювалася URL-адреса, наскільки це важливо і як часто відбуваються зміни.

Зазвичай Sitemap складається з наступних XML-тегів:

Обов'язкові:
– визначає стандарт протоколу та інкапсулює цей файл.
– содержит в себе информацию о URL-адресе (является родительским тегом).
https://ok-smart.ru/uk/ – содержит абсолютный URL-адрес.

Необязательные:
– указывает дату последнего изменения файла.
– указывает частоту смены файла.
– указывает на значимость документа на сайте. Диапазон значений: от 0,1 до 1,0 (по умолчанию 0,5).

Не устанавливайте для каждого URL-адреса слишком частую смену файла и максимальный приоритет. Если метки частоты и приоритета не отражают реальность, вероятнее всего, поисковые системы будут более склонны игнорировать всю карту XML.

Другие форматы Sitemap

Помимо вышеперечисленных карт сайта, поисковые системы также поддерживают следующие форматы:

Для Google:
— RSS, mRSS и Atom 1.0;
RSS / Atom фиды должны содержать последние обновления вашего сайта. Обычно они небольшие и часто обновляются (что является плюсом).
— Сайты Google.
Для сайтов, созданных на платформе Google Сайты, Sitemap создаётся автоматически, и внести какие-то изменения невозможно.

Для Google и Яндекс:
— текстовый формат (TXT).
Файл должен быть в кодировке UTF-8 и состоять только из URL-адресов.

Требования Google и Яндекса к файлам Sitemap

1. Используйте кодировку UTF-8.
2. Максимальное количество URL – 50 000.
3. Ссылки в сайтмапе должны быть на том же домене, что и файл.

4. Если файл слишком большой, разделите его на несколько и укажите их в файле индекса Sitemap.
5. Ответ сервера при обращении к файлу должен быть 200 ОК.
6. Указывайте только канонические адреса страниц (без GET-параметров и идентификаторов сессий).

1. Максимальный размер – 10 МБ.
2. Поддерживает кириллические URL.

1. Максимальный размер – 50 МБ.
2. Поддерживает только цифры и латинские буквы.

Распространённая ошибка: чтобы уменьшить требования к пропускной способности канала, используют архиватор gzip. Размер сайтмапа должен быть 50 МБ (10 МБ) до сжатия, а не после.

Совет: русские доменные имена можно преобразовать с помощью кодировки Punycode.

Как создать XML Sitemap

1. Чтобы создать карту сайта, в первую очередь нужно определить канонические адреса, которые будут добавлены в файл.

2. Определить, какой формат файла будете использовать.

3. Создать файл можно вручную или, воспользовавшись генератором Sitemap.

Google в своей справке подготовил список онлайн и десктопных, платных и бесплатных генераторов карт сайта. Ознакомиться со всем списком можно, перейдя по ссылке .

Сгенерировать Sitemap проще, чем кажется. Разберём, как сгенерировать сайтмап, на примере деcктопного приложения Majento:

1. Парсим сайт.

2. Переходим в раздел «Сайты» => «Генерировать Sitemap».

3. Сохраняем в нужном нам формате.

4. Карта сайта готова.

Из online-генераторов XML-карты сайта заслуживает внимания XML Sitemap Generator .

Расширенные возможности этого сервера позволяют установить определённые XML-теги, включить/исключить нужные документы.

Исключить ненужные страницы можно и с помощью регулярных выражений.

Google поддерживает расширенный синтаксис для изображений. Для этого вы можете создать отдельную карту сайта для изображений или добавить синтаксис в существующую. Использование расширенного синтаксиса в Sitemap предоставляет поисковой системе дополнительную информацию об изображениях на сайте. Также это может помочь Google обнаружить и проиндексировать изображения, которые он не может найти при сканировании сайта.

Как и в обычной карте сайта, есть обязательные и необязательные XML-теги.

Обязательные:
– аналогично тегу содержит в себе URL изображения и дополнительную информацию.
– URL изображения.

Необязательные:
– подпись к изображению.
– место съёмки фотографии.
– название изображения.
– URL-лицензии изображения.

Ещё один расширенный синтаксис, который поддерживает Google, – XML-карта для видео.

Плюсы добавления XML-тегов для видео:

1) даёт понять Google, какой контент на сайте;
2) даёт возможность предоставить детальное описание к файлу;
3) станет доступным для поиска в Google Видео;
4) в поисковой выдаче будет отображаться заставка видео (может повысить количество переходов из поисковой выдачи).

Карта сайта для видеофайлов состоит из следующих обязательных элементов:

– содержит URL-адрес страницы, на которой размещено видео; если на одной странице размещено более одного видео, не нужно каждый раз создавать тег , достаточно в одном теге несколько раз прописать для каждого видео на странице.
– включает в себя всю информацию о видео.
– URL к миниатюрному изображению (заставке) к видео. Рекомендованные размеры: от 160×90 пикселей до 1920×1080. Форматы изображения: .jpg, .png, or. gif
– заголовок, который должен совпадать с названием страницы, на которой отображается видео.
– описание видео. Должно соответствовать с метаописаниями страницы. Максимальное количество символов – 2048.

Заголовок и описание видео должны быть экранированы или упакованы в блок CDATA.

Со всеми XML-тегами карты сайта для видео можно ознакомиться в справке Google .

Где разместить карту сайта

Распространённые заблуждения о Sitemap

Так как у многих этот файл вызывает трудности и является «тёмным лесом», возникают определённые мифы в отношении карт сайта. Рассмотрим некоторые из них:

– «Включение URL-адреса в файл Sitemap для XML гарантирует, что он будет проиндексирован».
Нет. Важно отметить, что XML-файлы Sitemap – это только рекомендации. Карта сайта XML не гарантирует индексацию поисковыми системами страниц, указанных в файле.

– «Если я удалю URL из XML-карты, он будет удалён из индекса».
Нет. Карта сайта XML не исключает индексацию страниц, не включённых в карту сайта XML.

– «XML-файлы Sitemap трудно создавать и поддерживать»
Нет. Небольшие сайты могут легко создавать и размещать собственные XML-файлы вручную, используя приведённые выше примеры в качестве руководства по форматированию. Для более крупных сайтов и сайтов, которые изменяются чаще, плагины или модули, доступные для большинства CMS, могут автоматизировать обновление XML-файлов.

Заключение

Файл Sitemap – полезный инструмент для передачи поисковым роботам информации о структуре сайта. Используйте это руководство, чтобы понять, как работает карта сайта, как она устроена, как сгенерировать, разместить и проверить файл.

Файл sitemap.xml - это инструмент, который позволяет вебмастерам информировать поисковые системы о страницах сайта, доступных к индексации. Также, в XML карте можно указывать дополнительные параметры страниц: дата последнего обновления, частота обновлений и приоритет относительно других страниц. Информация в sitemap.xml может влиять на поведение поискового краулера и, в целом, на процесс индексации новых документов. Sitemap содержит в себе директивы включения страниц в очередь на обход и дополняет robots.txt, содержащий директивы исключения страниц.

В этом руководстве вы найдете ответы на все вопросы, касающиеся использования sitemap.xml.

Нужен ли мне sitemap.xml

Поисковые системы используют sitemap для поиска новых документов на сайте (это могут быть html-документы или медиа-контент), которые недоступны через навигацию, но их необходимо просканировать. Наличие ссылки на документ в sitemap.xml не гарантирует его сканирование или индексацию, но чаще всего файл помогает большим сайтам индексироваться лучше. К тому же, данные из XML карты используются при определении канонических страниц, если это специально не указано в теге rel=canonical.

Sitemap.xml важен для сайтов, где:

• Некоторые разделы недоступны через навигационное меню.
• Имеется множество изолированных страниц или плохо связанных между собой.
• Используются технологии, слабо поддерживаемые поисковыми системами (например, Ajax, Flash или Silverlight).
• Присутствует очень много страниц и есть вероятность, что поисковый краулер пропустит новый контент.

Если это не ваши случаи, то скорей всего sitemap.xml вам не нужен. Для сайтов, где каждая важная для индексации страница доступна в пределах 2х кликов, где для отображения контента не используются технологии JavaScript или Flash, где при необходимости используются канонические и региональные теги, и свежий контент появляется не чаще, чем на сайт заходит робот, в файле sitemap.xml нет необходимости.

Для небольших проектов при наличии проблемы лишь большого уровня вложенности документов, ее легко решить с помощью HTML карты сайта, не прибегая к использованию XML карты. Но если вы решили, что sitemap.xml вам все-таки нужен, то прочитайте это руководство полностью.

Техническая информация

• Sitemap.xml является текстовым файлом формата XML . Однако, поисковые системы также поддерживают текстовый формат (см. следующий раздел).
• Каждый сайтмап может содержать максимум 50 000 адресов и весить не более 50Мб (10Мб для Яндекса).
• Можно использовать gzip-сжатие для уменьшения размера файла sitemap.xml и увеличения скорости его передачи. В таком случае используйте расширение gz (sitemap.xml.gz). При этом, ограничения по весу остаются для несжатых сайтмапов.
• Местоположение файла Sitemap определяет набор URL-адресов, которые можно включить в этот Sitemap. Карта, содержащая адреса страниц всего сайта, должна располагаться в корне. Если сайтмап располагается в папке, то и все URL в этом сайтмапе должны располагаться в этой папке или глубже ().
• Адреса в sitemap.xml должны быть абсолютными.
• Максимальная длина URL - 2048 символов (1024 символа для Яндекса).
• Спецсимволы в URL (типа амперсанда "&" или кавычек) должны маскироваться в HTML-сущности.
• Указанные в карте страницы должны отдавать 200 http-код статуса.
• Перечисленные в карте адреса не должны быть закрыты в файле robots.txt или в meta-robots.
• Sitemap не должен быть закрыт в robots.txt, иначе поисковая система его не просканирует. Сам файл может находиться в индексе, это нормально.

Форматы XML карт

Поисковые системы поддерживают простой текстовый формат карты сайта, где просто списком перечислены URL-адреса страниц без дополнительных параметров. В таком случае файл должен иметь кодировку UTF-8 и иметь расширение .txt .

Также поисковиками поддерживается стандартный XML-протокол . Google дополнительно поддерживает сайтмапы для изображений, видео и новостей.

Пример файла Sitemap, содержащий только один адрес.

https://сайт/!} 2018-06-14 daily 0.9

XML-теги
urlset
url(обов'язковий) - батьківський тег для кожної URL-адреси.
loc(обов'язкова) - URL-адреса документа, що має бути абсолютною.
lastmod- Дата останньої зміни документа у форматі Datetime.
changefreq- Частота зміни сторінки (always, hourly, daily, weekly, monthly, yearly, never). Значення цього тега є рекомендацією пошукових систем, а чи не командою.
priority- пріоритетність URL щодо інших адрес (від 0 до 1) для черговості сканування. Якщо не вказується, то за промовчанням дорівнює 0.5.

XML карта для зображень

Деякі оптимізатори вставляють у sitemap.xml посилання на зображення аналогічно до посилань на html-документи. Так можна робити, але краще для Google використовувати розширення стандартного протоколу та разом з урлами надсилати додаткову інформацію про зображення. Створювати XML карти зображень корисно, якщо картинки необхідно сканувати та індексувати, і при цьому вони безпосередньо не доступні боту (наприклад, використовується JavaScript).

Приклад карти сайту, що містить одну сторінку і зображення, що належать їй

http://example.com/primer.html http://example.com/kartinka.jpg http://example.com/photo.jpg Вид на Балаклаву Севастополь, Крым http://creativecommons.org/licenses/by-nd/3.0/legalcode

XML-теги
image:image(обов'язково) - інформація про одне зображення. Максимум може використовуватись 1000 зображень.
image:loc(обов'язково) – шлях до файлу зображення. Якщо використовується CDN, то можна посилатися на інший домен, якщо він підтверджений в панелі для вебмайстрів.
image:caption- підпис до зображення (може бути довгий текст).
image:title- Назва зображення (зазвичай короткий текст).
image:geo_location- місце зйомки.
image:license- URL ліцензії зображення. Використовується при розширеному пошуку за картинками.

XML карта для відео

Подібно до карти для зображень, Google також має розширення sitemap протоколу для відео, де можна вказувати докладну інформацію про відео-контент, що впливає на відображення в пошуку по відео. Відео-сайтмап необхідний, коли на сайті використовуються відео, які хоститься локально, і коли індексація цих відео утруднена через технології, що використовуються. Якщо ви на сайті впроваджуєте відео з YouTube, то videositemap тут не потрібен.

Файл Sitemap для новин

При наявності на сайті контенту новин і участі в Google Новинах корисно використовувати Sitemap для новин, так Google буде швидше знаходити ваші свіжі матеріали і індексувати всі статті новин. У цьому випадку Sitemap повинен містити лише адреси сторінок, опублікованих за останні 2 дні та містити не більше 1000 урлів.

Використання кількох карток

При необхідності можна використовувати кілька карт сайтів, об'єднуючи їх в один індексний сайт. Декілька sitemap.xml використовуються у випадках, коли:

• На сайті використовується кілька двигунів (CMS).
• На сайті понад 50 000 сторінок.
• Необхідно налаштувати зручне відстеження помилок у розділах.

В останньому випадку кожен великий розділ сайту має свій sitemap.xml і всі вони додаються в панель для вебмайстрів, де зручно спостерігати, в якому розділі найбільше помилок (див. розділ пошуку помилок в карті сайту).

Якщо у вас 2 і більше сайтів, їх необхідно об'єднати в індексний сайт, який виглядає також як звичайний (за винятком наявності тегів sitemapindex і sitemap замість urlset і url), має аналогічні обмеження і може посилатися тільки на звичайні XML карти (не на індексні) .

Приклад Sitemap Index:

http://www.example.com/sitemap-blog.xml.gz 2004-10-01T18:23:17+00:00 http://www.example.com/sitemap-webinars.xml.gz 2005-01-01

sitemapindex(обов'язковий) – вказує стандарт поточного протоколу.
sitemap(обов'язковий) - містить інформацію про окремий сітіmap.
loc(обов'язковий) - розташування sitemap (у форматі xml, txt або rss для Google).
lastmod- Час зміни сайтмапа. Дозволяє пошукачам швидко виявляти нові URL-адреси на сайтах великих розмірів.

Як створити sitemap.xml

Методи створення XML Sitemap:

• Внутрішні засоби CMS.Багато CMS вже підтримують створення картки сайту. Щоб це з'ясувати, почитайте документацію до CMS, подивіться пункти меню в адміністраторській панелі або зверніться в техпідтримку движка. Завантажте на вашому сайті файл https://вашсайт.com/sitemap.xml, можливо він вже існує і динамічно формується.
• Зовнішні плагіни.Якщо в CMS немає функціоналу генерації карти сайту, і вона підтримує плагіни, погугліть, який із плагінів закриває питання sitemap.xml для вашого движка і встановіть його. У деяких випадках необхідно звернутися до програмістів, щоб вони написали вам подібний плагін.
• Окремий сценарій на сайті.Знаючи протокол XML карти та технічні обмеження, можна створити sitemap.xml самостійно, додавши скрипт генерації у CRON. Якщо ви не є програмістом, використовуйте інші пункти цього списку.
• Генератори Sitemap.Існує безліч генераторів sitemap.xml, які сканують ваш сайт та дають завантажити готову карту. Недолік тут у тому, що при кожному оновленні сайту необхідно вручну генерувати сайт-мап.
• Парсери.Десктопні програми, призначені для технічного аналізу сайту, зазвичай дозволяють скачати sitemap.xml, згенерований на основі просканованих сторінок. Працює аналогічно до генераторів sitemap, тільки запускається локально на своїй машині.

Популярні онлайн-генератори карти сайту

XML-Sitemaps.com

Дозволяє отримати sitemap.xml у декілька кліків. Підтримує формати XML, HTML, TXT та GZ. Зручно використовувати для маленьких веб-сайтів (до 500 сторінок).

Схожий генератор, але має трохи більше налаштувань та дозволяє створити карту до 2000 сторінок безкоштовно.

Має безліч налаштувань, що дозволяє імпортувати URL-адреси з CSV-файлу. Безкоштовно сканує до 500 урлів.

Немає лімітів на кількість сторінок для сканування. Але для великих сайтів процес генерації може підвисати кілька десятків хвилин.

Локальні програми для створення XML Sitemap

G-Mapper Sitemap Generator

Безкоштовна десктопна версія генератора картки сайту під Windows.

Screaming Frog SEO Spider

Гнучкий інструмент створення карти сайту з безліччю налаштувань. Зручно, якщо ви вже користуєтеся скримін фрогом для інших SEO-завдань. Після сканування сайту використовуйте пункт меню Sitemaps -> Create XML Sitemap.

Netpeak Spider

Менш гнучке, але також зручне рішення для швидкої генерації sitemap.xml. Після сканування сайту необхідно використовувати пункт меню Інструменти -> Генерація Sitemap.

Карту сайту можна порівняти з змістом у книзі, що містить перелік усіх найважливіших розділів. На сайті це такий каталог, де вказані посилання на головні розділи та сторінки веб-ресурсу. Загалом же у сайтмап знаходиться така інформація:

• список URL-адрес сторінок сайту в ієрархічному порядку;
• формат контенту, що з'явився на сайті: текст, відео, картинки;
• відомості про відео та зображення, необхідні роботам для їх внесення до бази даних та формування пошукової видачі;
• інформація про пріоритетність сторінки;
• дані про внесення останніх змін документів та регулярність їх оновлень;
• інформацію про інші версії веб-сторінки.

Sitemap допомагає відвідувачам і особливо роботам пошукових систем швидко визначати розташування всіх найнеобхідніших для індексації сторінок, а також їх важливість по відношенню до інших документів, частоту і час останньої зміни, при цьому робити якнайменше «зайвих» переходів. Sitemap допомагає системі індексувати ресурс ефективніше.

Так, на дрібних сайтах до будь-якого документа можна перейти всього в пару кліків, але великі містять по кілька тисяч сторінок і структура їх куди складніше. Без Sitemap на таких ресурсах буде складно і відвідувачам, і пошуковим роботам.

Виходячи з вищеописаного можна виділити три основні ситуації, у ході яких виникають проблеми з індексацією ресурсу та потрібен сайтмап:

1. величезна кількість сторінок;
2. складна структура ресурсу;
3. відсутність зовнішніх або внутрішніх беклінків на важливі індексації сторінки.

Види карт

Будь-яка пошукова система вносить сторінки сайту в індекс поступово, починаючи з головної сторінкиі закінчуючи документами з глибоким вкладенням це залежить який має сайт.

TXT

Ще один метод оформлення картки сайту – файл Sitemap у txt (текстовому форматі). Тут міститься список всіх важливих для індексації посилань. А взагалі цей варіант актуальний для вебмайстрів, які не хочуть особливо морочитися.

Так, у TXT карті можна також розмістити 50 тисяч посилань, але в ній немає можливості вказувати дату останньої зміни та відносну пріоритетність документів.

приклад

Вимоги Яндекса та Google до карт

Я виділив 6 загальних вимог, які два найпопулярніші пошукові системи висувають до файлу Sitemap:

1. Необхідно застосовувати кодування UTF-8.
2. Ліміт за кількістю URL-адрес – до 50 тисяч посилань.
3. Якщо розмір файлу перевищує 10 МБ, поділіть його на кілька карток і пропишіть їх у файлі індексу Sitemap.
4. В процесі звернення до сайту сервер повинен відправляти відповідь 200 OK.
5. Вносити виключно канонічні УРЛи документів: не повинно бути жодних ідентифікаторів сесій чи GET-параметрів.
6. Посилання у файлі повинні вести на той же домен, де знаходиться сама карта сайту. Здавалося б, це елементарна вимога. Але насправді багато вебмайстрів, що мають кілька веб-ресурсів, переносячи шаблон із файлом Sitemap забували поміняти вже існуючі посилання на актуальні.

Є пошукові системи і свої, унікальні вимоги.

Яндекс:

• максимально допустимий розмір – 10 МБ;
• дозволяється використовувати URL-адреси з кириличними символами.

• максимально допустимий розмір файлу – 50 МБ;
• працює тільки з латинськими символами та цифрами (кириличні домени можна перекодувати в латинські за допомогою Punycode).

Важливо!Для зменшення вимог до пропускної спроможності каналу застосовується архіватор gzip. 10 та 50 МБ – це розміри файлів Sitemap до стиснення архіваторів, а не після.

Чи впливає мапа сайту на просування?

Зазначу, що без сайту-мапу пошуковики не знизять ваш ресурс у видачі. Пошукові системи не дурні і навіть якщо у вас на сайті немає Sitemap, вони однаково його.

Зараз пошукові машини навіть без карти сайту сканують сторінки та включають їх у видачу досить добре. Та й теорії вони самостійно повинні цим займатися, без будь-якої допомоги з боку вебмайстрів.

Але часто виникають проблеми, коли роботи дають збій і не можуть просканувати всі сторінки. Найчастіше це трапляється через:

• глибокої вкладеності деяких розділів, для переходу на які необхідно перейти по безлічі посилань;
• динамічних УРЛів.

Тому на користь вебмайстрів допомагати пошуковим системам.

Наявність карти сайту дозволяє уникнути цих ситуацій. Sitemap певною мірою позитивно впливає на SEO просування веб-ресурсу, тому що робить для роботів процес обходу та включення до пошуку сторінок швидше та легше.

Ще з цим файлом у вашого ресурсу зменшується ризик перетворитися з першоджерела на копіпаст внаслідок того, що сторінки потраплять до індексу раніше, ніж конкурентам вдасться вкрасти контент із нього та розмістити у себе.

Важливо!Додайте в Sitemap основні сторінки, які відіграють ключову роль в оптимізації сайту, щоб вони потрапили у першу чергу. Не прописуйте у файлі сторінки зі службовою інформацією, динамічними URL-адресами, тегами та заборонені до індексації.

Чи можна без Sitemap?

Відповідь очевидна – так. Пошуковики сприймають sitemap.xml лише як рекомендації для роботів. На практиці веб-ресурсів, де немає карти сайту, Яндекс зазначає наявність можливих, а не критичних або фатальних проблем.

Як було написано вище, пошукові роботи здатні самостійно та ефективно індексувати ресурси, але великим сайтам і тим, де є динамічні УРЛи, краще зробити Sitemap, до того ж це не займе багато часу, а надалі може пристойно заощадити ваші нерви.

Як створити мапу сайту?

До даному процесупотрібно підійти відповідально, тому що тут необхідно вказати основні сторінки, які ви бажаєте бачити у пошуковій видачі.

HTML

Сайтмап у форматі HTML - це перш за все навігація по розділах сайту для користувачів. Якщо веб-ресурс має лише кілька сотень сторінок, він має просту структуру і зрозуміле меню, підключати HTML-карту необов'язково.

Але коли сайт масштабний і структура досить складна, є сенс створити сторінку із переліком посилань на основні сторінки.

Враховуйте нішу, до якої належить ваш ресурс та відповідно його цільову аудиторію. Якщо у вас відвідувачі переважно похилого віку, мапа сайту допоможе їм зорієнтуватися на сайті, тому що в головному меню розібратися складніше.

Є безліч способів, як створити Sitemap у форматі HTML на движку. Найкраще зробити це за допомогою плагіна Hierarchical HTML Sitemap та йому подібних. Завантажуєте плагін для своєї , встановлюєте, а далі активуєте надбудову для встановлення файлу. Після – розміщуєте виданий плагіном шорткод на сторінку, де хочете підключити сайт-мап.

Мапа сайту буде доступна за адресою:

http://site.com/sitemap.html

Для інших двигунів є такі рішення:

• Drupal - плагін Sitemap.
• Joomla! – плагін OSMap.

Тим, хто користується OpenCart, не потрібно турбуватися про створення HTML карти сайту, тому що вона з'являється там автоматично.

XML

Якщо вирішили створити XML карту сайту, визначтеся, яким способом це робитимете:

1. Cгенерувати сайтмап за допомогою двигуна управління ресурсомякщо у нього є відповідна вбудована функція, використовуючи різні плагіни та модулі.
2. Завантажити ПЗ-генератор.Більшість з цих програм платні, але завдяки ним ви можете легко створювати XML файл як для одного, так і для декількох ресурсів. Ось найпопулярніші: WonderWebWare SiteMap Generator та SiteMap XML Dynamic SiteMap Generator.
3. Завантажити файл Sitemap онлайн генератором.Вибір спеціальних сервісів сьогодні дуже великий, у них різні обмеження і можливості. Наприклад, на сайті xml-sitemaps.com налаштовується велика кількість параметрів карти, але розмістити в ній можна максимум 500 посилань.
4. Ручне підключення Sitemap.

За допомогою генератора онлайн

Перевага цього способу полягає у відсутності прив'язки до будь-якого CMS. Онлайн генератори дозволяють створити карту сайту для веб-ресурсів на будь-яких движках та навіть на статичних HTML сайтах.

Мінус ж використання генераторів у тому, що безкоштовні сервісисильно обмежені за кількістю сторінок і більше підходять, наприклад, для сайтів-візиток, де є кілька сторінок і нові вже не з'являтимуться.

Якщо ресурс регулярно поповнюється новими статтями, то безкоштовні генератори не підійдуть. Вони не оновлюють Sitemap, тому там не з'являтимуться нові URL-адреси, через що файл швидко стане неактуальним.

Найпопулярніший генератор:

Наведу приклад, як створити карту XML з XML-Sitemaps.

Заходьте на сайт сервісу та вказуєте адресу свого ресурсу, натискаєте на кнопку START.

Через кілька хвилин сайтмап у форматі XML буде згенерований. Далі закачуєте файл на жорсткий дисккомп'ютера.

Потім потрібно завантажити Sitemap в кореневу папку сайту за допомогою FTP-клієнта, наприклад WinSCP. Якщо не знаєте, де шукати кореневий каталог, введіть у пошуку index.html. Сюди завантажуєте файл.

Через програмне забезпечення

Створити XML карту сайту даним способом не так вже й складно. Зараз я покажу, як це зробити на прикладі програми для ПК Majento:

1. ресурс.
2. У верхній вкладці заходьте до розділу «Сайти», а потім натисніть «Генерувати Sitemap».
3. Зберігайте файл у форматі .xml.
4. Все – мапа на вашому сайті.

За допомогою плагінів для CMS

Даний варіант набагато зручніше, ніж безкоштовні генератори онлайн. Плагіни для движків управління сайтами більш функціональні, дозволяють змінювати параметри карти сайту. А один з головних плюсів – наявність надбудов для автоматичного оновленняфайлу відразу після появи нових документів, а також сповіщення про їх пошукові системи.

Для сайтів на базі WordPress одним з найкращих варіантів є модуль Google XML Sitemaps. Встановіть та активуйте плагін. Далі зайдіть у налаштування.

В основних параметрах увімкніть оповіщення для Google, вкажіть адресу карти сайту у файлі robots та активуйте функцію стиснення Sitemap.xml.

Перейдіть до «Пріоритету статті» та вимкніть функцію автоматичної пріоритезації сторінок. Потім вам потрібно буде зазначити пріоритети публікацій самостійно. Загляньте в розділ «Зміст Sitemap». Включіть у картку веб-сайту тільки ті типи документів, які ви бажаєте проіндексувати.

Не забудьте поставити галочку напроти Include the last modification time. Так модуль покаже роботам сайту дату останнього оновлення сторінки, що допоможе їм розрахувати дату повторного обходу сайту.

Опція Change Frequencies дозволяє виставити періодичність переіндексації певних типів документів. Найчастіше пошукові системи не слідують тегу changefreq, прописаному у файлі Sitemap, тому що вони самостійно визначають краулінговий бюджет ресурсу і відштовхуються від нього.

Однак плагін надає можливість додатково налаштувати періодичність сканування, але це буде рекомендацією, а не командою.

Excluded Items дозволяє видалити з sitemap.xml певні документи чи категорії.

Вкладка "Пріоритети" говорить сама за себе. Тут вказується пріоритетність сторінок, значення для них виставляються від 0,1 до 1. Спочатку кожна сторінка має значення 0,5. Виставте найвищий пріоритетнайважливішим для ранжування сторінок.

В кінці обов'язково збережіть зміни в налаштуваннях. Плагін продовжить функціонувати в фоновому режиміі вже не буде необхідності в нього заходити – мапа сайту продовжить залишатися актуальною, тому що все оновлюється автоматично. Далі потрібно лише додати файл у вебмайстерні панелі Яндекса та Google.

Для зображень

Пошуковий гігант працює також із картами сайту, призначеними для зображень. Завдяки йому роботи Google можуть отримати більше даних про зображення на сайті. Ще синтаксис допомагає пошуковику швидше шукати і індексувати картинки, які йому вдалося знайти у процесі сканування ресурсу.

Можна зробити синтаксис для картинок окремо або додати його до вже створеного Sitemap. У веб-сайті для зображень, як і в стандартному, містяться необов'язкові та обов'язкові теги XML.

До обов'язкових належать:

• - УРЛ-адреса картинки;
• - Тег, подібний , що містить у собі адресу та іншу інформацію щодо зображення.

Необов'язкові теги такі:

• - Підпис для картинки;
• - Назва картинки;
• – місце, де робилося фото;
• - УРЛ ліцензії картинки.

Для відео

Google ще підтримує карти сайту у форматі XML, призначені спеціально для відео. Переваги цього синтаксису такі:

• дозволяє показати пошукачам докладний описвідеофайл;
• показує роботам тип контенту на ресурсі;
• у результатах видачі може відображати заставку для відео, що в потенціалі підвищує кліки та переходи на сайт;
• контент можна буде знайти у Google Відео.

XML карта для відео включає обов'язкові теги:

• – містить усі дані про відеофайл;
• – у ньому прописується УРЛ сторінки, де є відео, а за наявності більше одного відеофайлу на сторінці у тезі можна прописати декілька для кожного відеозапису окремо;
• - Опис до відео, яке необхідно прописувати на основі сторінки, а кількість символів не повинна перевищувати 2048;
• – адреса заставки (мініатюри) для відеофайлу з допустимими розмірами від 160x90 до 1920x1080 пікселів та можливими форматами png, gif, jpg, або;
• – заголовок для відео, який потрібно вказати аналогічно до назви документа, де розміщено відеозапис.

Опис та заголовок відеофайлу необхідно або екранувати, або помістити до блоку CDATA. Згенерувати відео для sitemap.xml можна використовуючи WP Video SEO .

TXT

Необхідно створити текстовий файл у кодуванні UTF-8. У ньому прописуватимуть виключно УРЛи сторінок, які слід проіндексувати.

Де розмістити картку сайту?

Файл Sitemap найкраще розміщувати у кореневій папці веб-ресурсу. А посилання на карту сайту розміщується у . Виглядати вона має приблизно так:

Наочно подивитися можна у нашому прикладі robots.txt за посиланням

Як додати в Яндекс Вебмайстер

Сайтмап надає можливість повідомити пошукову систему про актуальну структуру ресурсу, тому його можна додати до панелі вебмайстра Яндекса .

Тут можна:

1. Завантажити картку сайту.
2. Сповістити про її оновлення.
3. Виключити файл.

1. Виберіть веб-ресурс зі списку.
2. Вкажіть у відповідному полі УРЛ-адресу розташування файлу.
3. Клацніть «Додати».

Тож ви відправите карту сайту на обробку. Пошуковий бот завантажить файл не пізніше як за 14 днів. Всі файли, що додаються, пошукова машина обробляє окремо. Коли файли завантажаться, напроти кожного з них з'явиться статус:

• ОК.Файл створено коректно та завантажено до бази даних. Біля нього буде показано дату останнього оновлення. Документи, які роботи вже проіндексували, відобразяться у результатах видачі не пізніше як за 2 тижні.
• Редирект.Адреса файлу перенаправляє на інший УРЛ. У цьому випадку потрібно видалити редирект і оповістити систему оновлення.
• Помилка.Файл зроблено некоректно. Перейдіть за посиланням Помилкаде будуть описані її причини. Виправте все, що вимагає пошукова система і далі повідомте про внесення змін.
• Чи не проіндексований.Сервер відправляє HTTP-код, який відрізняється від 200 ОК. Зайдіть в інструмент Перевірка відповіді сервера і вставте повний URL розташування карти сайту, щоб переконатися, чи є у пошукового бот доступ до неї. Якщо файл недоступний, зверніться до адміністратора сервера або ресурсу, де він розміщений.

Також переконайтеся, що у robots.txt ви не застосували до файлу директиву Disallow, яка забороняє його індексацію.

Оновлення

При внесенні будь-яких змін до карти сайту немає необхідності видаляти її, а потім знову завантажувати, тому що боти часто перевіряють сайт-мап на оновлення та наявність помилок. Рекомендується лише клацнути по значку ручного оновлення, що дозволить роботам швидше обійти файл.

На замітку.Кількість спроб ручного оновлення обмежена, тому використовуйте його розумно.

1. Зайдіть на панель вебмайстра Google.
2. Знайдіть розділ "Сканування", у ньому перейдіть до "Файли Sitemap".
3. Натисніть «Додати/Перевірити файл».
4. Введіть адресу, за якою доступна карта сайту.
5. Клацніть «Надіслати».

Якщо ви хочете перевірити Sitemap на помилки, поруч із кнопкою «Надіслати» знаходиться «Тест» – натисніть для перевірки. Після перевірки з'явиться вікно з повідомленням про наявність або відсутність помилок.

У довідці Google можна ознайомитися зі списком усіх можливих помилокта варіантів їх вирішення.

Вилучення

Якщо у вас новий інтерфейс Search Console, напишіть на підтримку пошукової системи.

Але найбільш оптимальний варіант - перейти на стару версію внизу сторінки. А далі все як і в Яндекс.Вебмайстер: переходьте до вибору сайту зі списку, а потім навпроти Sitemap ставте галочку для видалення файлу.

Висновок

Ретельно продумайте, які сторінки вашого веб-ресурсу найпріоритетніші щодо інших, і вказуйте їх у файлі Sitemap. Це ефективний інструмент, грамотне застосування якого допоможе роботам пошукових систем швидше обходити сайт та отримувати інформацію про його структуру.

Для створення картки сайту необхідно зареєструватися

Існує два типи карток сайту: sitemap. xmlта sitemap. html.

Xml карта сайту (sitemap.xml)

Xml карта сайту створюється для пошукових роботів. З допомогою xmlкарти Ви можете вказати, як часто слід індексувати ту чи іншу сторінку, як часто вона оновлюється, наскільки вона важлива у рамках Вашого сайту. За допомогою картки сайту фіксуються всі посилання на сайті.

Іншими словами, структура сайту стає прозорою для пошукових роботів. Для «живих» користувачів xml картка марна.

Якщо Вам потрібна тільки xml карта, то її можна легко згенерувати автоматично, використовуючи один з багатьох інтернет-ресурсів. На більшості з них створення мапи для сайту до 100 сторінок безкоштовно. Процес генерації займає визначений час: чим більше сторіноку сайту, для якого Ви генеруєте сайт-меп, тим довше цей процес. Він може зайняти від декількох хвилин (для невеликих сайтів) до години і більше (для сайтів із сотнями сторінок та численними перехресними посиланнями).

Необхідно пам'ятати, що за будь-яких змін, які зачіпають структуру сайту чи пріоритет сторінок, необхідно заново генерувати sitemap.

Щоб пошуковий робот знайшов Вашу sitemap.xml, у файлі robots.txt необхідно вказати шлях до неї.

Html карта сайту (sitemap.html)

Html карта сайту створюється для відвідувачів Вашого сайту, вона аналог змісту в книзі. Часто буває, що при складній або не дуже прозорій структурі відвідувач губиться в навігації по сайту і не доходить до сторінок (він їх просто не знаходить), які йому були б потрібні і невдоволений. Конверсія сайту при цьому знижується.

Якщо html карта є та зроблена якісно, ​​правильно та ємно озаглавлені розділи, то будь-який розділ, будь-яка сторінка сайту потрібної тематики легко знайдеться відвідувачем Вашого сайту.

Створення sitemap онлайн на нашому сайті

Використовуючи пропонований модуль, Ви зможете одночасно створити sitemap.xml і sitemap.html.

При цьому Ви створюєте лише html карту сайту, а xml карта створюється автоматично.

Зміни, які вносяться до структури сайту після створення картки сайту, не вимагають нової генерації sitemap.xml, xml карта автоматично коригується після коригування html карти. Таким чином, у Вас на сайті завжди буде коректна карта для пошукових машин (sitemap.xml) та коректне зміст (sitemap.html).

Порівняння автоматичної генерації sitemap та напівавтоматичної

• Налаштований зовнішній виглядта css стилі.
• Деревоподібна система, що налаштовується.
• Повне налаштуванняпід пошукові системи
• Усі внесені дані зберігаються.
• Коригування готової карти сайту займе не більше хвилини.
• Інтуїтивно зрозумілий інтерфейс.
• Автоматична перевірка доступності сторінки (виключає помилки та дублі).
• Title сторінки програма зчитує самостійно.
• Карта Html автоматично додає до кожного посилання title сторінки.
• Для додавання на сайт достатньо скопіювати код або завантажити файл.
• Одночасне створення html та xml sitemap.