Індэксаванне сайта ў пошукавых сістэмах. Як адбываецца індэксаванне сайта ў "Яндэкс" і "Гугл"

Што такое індэксаванне сайта? Як яно адбываецца? На гэтыя і іншыя пытанні вы можаце знайсці адказы ў артыкуле. Вэб-індэксаванне (індэксаванне ў пошукавых сістэмах) называюць працэс далучэння інфармацыі аб сайце да базы дадзеных робатам пошукавай машыны, якая пасля выкарыстоўваецца для вышуку звестак на вэб-праектах, якія прайшлі такую працэдуру.

Дадзеныя аб вэб-рэсурсах часцей за ўсё складаюцца з ключавых слоў, артыкулаў, спасылак, дакументаў. Індэксавацца таксама могуць аўдыё, малюнкі і гэтак далей. Вядома, што алгарытм выяўлення ключавых слоў залежым ад пошукавага прылады.

На тыпы индексируемой інфармацыі (flash файлы, javascript) існуе некаторая лимитация.

кіраванне прылучэннем

Індэксаванне сайта - складаны працэс. Каб ім кіраваць (да прыкладу, забараняць далучэнне той ці іншай старонкі), трэба выкарыстоўваць файл robots.txt і такія прадпісанні, як Allow, Disallow, Crawl-delay, User-agent і іншыя.

Таксама для вядзення індэксацыі ўжываюць тэгі і рэквізіт , якія хаваюць змесціва рэсурсу ад робатаў Google і «Яндэкса» (Yahoo прымяняе тэг ).

У пошукавай сістэме Goglle новыя сайты індэксуюцца ад пары дзён да аднаго тыдня, а ў Яндэксе - ад аднаго тыдня да чатырох.

Вы жадаеце, каб ваш сайт паказваўся ў запытах вынікаў пошукавікаў? Тады ён павінен быць апрацаваны «Рамблерам», «Яндэксам», Google, Yahoo і гэтак далей. Вы павінны паведаміць пошукавым машынам (павукам, сістэмах) пра існаванне вашага вэб-вузла, і тады яны праскануюць яго цалкам або часткова.

Многія сайты не індэксуюцца гадамі. Інфармацыю, якая на іх знаходзіцца, не бачыць ніхто, акрамя іх уладальнікаў.

спосабы апрацоўкі

Індэксаванне сайта можа выконвацца некалькімі спосабамі:

1. Першым варыянтам з'яўляецца ручное даданне. Вам трэба ўвесці дадзеныя свайго сайта праз асаблівыя формы, прапанаваныя пошукавікамі.
2. У другім выпадку робат пошукавай машыны сам знаходзіць ваш вэб-вузел па спасылках і індэксуе яго. Ён можа адшукаць ваш сайт па спасылках з іншых рэсурсаў, якія вядуць на ваш праект. Гэты спосаб найбольш эфектыўны. Калі пошукавік знайшоў сайт такім чынам, ён лічыць яго значным.

тэрміны

Індэксаванне сайта адбываецца не занадта хутка. Тэрміны розныя, ад 1-2 тыдняў. Спасылкі з аўтарытэтных рэсурсаў (з цудоўным PR і Тиц) значна паскараюць размяшчэнне сайта ў базе пошукавікаў. Сёння самым павольным лічыцца Google, хоць да 2012 года ён мог выконваць гэтую працу за тыдзень. На жаль, усё вельмі хутка мяняецца. Вядома, што Mail.ru працуе з вэб-вузламі ў гэтай галіне каля паўгода.

Індэксаванне сайта ў пошукавых сістэмах ажыццявіць здольны не кожны спецыяліст. На тэрміны дадання ў базу новых старонак ўжо апрацаванага пошукавікамі сайта ўплывае частата карэкціроўкі яго кантэнту. Калі на рэсурсе увесь час з'яўляецца свежая інфармацыя, сістэма лічыць яго часта абнаўляецца і карысным для людзей. У гэтым выпадку яе праца паскараецца.

За ходам індэксацыі вэб-вузла можна сачыць на асаблівых раздзелах для вэб-майстроў або на пошукавіках.

змены

Такім чынам, мы ўжо разабраліся, як адбываецца індэксаванне сайта. Неабходна адзначыць, што базы дадзеных пошукавікаў часта абнаўляюцца. Таму колькасць дададзеных у іх старонак вашага праекта можа мяняцца (як памяншацца, так і павялічвацца) па наступных прычынах:

• санкцыі пошукавіка да вэб-вузла;
• наяўнасць хібаў на сайце;
• змена алгарытмаў пошукавікаў;
• агідны хостынг (недасягальнасць сервера, на якім знаходзіцца праект) і гэтак далей.

Адказы «Яндэкса» на звычайныя пытанні

«Яндэкс» - пошукавая сістэма, якой карыстаюцца многія карыстальнікі. Яна займае пятае месца сярод вышуковых сістэм свету па колькасці апрацаваных даследчых запытаў. Калі вы ў яе дадалі сайт, ён можа занадта доўга дадавацца ў базу.

Даданне URL не гарантуе яго індэксацыю. Гэта толькі адзін з метадаў, з дапамогай якога паведамляюць робату сістэмы аб тым, што з'явіўся новы рэсурс. Калі на сайт адсутнічаюць спасылкі з іншых вэб-вузлоў ці іх няшмат, даданне дапаможа яго хутчэй выявіць.

Калі індэксацыя ня адбылася, трэба праверыць, ці не было на сэрвэры збояў у момант стварэння яму заяўкі ад робата «Яндэкса». Калі сервер паведамляе пра памылку, робат завершыць сваю працу і паспрабуе яе выканаць у парадку ўсебаковага абыходу. Работнікі «Яндэкса» не могуць павялічыць хуткасць дадання старонак у базу пошукавіка.

Індэксаванне сайта ў «Яндэксе» - даволі-такі складаны занятак. Вы не ведаеце як дадаць рэсурс у пошукавую сістэму? Калі на яго маюцца спасылкі з іншых вэб-вузлоў, то дадаваць спецыяльна сайт не патрабуецца - робат яго аўтаматычна знойдзе і праіндэксуюць. Калі ў вас няма такіх спасылак, можна выкарыстоўваць форму «Дадаць URL», каб заявіць пошукавіку аб існаванні вэб-вузла.

Неабходна памятаць, што даданне URL не гарантуе індэксацыю вашага тварэння (або яе хуткасць).

Шмат каму цікава, колькі часу займае індэксаванне сайта ў «Яндэксе». Супрацоўнікі гэтай кампаніі не даюць гарантый і не прагназуюць тэрміны. Як правіла, з тых часоў, як робат даведаўся аб сайце, старонкі яго ў пошуку з'яўляюцца праз два дні, часам - праз пару тыдняў.

працэс апрацоўкі

«Яндэкс» - пошукавая сістэма, якая патрабуе дакладнасці і ўвагі. Індэксацыя сайта складаецца з трох частак:

1. Пошукавы робат выконвае абыход старонак рэсурсу.
2. Змесціва (кантэнт) сайта запісваецца ў базу дадзеных (індэкс) вышуковай сістэмы.
3. Праз 2-4 тыдні, пасля абнаўлення базы, можна ўбачыць вынікі. Ваш сайт з'явіцца (ці не з'явіцца) у пошукавай выдачы.

праверка індэксацыі

Як праверыць індэксацыю сайта? Выканаць гэта можна трыма спосабамі:

1. Увядзіце найменне свайго прадпрыемства ў радку пошуку (да прыкладу, «Яндэкса») і праверце кожную спасылку на першай і другой старонцы. Калi вы знойдзеце там URL свайго стварэння, значыць, робат сваю задачу выканаў.
2. Можна ўвесці URL свайго сайта ў вышуковай радку. Вы зможаце ўбачыць, колькі інтэрнэт-лістоў паказваецца, то ёсць праіндэксавана.
3. Зарэгіструйцеся на старонках вэб-майстроў у Mail.ru, «Гугле», «Яндэксе». Пасля таго як вы пройдзеце верыфікацыю сайта, вы зможаце ўбачыць і вынікі індэксацыі, і іншыя сэрвісы пошукавікаў, створаныя для паляпшэння работы вашага рэсурсу.

Чаму «Яндэкс» адмаўляе?

Індэксаванне сайта ў Google ажыццяўляецца наступным чынам: робат у базу дадзеных заносіць усе старонкі сайта, няякасныя і якасныя, не вылучаючы. Але ў ранжыраванні удзельнічаюць толькі карысныя дакументы. А «Яндэкс» ўвесь вэб-хлам выключае адразу ж. Ён можа праіндэксаваць любую старонку, але пошукавік з часам ліквідуе ўсё смецце.

У абедзвюх сістэм маецца дадатковы індэкс. І ў той, і ў іншы старонкі нізкай якасці ўплываюць на рэйтынг вэб-вузла ў цэлым. Тут працуе простая філасофія. Ўпадабаныя рэсурсы канкрэтнага карыстальніка будуць займаць больш высокія пазіцыі ў яго выдачы. Затое гэты ж індывід з цяжкасцю адшукае сайт, які яму ў мінулы раз не спадабаўся.

Менавіта таму перш неабходна ад індэксацыі прыкрыць копіі вэб-дакументаў, праінспектаваць наяўнасць пустых старонак і не пускаць у выдачу няякасны кантэнт.

Паскарэнне працы «Яндэкса»

Як можна паскорыць індэксаванне сайта ў «Яндэксе»? Неабходна выканаць наступныя крокі:

• Ўсталяваць на кампутар браўзэр «Яндэкса» і пабадзяцца з дапамогай яго па старонках сайта.
• Пацвердзіць права на кіраванне рэсурсам у «Яндэкс.Вэбмайстар».
• У Twitter апублікаваць спасылку на артыкул. Вядома, што з 2012 года "Яндэкс" супрацоўнічае з гэтай кампаніяй.
• Для сайта дадаць пошук ад Yandex. У раздзеле «Індэксацыя» можна паказаць ўласныя URL-адрасы.
• Ўвесці код «Яндекс.Метрики», не паказваючы галачку «Адпраўка старонак на індэксацыю забароненая».
• Вырабіць файл Sitemap, які існуе толькі для робата і не бачны аўдыторыі. Праверка будзе пачынацца менавіта з яго. Адрас Sitemap ўводзіцца ў robots.txt або ў прыдатную форму ў «вэбмайстру» - «Настройка індэксацыі» - «Файлы Sitemap».

прамежкавыя дзеянні

Што неабходна выканаць, пакуль вэб-старонка «Яндэксам" не праіндэксавана? Айчынны пошукавік павінен лічыць сайт першакрыніцай. Менавіта таму яшчэ да публікацыі артыкула абавязкова неабходна дадаць яе ўтрыманне ў форму «спецыфічнасці тэкстаў». У адваротным выпадку плагіятары скапіюе запіс на свой рэсурс і апынуцца ў базе дадзеных першымі. У выніку прызнаныя аўтарамі будуць яны.

База дадзеных Google

Для Google падыдуць тыя ж рэкамендацыі, пра якія мы распавялі вышэй, толькі сэрвісы будуць іншымі:

• Google+ (наўзамен Twitter);
• Google Chrome;
• Google-прыстасаванні для праграмістаў - «Сканіраванне» - «Зірнуць як Googlebot» - опцыя «Сканаваць» - опцыя «Дадаць у індэкс";
• пошук ўнутры рэсурсу ад «Гугла»;
• Google Analytics (наўзамен «Яндекс.Метрики).

забарона

Што сабой уяўляе забарона індэксавання сайта? Вы можаце накласці яго як на ўсю старонку, так і на асобную яе частка (спасылку або кавалак тэксту). Фактычна існуе як глабальны забарона індэксацыі, так і лакальны. Як гэта рэалізуецца?

Разгледзім забарона дадання ў базу пошукавіка вэб-вузла ў Robots.txt. З дапамогай файлаў robots.txt можна выключыць індэксацыю адной старонкі або цэлай рубрыкі рэсурсу так:

1. User-agent: *
2. Disallow: /kolobok.html
3. Disallow: / foto /

Першы пункт кажа пра тое, што інструкцыі вызначаны для ўсіх ПС, другі паказвае на забарону індэксацыі файла kolobok.html, а адзін - не дазваляе даданне ў базу ўсёй начыння тэчкі foto. Калі трэба выключыць некалькі старонак або тэчак, пакажыце іх усё ў «Роботсе».

Для таго каб перашкодзіць індэксацыі асобнага інтэрнэт-ліста, можна ўжыць мета-тэг robots. Ён адрозніваецца ад robots.txt тым, што дае ўказанні адразу ўсім ПС. Гэты мета-тэг падпарадкоўваецца агульным прынцыпам фармату html. Яго трэба размяшчаць у загалоўку старонкі паміж тэгамі . Запіс для забароны, да прыкладу, можа быць напісана так: .

Ajax

А як праводзіць індэксаванне Ajax-сайтаў Yandex? Сёння тэхналогіяй Ajax карыстаюцца многія распрацоўшчыкі вэб-вузлоў. Вядома, у яе ёсць вялікія магчымасці. З дапамогай яе можна ствараць хуткадзейныя і прадукцыйныя інтэрактыўныя вэб-старонкі.

Аднак робат пошукавай сістэмы вэб-ліст «бачыць» не так, як карыстальнік і браўзэр. Да прыкладу, чалавек глядзіць на камфортны інтэрфейс з рухома падгружаецца інтэрнэт-лістамі. Для пошукавага робата змесціва той жа старонкі можа быць парожніх ці прадстаўленым як астатняй статычны HTML-кантэнт, для генерацыі якога скрыпты не ідуць у справу.

Для стварэння Ajax-сайтаў можна ўжываць URL з #, але яго робат-пошукавік не выкарыстоўвае. Звычайна частка URL пасля # аддзяляецца. Гэта трэба ўлічваць. Таму наўзамен URL выгляду http://site.ru/#example ён робіць заяўку галоўнай старонцы рэсурсу, размешчанай па адрасе http://site.ru. Гэта значыць, што кантэнт інтэрнэт-ліста можа не патрапіць у базу дадзеных. У выніку ён не апынецца ў выніках пошуку.

Каб паляпшаць індэксацыі Ajax-сайтаў «Яндэкс» падтрымаў змены ў пошукавым робаце і правілах апрацоўкі URL такіх вэб-вузлоў. Сёння вэб-майстры могуць пазначыць пошукавіку "Яндэкса" на неабходнасць індэксацыі, стварыўшы адпаведную схему ў структуры рэсурса. Для гэтага неабходна:

1. Замяніць у URL старонак знак # на # !. Цяпер робат зразумее, што ён зможа звярнуцца па HTML-версіяй напаўнення гэтага інтэрнэт-ліста.
2. HTML-версія кантэнту такой старонкі павінна быць размешчана на URL, дзе #! заменены на? _escaped_fragment_ =.