Როგორ ამოიღონ საიტი ან მისი ფრაგმენტები Google ინდექსი

მისი თქმით, ინდექსირებას კონცეფცია მიერ მიღებული Google, აღრიცხვა სისრულის, ობიექტურობა ინფორმაციის და მისი შესაბამისობა ძებნის შეკითხვის გაცემის შედეგები. იმ შემთხვევაში, თუ ინდექსი ეცემა ნახვა უკანონო შინაარსი, ან რესურსი spam, გვერდებზე ამ საიტიდან არ იქნება მონიშნული მონაცემთა ერთიან ბაზაში საძიებო სისტემა. ჩვენთვის მნიშვნელოვანია, რომ ისწავლონ , თუ როგორ უნდა ამოიღონ საიტი გაცემიდან შედეგების ძიება სერვერზე.

ვარიანტები ნულოვანი ინდექსირებას Google

მას შემდეგ, რაც ძებნა Robot - პროგრამა, შეაგროვოს ინფორმაცია ახალი რესურსები - სკანირების საიტი გვერდს, მაშინ, როდესაც ქვეშ Google პოლიტიკის მოთხოვნებს parsing, ეს იქნება ინდექსირებული. მაგრამ ჩვენ ასევე გაჩვენებთ თუ როგორ უნდა ამოიღონ თქვენი საიტი ან ფრაგმენტები საძიებო მეშვეობით robots.txt - ინდექსი და ძებნა ამავე დროს გაჩერება.

გამორიცხოს გაცემის რესურსი, როგორც მთელი, root საქაღალდეში სერვერზე სადაც ადგილზე მდებარეობს, ქმნის გარკვეული ტექსტი ტერიტორიაზე, - განაცხადა robots.txt. ეს ზონა მკურნალობას საძიებო და იმოქმედოს ინსტრუქციები წაიკითხა.

გაითვალისწინეთ, რომ Google საძიებო ინდექსები გვერდზე, მაშინაც კი, თუ მომხმარებელს აქვს ხელმისაწვდომობის სანახავად აკრძალა. როდესაც ბრაუზერის პასუხობს 401 და 403 "Access არასწორია", ეს ეხება მხოლოდ სია, ვიდრე პროგრამების, რომ შეიკრიბებიან ამ საძიებო სისტემა.

უნდა გვესმოდეს, თუ როგორ უნდა ამოიღონ საიტის საძიებო ინდექსირებას, ტექსტური მაჩვენებელი უნდა შევიდეს შემდეგი ხაზები:

User-Agent: Googlebot

აიკრძალოს: /

ეს იმაზე მიუთითებს, რომ crawler ინდექსი აკრძალვა ყველა შინაარსი საიტზე. აი როგორ უნდა ამოიღონ საიტი Google, ისე, რომ ეს უკანასკნელი არ ქეში რესურსი სიაში აღმოჩენილი.

განსახიერება სკანირების სხვადასხვა ოქმები

თუ თქვენ გჭირდებათ სიაში ინდივიდუალური კომუნიკაციების სტანდარტების, რომელიც გსურთ ვრცელდება სპეციალური წესების ინდექსირებას Google, მაგალითად, ცალკე ჰიპერტექსტის ოქმები HTTP / HTTPS, ასევე აუცილებელია, რომ დაარეგისტრირონ robots.txt შემდეგ გზა (მაგალითად).

(Http://yourserver.com/robots.txt) - დომენი თქვენს საიტზე (ნებისმიერი)

User-Agent: - ნებისმიერი საძიებო

ნება: / - დაუშვას სრული ინდექსაცია

როგორ ამოიღონ საიტის საკითხი მთლიანად https ოქმი

(Https://yourserver.com/robots.txt):

User-Agent: *

აიკრძალოს: / სრული აკრძალვა ინდექსირებას

დაჩქარებული მოხსნა URL- რესურსი მისამართები Google SERPs

თუ არ გვინდა, რომ დაველოდოთ ხელახალი ინდექსაცია და საიტი გსურთ დამალვა მინდა, მე გირჩევთ გამოიყენოთ მომსახურების http://services.google.com/urlconsole/controller მალე. Pre robots.txt უნდა განთავსდეს ძირეული დირექტორია საიტი სერვერზე. ეს უნდა იყოს გათვალისწინებული შესაბამისი ინსტრუქციები.

იმ შემთხვევაში, თუ მაჩვენებელი რატომღაც შეუძლებელია root დირექტორია, შექმნა საკმარისი საქაღალდეში სამიზნეების, რომელიც გსურთ დასამალი საძიებო სისტემებში. მას შემდეგ, რაც თქვენ ამ და ეხება მომსახურების ავტომატურად მოხსნის ჰიპერტექსტის მისამართები, Google არ სკანირების ფოლდერები, რომელიც გაწერილია ხარვეზი robots.txt.

პერიოდში ამ invisibility არის 3 თვის განმავლობაში. მას შემდეგ, რაც ამ პერიოდში, მომსახურება ამოღებული საკითხი, კვლავ იქნება დამუშავებული Google სერვერზე.

H ow ამოიღონ საიტზე სკანირების ნაწილობრივ

როდესაც საძიებო bot კითხულობს შინაარსი robots.txt, რომ გარკვეული გადაწყვეტილებების საფუძველზე მისი შინაარსი. ვთქვათ თქვენ გსურთ, რომ გამორიცხავს გვიჩვენებს მთელი დირექტორია მოუწოდა anatom. ეს არის საკმარისი იმისათვის, რომ განსაზღვრონ ამგვარი რეგულაციების:

User-Agent: Googlebot

აიკრძალოს: / anatom

ან, მაგალითად, გსურთ არა ინდექსი ყველა სურათი ტიპის .gif. ამისათვის, დაემატოს შემდეგი სია:

User-Agent: Googlebot

აიკრძალოს: /*.gif$

აი კიდევ ერთი მაგალითი. დაე, მათ წაიშლება parsing ინფორმაციის დინამიურად გენერირებული გვერდებზე, ხოლო შეავსოთ ინდექსი შესვლის ტიპი:

User-Agent: Googlebot

აიკრძალოს: / *?

სწორედ ამის შესახებ და შელოცვების out წესების საძიებო სისტემებში. კიდევ ერთი რამ, რომ ეს არის ბევრად უფრო მოსახერხებელია უბრალოდ გამოიყენოს ეს მეტა tag. და ვებოსტატებისათვის ხშირად იყენებენ მხოლოდ ასეთი სტანდარტული მარეგულირებელი ოპერაციის საძიებო სისტემებში. მაგრამ ჩვენ განვიხილავთ ეს მომავალში სტატიები.