Axtarış motorları, hörümçəklər və ya botlar olaraq da bilinən web səhifələrini tarayan və indeksləyən robotlar ilə təchiz edilmişdir. Saytınız və ya səhifəniz inkişaf mərhələsindədirsə və ya həssas məzmun ehtiva edirsə, botların saytınızı taramasını və indeksləşdirməsini bloklamaq istəyə bilərsiniz. Robots.txt faylları ilə bütün veb saytları, səhifələri və bağlantıları necə blok edəcəyinizi və html etiketləri olan xüsusi səhifələri və bağlantıları necə blok edəcəyinizi öyrənin. Xüsusi botların məzmununuza daxil olmasını necə maneə törətəcəyini öyrənmək üçün oxuyun.
Addımlar
Metod 1 /2: robots.txt faylları ilə axtarış motorlarını bloklamaq
Addım 1. Robots.txt fayllarını anlayın
Robots.txt faylı, axtarış motoru hörümçəklərinə saytınızda nəyə icazə verdiklərini bildirən düz və ya ASCII mətn sənədidir. Robots.txt faylında sadalanan fayllar və qovluqlar axtarış sistemi hörümçəkləri tərəfindən taranaraq indekslənə bilməz. Bir robots.txt faylına ehtiyacınız ola bilər:
- Axtarış motoru hörümçəklərindən gələn xüsusi məzmunu bloklamaq istəyirsən.
- Canlı bir sayt hazırlayırsınız və axtarış motoru hörümçəklərinin saytı taramasına və indeksləməsinə hazır deyilsiniz
- Nüfuzlu botlara girişi məhdudlaşdırmaq istəyirsən.
Addım 2. Robots.txt faylını yaradın və qeyd edin
Fayl yaratmaq üçün düz mətn redaktoru və ya kod redaktoru işə salın. Faylı robots.txt olaraq qeyd edin. Fayl adı hamısı kiçik hərflərlə yazılmalıdır.
- "S" lərini unutmayın.
- Faylı saxladığınız zaman "'.txt"' uzantısını seçin. Word istifadə edirsinizsə, "Düz mətn" seçimini seçin.
Addım 3. Tam icazə verilməyən robots.txt faylını yazın
Hər bir nüfuzlu axtarış motoru hörümçəyinin "tam icazə verməyən" robots.txt ilə saytınızı taramasını və indeksləşdirməsini maneə törətmək mümkündür. Mətn sənədinizə aşağıdakı sətirləri yazın:
İstifadəçi agenti: * İzin verməyin: /
Addım 4. Şərti icazə verilən robots.txt faylını yazın
Bütün botları bloklamaq əvəzinə, saytınızın müəyyən sahələrindən xüsusi hörümçəkləri bloklamağı düşünün. Ümumi şərti icazə əmrləri bunlardır:
- Müəyyən bir botu blok edin: yanındakı ulduzları dəyişdirin İstifadəçi agenti ilə googlebot, googlebot xəbərləri, googlebot şəkli, bingbotvə ya teoma.
-
Bir qovluğu və məzmununu bloklayın:
İstifadəçi agenti: * İzin verməyin: /nümunə-kataloq /
-
Veb səhifəni blok edin:
İstifadəçi agenti: * İzin verməyin: /private_file.html
-
Şəkli blok edin:
İstifadəçi agenti: googlebot-image İzin verməyin: /images_mypicture.jpg
-
Bütün şəkilləri blok edin:
İstifadəçi agenti: googlebot-image İzin verməyin: /
-
Xüsusi bir fayl formatını bloklayın:
İstifadəçi agenti: * İzin verməyin: /p*.gif$
Addım 5. Botları saytınızı indeksləməyə və taramağa təşviq edin
Bir çox insanlar bütün saytlarının indekslənməsini istədikləri üçün axtarış sistemi hörümçəklərini bloklamaq əvəzinə qarşılamaq istəyirlər. Bunu etmək üçün üç seçiminiz var. Birincisi, robots.txt faylını yaratmaqdan imtina edə bilərsiniz-robot bir robots.txt faylını tapmadıqda, bütün saytınızı taramağa və indeksləməyə davam edəcək. İkincisi, boş bir robots.txt faylı yarada bilərsiniz-robot robots.txt faylını tapacaq, boş olduğunu tanıyacaq və saytınızı taramağa və indeksləməyə davam edəcək. Nəhayət, tam icazə verilən robots.txt faylını yaza bilərsiniz. Kodu istifadə edin:
İstifadəçi agenti: * İzin verməyin:
Addım 6. txt faylını domeninizin kökündə saxlayın
Robots.txt faylını yazdıqdan sonra dəyişiklikləri qeyd edin. Faylı saytınızın kök qovluğuna yükləyin. Məsələn, əgər domeninizdirsə www.alaniniz.com, robots.txt faylını yerləşdirin www.alaniniz.com/robots.txt.
Metod 2 ilə 2: Axtarış Sistemlərini Meta Etiketlərlə Bloklama
Addım 1. HTML robotlarının meta etiketlərini anlayın
Robotların meta etiketi, proqramçılara botlar və ya axtarış motoru hörümçəkləri üçün parametrlər təyin etməyə imkan verir. Bu etiketlər botların bütün bir saytın və ya saytın yalnız bir hissəsinin indeksləşdirilməsini və taranmasını maneə törətmək üçün istifadə olunur. Xüsusi bir axtarış motoru hörümçəyinin məzmununuzu indeksləşdirməsini maneə törətmək üçün bu etiketlərdən də istifadə edə bilərsiniz. Bu etiketlər HTML faylınızın başında görünür.
Bu üsul ümumiyyətlə veb saytının kök qovluğuna çıxışı olmayan proqramçılar tərəfindən istifadə olunur
Addım 2. Tək səhifədən botları blok edin
Bütün botların bir səhifəni indeksləməsini və ya bir səhifənin bağlantılarını izləməsini maneə törətmək mümkündür. Bu etiket ümumiyyətlə canlı bir sayt hazırlandıqda istifadə olunur. Sayt tamamlandıqdan sonra bu etiketi silməyiniz şiddətlə tövsiyə olunur. Etiketi silməsəniz, səhifəniz indekslənməyəcək və ya axtarış motorları vasitəsilə axtarıla bilməz.
- Botların səhifəni indeksləməsini və linklərdən birini izləməsini blok edə bilərsiniz:
- Bütün botların səhifəni indeksləməsini blok edə bilərsiniz:
- Səhifənin bağlantılarını izləmək üçün bütün botları blok edə bilərsiniz:
Addım 3. Botların bir səhifəni indeksləməsinə icazə verin, ancaq onun bağlantılarını izləməyin
Botların səhifəni indeksləməsinə icazə versəniz, səhifə indekslənəcək; örümceklerin bağlantıları izləməsinə mane olsanız, bu xüsusi səhifədən digər səhifələrə keçid yolu qırılacaq. Başlığınıza aşağıdakı kod satırını daxil edin:
Addım 4. Axtarış motoru hörümçəklərinin bağlantıları izləməsinə icazə verin, ancaq səhifəni indeksləməyin
Botların bağlantıları izləməsinə icazə versəniz, bu xüsusi səhifədən digər səhifələrə keçid yolu təmkinli qalacaq; səhifəni indeksləməyi məhdudlaşdırsanız, veb səhifəniz indeksdə görünməyəcək. Başlığınıza aşağıdakı kod satırını daxil edin:
Addım 5. Tək gedən əlaqəni bloklayın
Səhifədə bir keçidi gizlətmək üçün a rel link etiketi daxilində etiket. Blok etmək istədiyiniz xüsusi səhifəyə aparan digər səhifələrdəki bağlantıları bloklamaq üçün bu etiketdən istifadə etmək istəyə bilərsiniz.
Bloklanmış Səhifəyə Link daxil edin
Addım 6. Xüsusi bir axtarış motoru hörümçəyini bloklayın
Veb səhifənizdəki bütün botları bloklamaq əvəzinə, bir botun səhifəni taramasını və indeksləşdirməsini maneə törədə bilərsiniz. Bunu etmək üçün meta etiketdəki "robotu" müəyyən bir botun adı ilə əvəz edin. Nümunələrə aşağıdakılar daxildir: googlebot, googlebot xəbərləri, googlebot şəkli, bingbotvə teoma.
Addım 7. Botlarınızı səhifənizi taramağa və indeksləməyə təşviq edin
Səhifənizin indekslənməsini və bağlantılarının izlənilməsini təmin etmək istəyirsinizsə, izləmə icazəsi əlavə edə bilərsiniz meta "robot" başlığınıza etiket qoyun. Aşağıdakı kodu istifadə edin:
