Yandex'e erişim / kayıt sorunu ( Çözümü )

fixerkit
#1
Yandex botlarının yoğun sorguları yüzünden ülkemizde bir çok servis sağlayıcıda yandex botları direk olarak engellemiştir. Bu yüzden yandex üzerinde rekabet oranı ciddi anlamda düşüktür. Bu engelin var olduğunu bile bilmeyen kullanıcılar sitelerini doğru şekilde kayıt ettirseler hatta bir şekilde onaylatsalar bile tüm sayfaları indexlenmediği için istedikleri pozisyona bir türlü gelememektedirler.

Özellikle son 1 yıl içerisinde katlanarak bu sorun büyümektedir. Aşağıda hem yandex botlarınından nasıl kurtulacağınızı hemde bu engeli nasıl aşıp sitenizi kayıt edeceğinizi madde madde açıklamaya çalışacağım.

Öncelikli olarak bilmeniz gereken eğer paylaşımlı bir sunucuda sitenizi host ediyor iseniz bu yöntem ne yazık ki işinize çok yarayamayacaktır ancak tüm makaleyi okumanızında yine de faydası olacaktır. Bu yöntemler sanal ve ya fiziksel sunucu sahipleri içindir.

Sizlere önce bu kaynak tüketim canavarı yandex botlarından nasıl kurtulacağınızı bir kaç adımda anlatmak istiyorum. Bu yöntemler sadece WHM/Cpanel sunucular içindir diğer sunucular içinde eğer sorularınız olur ise konu altına yazmanız durumunda yardımcı olmaya çalışırım.

Modsecurity ye öncelikle aşağıda ki kuralı ekliyorsunuz. Böylece yandex geldiğinde 403'e düşürüyoruz.

Kod:
SecRule HTTP_User-Agent "YandexBot/3.0" "deny,status:403,id:210000083,msg:'Yandex Bot Engelleme'"
Ardından aşağıda vermiş olduğum ip listesini iptables üzerinden engelleyin.

# Bu IP ADRESLERI Yandex IP Adresleridir
# RIPE uzerinden teyit edilmişlerdir.

Kod:
5.255.192.0/18



37.9.64.0/18



77.88.0.0/18

77.88.22.0/23

77.88.24.0/21

77.88.24.0/22

77.88.28.0/22

77.88.36.0/23

77.88.42.0/23

77.88.44.0/24

77.88.50.0/23



84.201.128.0/18



87.250.224.0/19

87.250.230.0/23

87.250.252.0/22

87.250.255.0/24



93.158.128.0/18

95.108.128.0/17

95.108.128.0/24

93.158.137.0/24

93.158.144.0/21

93.158.144.0/23

93.158.146.0/23

93.158.148.0/22



95.108.128.0/17

95.108.128.0/24

95.108.150.0/23

95.108.156.0/23

95.108.152.0/22

95.108.216.0/23

95.108.240.0/21

95.108.240.0/23

95.108.248.0/23



130.193.32.0/22



178.154.128.0/17

178.154.160.0/22

178.154.164.0/23



213.180.192.0/19

213.180.204.0/24

213.180.206.0/23

213.180.209.0/24

213.180.218.0/23

213.180.220.0/23

Bu işlemleri yaptıktan sonra büyük ölçüde sunucu taraflı koruma kısmını çözmüş olacaksın. Ancak mutlak sunucuya CSF kurulumu yapılmış olmasınıda şiddetle öneririm. Bu konu hakkında takılan sorusu olan arkadaşlar konu altına yazarlar ise yardımcı olurum.

Şimdi gelelim fasulyenin faydalarına bu anlattığım tüm etkenler yandex botlarını sitenizden uzak tutmak içindi ancak burası bir SEO forumu ve esas amacımız sitemizi taratmak ve ziyaretçi çekmek. O yüzden bu korumalar yapıldı ise ne yazık ki artık sizi yandex kafasına göre tarayamayacaktır. Ama bu bir sıkıntı değil yapmanız gereken sadece sitenin xml olarak tüm link yapısını yandex'e yüklemek robots.txt ile yandex botlarının ne zaman tarama yapmasını istediğinizi belirlemek. Bu belirlemeyi ise eğer sunucunuz çok iyi değil ise ayda bir yapın son olarakda yandex metrica mutlaka kurun.

Konu altına yazılan mesaj ve sorunlara göre içeriği zaman içinde düzenleyebilirim yukarıda dediğim gibi bu işlemler WHM/Cpanel içindir farklı platformlar için yaşadığınız sorunları ekran görüntüleri ile yazarsanız yardımcı olacağım.