Küçük sitede önce doğru teşhis
Yüzlerce sayfalı her site için tarama bütçesi temel sorun değildir. Önce sitemap, indeks raporu ve sunucu erişimi kontrol edilir. Log analizi özellikle gereksiz URL üretimi, tekrarlanan 5xx, bot erişim engeli veya beklenmedik yol istekleri varsa yararlıdır. Çok istek alınması bütün sayfaların indekslendiğini göstermez.
Hangi alanlar gerekir?
Tarih, istenen yol, HTTP durumu, kullanıcı aracısı ve uygun erişim bilgisi toplanır. Dosya aralığı ile sunucunun saat dilimi kayda girer. Müşteri verisi içeren parametreler paylaşım öncesi ayıklanır. Yalnız bir CDN katmanının kaydı varsa origin sunucunun tamamını gördüğünüzü varsaymayın; log kaynağının kapsamı açıklanmalıdır.
Bot kimliğini doğrulayın
User-agent içinde Googlebot yazması gerçek Google erişimini kanıtlamaz. Resmi doğrulama yöntemleri ve IP bilgileriyle teyit gerekir. Arama botu, reklam botu ve kullanıcı isteğiyle çalışan fetcher aynı amaçla değerlendirilmez. Gerçek kimlik doğrulanmadan bot engellemek veya bütün trafiği güvenilir kabul etmek yanlış karar doğurabilir.
İstekleri işe göre gruplayın
Tercih edilen içerik, yönlendirme, eksik yol, statik dosya ve gereksiz parametreli adresler ayrı toplanır. Çok istenen fakat 404 dönen iç bağlantı varsa kaynağı düzeltin. Sayısal spam yolları gibi ilgisiz envanterin 200 ana sayfa üretmediğini sınayın. Hata yoğunluğu ile önemli içeriklere erişim birlikte değerlendirilir.
Çıktı bir eylem listesi olsun
Her bulguya URL örneği, gözlenen durum, olası kullanıcı etkisi ve doğrulama adımı ekleyin. Tarandı diye indekslendi, az tarandı diye cezalı sonucu çıkarmayın. Sunucu/URL düzenlemesinden sonra aynı log kapsamıyla karşılaştırma yapılır. Gerçek içerik ihtiyacı ve sağlıklı sunucu olmadan yalnız bot istek sayısını artırmak hedef değildir.