Skip to content Skip to sidebar Skip to footer

Google Tarama Bütçesi (Crawl Budget) Nedir? Optimizasyon Sırlarımız!

Google, Yandex ve Bing gibi arama motorları her bir web sitesi için belirli bir URL sayısında veyahut da sürede tarama yapar. Bu ayrılan süre ya da URL sayısına ise tarama bütçesi denir. Arama motorlarının bizim için ayırmış olduğu tarama bütçesi, birçok farklı faktöre göre değişiklik gösterir. Bu faktörler arasında site hızı, toplam sayfa sayısı, site boyutu gibi unsurlar yer alır. Faktörlere göre optimizasyon yaparak, daha sağlıklı dizin sonuçlarını elde edebiliriz.

Önemli Yazı Notları

  • Google botları, tarama yaparken 4 aşamalı bir süreç izler. Bu sürecin sonunda önemli sayfaları arama sonuçlarına sokar.
  • Google botları, URL’leri fark etmek için çeşitli yollar kullanır. Elinden geldiğince hızlandırmaya çalışır.
  • Tarama bütçesi, Google’ın belirli bir sürede tarayabileceği URL sayısını ifade eder.
  • Site sahipleri, önemli sayfaları taratmaya öncelik vermelidir.
  • Tarama etkinliği, Google Search Console kullanılarak takip edilebilir.

Google Örümcekleri (Tarama Botları) Nasıl Çalışır?

Google botları ya da diğer adı ile Google örümcekleri, 4 aşamadan oluşan bir süreci takip eder. Bu sürecin sonunda ise interneti tarar; keşfettiği sayfaları eğer uygun gördüyse dizine ekler. Son olarak ise kendi içlerinde sıralar.

Google botlarının çalışma süreçlerini 4 aşamada ele alabiliriz. Bu 4 aşama şu şekildedir:

  1. Keşif (Discovering)
  2. Tarama (Crawling)
  3. Dizine Ekleme (Indexing)
  4. Sıralama (Ranking)

Keşfetme Aşaması

İnternet üzerinde herkese açık bir şekilde yayınlanan URL’ler, Google botları tarafından birçok şekilde fark edilir. Bu farkındalık için birçok farklı yol bulunur. Manuel olarak Google botlarını çağırabilir, düzenli olarak kontrol edilen bir platform üzerinde paylaşım yapabilirsiniz.

Google botlarının amacı, her bir yeni URL’i en kısa sürede keşfetmektir. Bu nedenle tüm yöntemler, kendi içerisinde işe yarar. Keşif sürecini çok daha hızlı bir hâle getirmek için şunlar yapılabilir:

  • Site içi linkleme artırılır
  • Bir siteden kendi sitemize link alırız
  • Dinamik site haritaları kullanırız
  • Manuel olarak Google’a gönderim yaparız
  • Sosyal medya platformlarında paylaşım yaparız

Tarama Aşaması

Google botları, yeni bir sayfayı keşfettikten sonra onu tanımak ister. Keşif yaptığı URL’lerin her birini akılda tutar. Bu linklerin her birini belirli aralıklar ile tarar. Sitemizi güncel tutmanın önemi ise tam olarak burada devreye girer. Düzenli olarak taradığı URL’lerdeki eski ve yeni halleri inceler. Böylelikle sayfanın değerini de güncel olarak değerlendirmiş olur.

Dizine Ekleme Aşaması

Bizler için en önemli aşama, dizine eklenmektir. Eğer sitemiz ya da sayfamız, yeterince kaliteli değilse; dizine eklenmez. Bu URL’in Google tarafından keşfedilmesi bir şey ifade etmez. Çünkü dizine eklenmeyen sayfalar organik olarak trafik alamazlar.

Dizine ekleme aşamasında Google örümcekleri tarafından sayfanın tüm verileri anlamlandırılmaya çalışılır. Sayfa başlığı, meta başlık ve açıklamaları, canonical etiketler, H başlıklarımız, yapılandırılmış veriler (Structured Data) ve çok daha fazlası incelenir. Sayfanın sınıflandırılması tam olarak burada yapılır.

Anlamlı veriler, Google veri tabanında depolanır. Böylelikle listelenmek için ihtiyaç duyulan tüm veriler Google tarafından toplanmış olur.

Sıralama Aşaması

Google, daha önceki 3 aşamanın sonucunda sayfamız hakkında yeterince bilgi toplamış olur. Tüm detaylarına ve anlamına hâkim olduğu içeriği, son kez süzgeçten geçirir ve ilgili diğer rakip URL’ler ile kıyaslama yapar. Kıyaslama için yüzlerce SEO faktörü özelinde değerlendirme yapılır.

Kullanıcıların yapmış olduğu sorgulara en iyi yanıtı veren, kullanıcı deneyimi ve güvenilirlik bakımından (EEAT) en iyi sayfalar en üstte yer alacak şekilde pozisyon alır.

Tarama Bütçesi Nedir?

Tarama bütçesi, Google botlarının web sitenize geldiğinde tarama yapacağı ortalama URL sayısını belirten bir kavramdır. Google botlarının istediği formatta bir web sitesi yaratarak, önemsiz sayfalar ile vakit kaybetmeden en önemli sayfalarımızı arama motorlarına taratabiliriz. Özellikle de çok fazla sayfadan oluşan bir web sitesine sahipseniz, bu oldukça önemlidir. Böylelikle gereksiz sayfaların içerisinde önemli kelimelerimizi kaybetmemiş oluruz.

İdeal tarama bütçesi için sıklıkla kullanılan bir hesap bulunuyor. Bu hesap, her site için geçerli değildir. Ancak yine de kendi sitemizi değerlendirmemiz için kullanılabilir. Öncelikle Search Console üzerinden ilgili verileri toplamalıyız.

Google Dizini > Dizin Durumu: Dizine eklenen toplam sayfa sayımızı not edelim.

Tarama > Tarama İstatistikleri > Günlük Taranan Sayfa Sayısı: Buradan ortalama taranan sayfa sayımızı alalım.

Dizine eklenen toplam sayfa sayısını, günlük taranan sayfa sayısına bölelim. Bu bölüm işleminin ardından tahmini bir şekilde şunları size söyleyebiliriz:

Tarama Bütçesi > 10: Tarama bütçesi konusunda ciddi anlamda optimizasyona ihtiyacınız var.

10 > Tarama Bütçesi > 3: Ortalama düzeyde bir tarama bütçesi yönetimine sahipsiniz.

3 > Tarama Bütçesi: Tarama bütçesi konusunda ya çok iyi bir durumdasınız ya da oldukça az sayfaya sahip bir web siteniz var.

Arama Motorları Neden Tarama Bütçesine İhtiyaç Duyuyor?

Çoğu zaman SEO çalışması yaparken Google’ın bir şirket olduğunu unutuyoruz. Google çalışanları, her dönem sonunda şirketin kârlılığını artırmak ZORUNDA. Aksi takdirde bugün arama faktörleri çok daha farklı olurdu. Birçok kişi SEO konusunda sinirli olmazdı.

Günümüzde var olan milyarlarca sayfa ve buna her gün eklenen yenilerini taramak zorunda olan bir şirkete sahip olduğunuzu düşünürseniz, üstelik bunun için ciddi kaynak harcıyorsanız; tarama bütçesi gözünüzde çok daha önemli bir konuma gelecektir. Özetle arama motorlarının tarama bütçesine ihtiyaç duymasının en önemli sebebi doğru kaynak tüketimidir.

Tarama Bütçesini Belirleyen Faktörler Nelerdir?

http 404 Hataları

Soft 404 olarak da bilinen bu sayfalar, istemcinin istek gönderdiği ancak içerik bulunmayan sayfalar için geçerlidir. Eğer istemci içerik ile karşılaşmazsa http 404 hatası ile karşılaşırız. Çok sayıda silinen içeriğe sahip olmanız, sitenizin tarama bütçesini savurgan bir şekilde kullandığınız anlamına gelir. Bunun için 301 yönlendirmeleri kullanabilirsiniz. http 410 (Gone) durum kodları ile güncelleme yapabilirsiniz.

Hacklenmiş Sayfalarınız

Saldırıya uğramış, bir şekilde sızılmış sayfalarınız arama motorları ve kullanıcılar için berbattır. Google, dizinlerinde ve arama sonuçlarında güvenilir web sitelerini sıralamak ister. Google gözünde herhangi bir güven vermeyen bir web sayfasının kullanıcıların karşısına çıkması kabul edilemez.

Kopya İçerik Kullanımı

Site içi veyahut da dışında intihal yapmanız; her açıdan özgünlükten uzak içerikler oluşturmanız Google tarafında kötü bir izlenim oluşturur. Artık SEO açısından kopya içerik konusuna hemen herkes dikkat ediyor. Ancak site içi intihali unutuyor. Eş anlamlı kelimeler, yakın anlamlı sözcükler de site içi intihale neden olur.

  • Cilt bakım ücretleri
  • Cilt bakım fiyatları

Bu şekilde iki farklı içerik oluşturmak, Google’a aynı odak anahtar kelimede iki farklı içerik göndermek anlamına gelir. Hem standart sayfayı belirlemenize engel olur hem de tarama bütçenizi harcar.

İç Linklemeler

Tarama bütçesini optimize etmenin en iyi yollarından bir tanesi iç linkleme sayısını artırmaktır. Böylelikle Google örümceklerinin geldiğinde daha fazla sayfayı taramasını sağlayabiliriz. Ancak bunun hırsına kapılıp, tüm içerikleri iç linkleme ile doldurmak yerine kullanıcı deneyimini de göz önünde bulundurarak bir kuşla iki taş vurabilirsiniz. Belki de tam tersidir…

Zayıf ve Spam İçerikler

Kopya içerik kullanımında da değinmiş olduğumuz üzere çok fazla sayıda zayıf ve spam içerikler üretmeniz, arama motorları için olumsuz bir durumdur. Kalitesiz içerikler ile karşılaşan örümcekler, zamanla web sitenize ayırdığı tarama bütçesini azaltmak isteyecektir. Bunun çözümü için düzenli olarak kontrol yapıp, 6 ay önce yazılmış ve hâlâ sıralama alamamış içeriklerinizi silebilir; yeniden düzenleyebilirsiniz.

Web Site Hızınız

Hem kullanıcı hem de arama motoru tarafında en çok önem verilen konulardan bir tanesi web sitesi hızıdır. Yavaş açılan bir web sitesi, Google örümceklerine zaman kaybettirir. Bu nedenle sağlıklı bir kod mimarisine, hızlı çalışan bir sunucuya, optimize edilmiş açılış sayfalarına ihtiyacınız bulunuyor.

Sunucu Sağlığı

Teknik yapısı yanlış oluşturulmuş bir sunucu, sağlıklı bir şekilde web sitesi barındıramaz. Hatalı sunucular, sıklıkla http 5XX hatalarına neden olur. Böylelikle arama motorlarının tarama istekleri çoğu zaman boşa düşer. Siteniz, Google tarafından kalitesiz olarak yaftalanır. Tarama bütçesi ise giderek azalır.

Tarama Bütçesi (Crawl Budget) Nasıl Optimize Edilir?

Sayfalardaki Teknik Hataların Düzeltilmesi

Tarama bütçesini optimize etmenin en iyi yolu, site içi teknik sorunları düzeltmektir. Bu sorunları düzeltmekle ile başlamak, çalışmaların neredeyse büyük bir bölümünün başarılı bir şekilde tamamlandığını göstermektedir. Teknik hatalar kapsamında iyileştirme yapabileceğiniz konu başlıkları şunlardır:

  • 4XX hataları
  • 5XX hataları
  • Yönlendirme zincirleri
  • Site hızı sorunları
  • Site sağlık sorunları

Sitenizin Taranabilen Sayfalarını Düzenleyin

Sitenizin her bir sayfası, organik ziyaretçi almaya aday değildir. Google örümcekleri başta olmak üzere diğer arama motoru botları tarafından ziyaret edilmesine ihtiyaç duymayız. Bu tip sayfaları, “Nofollow” komutları ile veyahut da robots.txt dosyası üzerinden taranmaya kapatabilirsiniz.

Taranmasını engelleyebileceğiniz sayfalar şunlardır:

  • Filtreleme sayfaları
  • Kullanıcı sözleşmeleri
  • Müşteri sepetleri
  • Site içi arama sonuçları

Web Site Mimarisini En İyi Şekilde Kullanın

Oldukça basit bir navigasyon kullanmak, site içi sayfaların hiyerarşisini kesin olarak belirlemek; hiyerarşi basamakları arasındaki geçişi iç linkleme ile kusursuz hâle getirmek başarılı site mimarisi için yeterlidir. HTML site haritaları ve çabuk ulaşılabilen kritik sayfalar, bu noktada kurtarıcı olacaktır.

Site Hızının Artırılması

Daha öncesinde de belirttiğimiz üzere, site hızı en önemli sıralama faktörlerinden bir tanesidir. Kullanıcı deneyimini direkt olarak etkilemekle birlikte, tarama bütçesini de süre bakımından oldukça olumlu etkiler. Güncel hız sorunlarını çözmek için birçok araçtan destek alabilirsiniz.

  • WordPress siteler için eklenti kullanımı
  • Google PageSpeed
  • GTmetrix
  • LiteSpeed

Bu kavramlara göz atarak araştırmalarınıza başlayabilirsiniz.

Sunucu Hızını Maksimize Edin

Doğru sunucuyu kullanmak, site hızını yüksek oranda artırır. 5XX hatalarının sayısının azalmasına yol açar. Böylelikle çok daha sağlıklı bir site yapısı elde edilir. Hızlı yanıt süreleri sayesinde kullanıcı deneyimi ve tarama bütçesinde artış gözlemlenecektir.

Site İçi Linkleme ile Kitlenizi ve Örümcekleri Yönetin

Site içi linkleme, bizim en sevdiğimiz SEO hilelerinden bir tanesidir. İster tarama bütçesi isterseniz ise site içi otorite inşası için iç linkleme kullanın, bunu kullanıcı deneyimini de düşünerek yaptığınız takdirde oldukça başarılı bir sonuç elde edeceğinizden emin olabilirsiniz.

Kopya İçerikleri Kaldırın

Daha öncesinde de söylediğimiz gibi, kopya olarak işaretlenen içerikler; arama motorlarını rahatsız eder. Bunun için noindex etiketi kullanabilir, kopya içerikleri silebilirsiniz. Eğer site içi kopya durumundan bahsediyorsak, kopya sayısı çok fazla değilse biraz bekleyerek hangi içeriğin Google tarafından daha kaliteli olduğunu anlayabiliriz. Ardından standart kabul edilmeyen içerikleri silebilirsiniz.

Yetim Sayfaları Optimize Edin

Yetim ya da Orphan sayfalar, site içerisinde link almayan; 3 tıklamadan daha zor ulaşılabilen içerikler için kullanılır. Bu sayfalar, Google tarafından çok zor bir şekilde fark edilir. İç linkleme artışı, HTML site haritasından yardım alınması gibi optimizasyonlar sağlayarak yetim sayfa sorununu ortadan kaldırabilirsiniz.

Kod Sağlığını Gözden Geçirin

Web sitenizdeki her bir nokta ve kullanılan kod parçacığı bütüncül yaklaşımda önemlidir. Botlar içerikten anlamaz, kodlarla iletişim kurmak ister. Bizim gördüğümüz metinleri ve görselleri, 0 ve 1’ler ile tanırlar. Durum böyle iken, sade ve temiz bir kod yapısı kullanmak arama motoru örümceklerinin oldukça hoşuna gidecektir.

URL Parametreleri

URL parametreleri, site içi aramalarda veyahut da arama sonuçlarını özelleştirmede karşımıza çıkar. Her bir özellik için aynı sayfanın birden fazla kez taranmasına sebebiyet verebiliriz. Bu yüzden de parametrelerin kaynakları fazla tüketmediğinden emin olmalısınız.

Sayfalandırma ve Sonsuz Kaydırma

Web sitenizdeki içeriklerin listesini nasıl sunmayı tercih ettiğinizi tekrardan gözden geçirme zamanı geldi. Sayfalı içerikler, tarama derinliğini olumsuz etkileyebilir. Bu nedenle zaman zaman sonsuz kaydırma, gerçekten de güzel bir kurtarıcı olacaktır.

Tarama Etkinliği Nasıl Kontrol Edilir?

Tarama etkinliğini nasıl kontrol edip, mevcut durumunuzu hesaplayabileceğinizi daha öncesinde de sizler ile paylaşmıştık (Kısa süreli hafıza pekiştirmesi, yazının başına dönelim). Şimdi de adım adım bu hesaplamayı yapalım.

Öncelikle Google Search Console’a giriş yapalım. Ardından dizin oluşturma ve sayfa sayısı sekmelerine giriş yapalım.

Sayfaya tıkladığınız anda karşınıza çıkan, “Dizine Eklenen Sayfa Sayısı” verisini cebimize atalım. Biz burada 740 sayfalık bir web sitesini örnek aldık.

Ardından sırası ile “Ayarlar” ve “Tarama İstatistikleri” sekmesine geçiş yapacağız. “Raporu Aç” butonuna tıklayarak tarama istatistiklerini görüntüleyebiliriz.

Web sitemiz son üç ay içerisinde (90 Gün), 85.400 kere tarama isteği ile karşılaşmış. Basit bir ortalama hesabı ile günde ortalama 948 kere web sitemize tarama isteği gönderiliyor.

745 (Dizine eklenen sayfa sayısı) verisini, 948’e (Tarama İsteği) bölerek tarama etkinliğimizin sağlığını ölçümleyebiliriz. 1’in altında çıkan bu oran, sitemizin oldukça iyi bir durumda olduğunu gösteriyor. 3’ten büyük bir sonuç alıyorsanız, yapacak şeyler var demektir. 

FAQ

Tarama Talebi (Crawl Demand) Nedir?

Tarama talebi terimi, arama motoru botlarının web sayfalarınızı ne kadar taramak istediğini belirtmek için kullanılır. İçeriğin ne kadar popüler olduğu ve güncellik durumu talep sayısını belirlemektedir.

Crawlability Ne Demek?

Taranabilirlik (Crawlability), web sitenizin arama motoru örümcekleri tarafından ne kadar erişilebilir olduğunu ifade eden bir SEO terimidir. Çoğu zaman taranabilir web siteleri, daha iyi bir konumda yer alır.

Sitenizin Ne Kadar Başarılı Olduğunu Bizimle Kontrol Edin!

Web sitenizin SEO konusunda ne kadar başarılı olduğunu ölçümlemekte zorlanıyorsanız, bu konuda sizlere ücretsiz destek sunabiliriz. İletişim formu, yorumlar bölümü veyahut da WhatsApp destek hattımız üzerinden bizler ile iletişime geçebilirsiniz. Sizin için enfes çözümler üreteceğiz!

Yorum Yap