Googlebot terimini ne zaman duysam, aklıma internetteki bilgileri hızlıca arayıp bulan küçük ve şirin bir robot geliyor. Ancak Googlebot, Google tarafından yaratılmış; interneti tarayan ve gerekli gördüğü sayfaları dizinine ekleyen bir bilgisayar programıdır. Bu yazımızda sizlere Googlebot’u detaylı bir şekilde açıklayacağız ve neyi nasıl yaptığını net bir şekilde anlatacağız.
Googlebot Nedir?
Googlebot, web sayfalarını bağlantılar aracılığıyla tarayan bir bilgisayar programıdır. Yeni ve güncel bilgilere sahip içerikleri bulur ve tarar. Sonrasında ise hangi web sayfalarını dizine eklenmesi gerektiğine karar verir.
Tam bu noktada dizin (index) kavramı için ayrı bir parantez açmak doğru olacaktır. Bu kavram bir benzetme yapmak gerekirse, dizin için Google’ın beyni olduğunu rahatlıkla söyleyebilirim. Tüm bilgilerin ve web sayfalarının, web bağlantılarının bulunduğu yer dizindir.
Google, internetteki web sayfalarını bulmak ve içeriklerinin ne olduğunu görmek için yüzbinlerce bilgisayar kullanmaktadır. Googlebot, Google’ın web tarayıcısı veya web robotudur. Ayrıca, diğer tüm arama motorlarının da kendilerine özel tarama programları mevcuttur.
Farklı Googlebot Tipleri
Googlebot’un görevi internetteki tüm web siteleri taramaktır. Görev tanımı bu kadar zorlu olunca, kendi içinde iş bölümü yapması ise kaçınılamaz bir durum olmaktadır. Görevlerine ve etki alanlarına göre birçok Googlebot türü vardır.
İşte Googlebot türlerinden bazıları şunlardır:
- Masaüstü (Desktop) için Googlebot
- Mobil (Mobile) için Googlebot
- Video için Googlebot
- Görseller (Images) için Googlebot
- Haberler (News) için Googlebot
Googlebot Nasıl Çalışır?
Googlebot, kullanıcıların aramalarına en doğru ve en yeterli yanıtı verebilmek için Google tarafından yaratılmıştır. Bir web sitesini anlamak ve yapısını kavrayabilmek için de site haritalarını ve veri tabanlarını kullanır.
Googlebot’un yaptığı işlerden bazıları şunlardır:
- Googlebot, bir sitede yeni bir bağlantı bulduğu zaman, bu bağlantıları ziyaret edilecek sayfalar listesine ekler.
- Çalışan veya çalışmayan bağlantılarda bir değişiklik bulduğunda, Google dizinin güncellenebilmesi için bu bağlantıları listesine ekler.
- Web sayfalarının ne sıklıkla taranacağını tespit eder.
Googlebot’un web siteniz ile yeteri kadar ilgilendiğinden emin olmak için sitenizin taranabilirlik ayarlarını kontrol etmeniz gerekmektedir. Sitenizin taranma ayarları açıksa, Googlebot ve diğer arama motoru botları sitenizi sık sık kontrol ederler.
Googlebot Sitenizi Nasıl Ziyaret Eder?
Googlebot’un sitenizi ne sıklıkla ziyaret ettiğini ve sitenizde hangi sayfalar ile nasıl ilgilendiğini öğrenmek için izleyebileceğiniz bazı yollar vardır. Örneğin günlük rapor dosyalarınızı görüntüleyebilir veya Google Search Console’un tarama bölümünü kontrol edebilirsiniz. Bir sonraki başlıkta, bu kontrolü nasıl yapacağınız detaylı bir şekilde açıklıyorum.
Sitenizin tarama performansını optimize etmek için ise birçok SEO farklı SEO aracından yardım alabilirsiniz. Kibana veya Screaming Frog gibi SEO araçlarının SEO Log File Analyzer işlevini kullanabilirsiniz.
Google, farklı işlevlerdeki Googlebot’ların kullandığı IP adreslerini, bu adresler sık sık değiştiği için paylaşmayı tercih etmez. Sitenizin Googlebot tarafından ziyaret edilip edilmediğini görebilmek için ters IP araması yapabilirsiniz.
Bir diğer alternatif olarak ise robots.txt dosyası yardımınıza yetişmektedir. Googlebot’un web sitenizin farklı bölümlerini nasıl ziyaret ettiğini görüntülemek için bu dosyayı kullanabilirsiniz. Ancak bu dosyayı kontrol ederken dikkatli olmanızı öneriyorum çünkü hatalı bir işlem yapmanız durumunda Googlebot’un ziyaretlerini istemeden de olsa engelleyebilirsiniz. Bu hata, sitenizin Google dizininden çıkmasına sebep olacaktır.
Google Search Console ile Googlebot Kontrolü Nasıl Yapılır?
Google, web sitesi yürütücülerinin hayatını kolaylaştıran birçok farklı araca sahiptir. Bu araçlardan en popüleri olan Google Search Console ise, web sitenizin Googlebot tarafından taranıp taranmadığını ve taranıyor ise nasıl tarandığını öğrenmenizi sağlamaktadır.
Google Search Console ile Googlebot kontrol adımları şunlardır:
- Google Search Console’a giriş yapın.
- Ana menünün altındaki seçeneklerden “URL Denetimi” sekmesine tıklayın.
- Açılan sayfadaki arama kutucuğuna, hakkında bilgi almak istediğiniz sayfanın URL’sini yapıştırın.
- Ardından taranan sayfayı görüntüle seçeneğine tıklayın.
İşte bu kadar! Artık, Googlebot taramasını görüntüleyen web kodlarına erişim sağlayabilirsiniz. Yalnız son bir not; bu bilgilere yalnızca dizine eklenmiş, yani arama motorunda yayınlanan sayfalarınız için ulaşabilirsiniz.
Googlebot, Arama Sonucu Sıralamasına Etki Eder mi?
Googlebot ile ilgili en çok merak edilen bir diğer konu ise arama sonucu sıralamasına bir etkisi olup olmadığıdır. Bu soru ile sıklıkla karşılaşıyorum çünkü tüm web sitesi yöneticileri ortak hedefi, arama sonuçlarında yüksek bir sırada görüntülenmektir.
Kısa bir yanıt vermek gerekirse; Googlebot, bir web sitesinin Google sıralamasıyla ilgili bilgilendirilmektedir. Ancak Googlebot, sıralama sürecine direkt olarak etki etmemektedir.
Googlebot, web sayfalarını tarayarak onları konularına ve içeriklerine göre Google dizinine ekler. Ancak arama sonucu sıralaması, çok daha komplike bir hesaplamayı gerektirmektedir. Yalnız site içeriği değil; web sitesi yapısı, kullanıcı deneyimi, site hızı gibi birbirinden farklı çok sayıda faktör bu sıralamaya etki etmektedir.
Kütüphane Örneği
Googlebot, Google dizini ve sıralama kavramlarını daha net açıklayabilmek için kullanmayı çok sevdiğim bir örnekten yararlanmak istiyorum.
Bir kütüphane görevlisi, kütüphaneye gelen ziyaretçinin isteklerine cevap verebilmek için kitaplarının içeriklerinin ne olduğunu bilmelidir. Bunu yapmak için de kütüphane kataloğundan ve kitap dizininden yararlanır. Bu hikâyedeki kütüphane kataloğu Googlebot taramaları aracılığıyla oluşturulan Google dizinidir.
Örneğin kütüphaneye gidip Çağdaş Dönem Türk Mimarisi ile ilgili bir kitap istediğinizi hayal edin. Kütüphaneci, mimarlık dizinindeki çeşitli kitapları konu dizinlerine göre inceleyerek yanıt verebilmelidir. Ayrıca bu soruya yanıt verirken, en çok tercih edilen kitapların hangileri olduğu hakkında da bilgi sahibi olmalıdır. Hikâyedeki kütüphanecinin ise Google olduğunu belirtmeme gerek yok diye düşünüyorum. Bu üçlü arasındaki ilişki işte bu kadar basittir.
Web Sitesi, Googlebot için Nasıl Optimize Edilir?
Googlebot’un er ya da geç web sitenizi bulma ihtimali olsa da, bu süreci hızlandırabilmek de mümkündür. İşte, sitenizin Googlebot tarafından daha hızlı taranması için yapabileceğiniz işlemler:
- Web Sitesi Haritası Oluşturmak
- Google Search Console’u Kullanmak
- Txt Dosyasını Optimize Etmek
Site Haritası Oluşturmak
Site haritası, web sitenizdeki sayfaları, sayfa içeriklerini ve bu sayfalar arasındaki hiyerarşiyi gösteren bir kılavuzdur. Ne kadar ayrıntılı olursa, Googlebot web sitenizi o kadar kolay analiz edecek ve içeriklerinizi dizine ekleyebilecektir.
Ayrıca, Googlebot tarafından dizine eklenmesini istemediğiniz bazı sayfalarınızı da haritadan çıkarabilirsiniz. Bunu yapmak için Yoast SEO eklentisi gibi bir SEO aracını tercih edebilirsiniz.
Google Search Console’u Kullanmak
Google Search Console, Googlebot’a rapor vermenizi kolaylaştıran bir dizi yardımcı araca sahiptir. Örneğin, site haritanızı göndermenize veya sayfa taramalarındaki hataları görüntülemenize imkân tanımaktadır.
Sitenizi geliştirmek ve Googlebot başta olmak üzere tüm tarayıcılar için daha anlaşılır kılmak için elinizin altındaki tüm araçlardan yararlanabilirsiniz.
Robots.Txt Dosyasını Optimize Etmek
Googlebot’un sitenize ulaştığında okuduğu ilk dosya robots.txt dosyasıdır. Bu dosyaya, Googlebot’a vermek istediğiniz bazı talimatları girebilirsiniz.
Örneğin Googlebot’a maksimum erişim hakkı vermek istiyorsunuz diyelim:
- User – agent: *
- Disallow:
Ya da Googlebot’un tarama sırasında görselleri dikkate almamasını istiyorsunuz:
- User – agent: Googlebot-image
- Disallow: /
Bir kural değişikliği yaptıktan sonra robots.txt dosyasını kaydetmelisiniz. Ardından da bu dosyayı sunucuya yükleyebilirsiniz.