İçeriğe geç
Kulak
Site sahipleri için

KulakBot

KulakBot, Kulak'ın sosyal dinleme hizmeti için birkaç Türkçe sitenin herkese açık sayfalarını okuyan tarayıcısıdır. Müşterilerimizin izlediği marka adlarının geçtiği içerikleri bulur. Kendini her istekte açıkça tanıtır, robots.txt kurallarına uyar ve siteye yük bindirmemek için yavaş çalışır.

User-Agent

KulakBot her istekte aşağıdaki User-Agent bilgisini gönderir. Tarayıcı taklidi yapmaz ve User-Agent değiştirmez.

User-Agent
Mozilla/5.0 (compatible; KulakBot/1.0; +https://kulak.shippe.rs/bot)

robots.txt dosyanda "KulakBot" adını kullanabilirsin (büyük/küçük harf fark etmez).

KulakBot'u doğrulama

User-Agent kolayca taklit edilebilir. Bir isteğin gerçekten KulakBot'tan geldiğini kriptografik imzayla doğrulayabilirsin.

Kriptografik imza (Web Bot Auth)

KulakBot, robots.txt dahil gönderdiği her isteği RFC 9421 HTTP Message Signatures standardıyla Ed25519 anahtarı üzerinden imzalar. İmza hedef alan adına (@authority) bağlıdır, en fazla 60 saniye geçerlidir ve her istekte yeni bir nonce içerir. Signature-Agent başlığı, açık anahtarlarımızın yayımlandığı dizini gösterir; dizin yanıtı da aynı anahtarlarla imzalıdır.

Anahtar dizini: https://kulak.shippe.rs/.well-known/http-message-signatures-directory

İstek başlıkları
Signature-Agent: "https://kulak.shippe.rs"
Signature-Input: sig1=("@authority" "signature-agent");created=1790000000;keyid="<keyid>";alg="ed25519";expires=1790000060;nonce="<64 bayt, base64>";tag="web-bot-auth"
Signature: sig1=:<ed25519 imzası, base64>:

Siten Cloudflare arkasındaysa doğrulamayı Cloudflare kendisi yapar; ek bir ayar gerekmez.

Neyi okur?

KulakBot yalnızca oturum açmadan herkesin görebildiği sayfaları okur. robots.txt ile kapatılan sayfalara ve aramalara istek atmaz; site kendi yayımladığı herkese açık listeler (site haritası, RSS) sunuyorsa onları kullanır. Bot doğrulaması isteyen sayfalarda doğrulamayı aşmaya çalışmaz, o sayfayı atlar. robots.txt'de "ai-input=no" beyan eden sitelerin içerikleri yapay zekâya gönderilmez.

Neyi saklar?

Bir içerik müşterimizin anahtar kelimesiyle eşleşirse yalnızca şu bilgiler saklanır:

  • Sayfada herkese açık görünen metin (entry, şikayet ya da konu açılış mesajı) ve varsa başlık
  • Yazarın herkese açık rumuzu veya görünen adı
  • İçeriğin bağlantısı (URL) ve yayın tarihi
  • Sayfada herkese açık görünen sayılar (ör. favori, görüntülenme)

Eşleşmeyen içerikler saklanmaz. Profil sayfaları, iletişim bilgileri, görseller ve giriş gerektiren içerikler toplanmaz. Veriler ilgili müşteriye sunulur ve üçüncü kişilere satılmaz.

Nasıl davranır?

  • Her istekten önce robots.txt kurallarına bakar; Crawl-delay yönergesine uyar. robots.txt en fazla 24 saat önbellekte tutulur.
  • Aynı siteye iki istek arasında siteye göre en az 2-5 saniye bekler; robots.txt'deki Crawl-delay daha uzunsa her zaman onu kullanır.
  • Aynı siteye aynı anda yalnızca tek istek gönderir. Hızı artırmak için IP adresi veya User-Agent değiştirmez, proxy kullanmaz.
  • robots.txt'deki Content-Signal beyanlarına uyar: "ai-input=no" diyen sitelerin içeriği yapay zekâya gönderilmez, yalnızca kural tabanlı sınıflandırılır. İçerikler hiçbir modeli eğitmek için kullanılmaz.
  • Bir anahtar kelime için bir turda site başına en fazla 3 sayfa okur; aynı listeyi kısa süre içinde tekrar indirmez.
  • Giriş yapmaz, çerez saklamaz, JavaScript çalıştırmaz, CAPTCHA veya bot doğrulamalarını çözmeye çalışmaz.
  • 403, 429 veya 503 yanıtı ya da bir doğrulama sayfası gördüğünde durur ve o siteye en az 30 dakika istek göndermez; tekrarlanırsa bekleme süresi 24 saate kadar uzar.

KulakBot'u engelleme

Sitenin tamamını KulakBot'a kapatmak için robots.txt dosyana şunu eklemen yeterli:

robots.txt
User-agent: KulakBot
Disallow: /

Yalnızca belirli bölümleri kapatmak istersen yolları ayrı ayrı yazabilirsin:

robots.txt
User-agent: KulakBot
Disallow: /ornek-bolum/

Değişiklik, robots.txt önbelleği yenilendiğinde, en geç 24 saat içinde geçerli olur. Daha hızlı durdurmamızı istersen bize yazman yeterli; KulakBot o siteye hemen kapatılabilir.

İletişim

KulakBot hakkında soru, şikayet veya kaldırma talebin için [email protected] adresine yazabilirsin. En geç 2 iş günü içinde yanıt veririz; siteni taramayı durdurma talepleri 24 saat içinde uygulanır. Sitenin adını ve varsa ilgili sayfa adreslerini belirtmen işimizi hızlandırır.

[email protected]

Sık sorulan sorular

  1. 01KulakBot arama motoru mu?

    Hayır. KulakBot içerikleri dizine eklemez ve herkese açık bir arama sunmaz. Yalnızca Kulak müşterilerinin izlediği marka adlarıyla eşleşen içerikleri bulur.

  2. 02KulakBot içerikleri yapay zekâ eğitmek için kullanıyor mu?

    Hayır. Toplanan içerikler hiçbir modeli eğitmek için kullanılmaz. Müşteriye kategori ve duygu etiketi göstermek için sınıflandırılır; sitesi yapay zekâ girdisini reddeden içerikler (ör. Ekşi Sözlük) yalnızca kural tabanlı yöntemle sınıflandırılır.

  3. 03Bir isteğin gerçekten KulakBot'tan geldiğini nasıl anlarım?

    User-Agent tek başına yeterli değildir. İsteğin Signature ve Signature-Input başlıklarındaki imzayı anahtar dizinimizdeki açık anahtarla doğrula (Cloudflare bunu otomatik yapar) ya da IP adresini /bot/ips.json listesiyle karşılaştır. Şüpheli bir trafik görürsen istek zamanlarını ve IP adreslerini [email protected] adresine gönder, birlikte kontrol edelim.