Nasıl ölçüyoruz

Yapay zekâ yanıtları çalıştırmadan çalıştırmaya ve ülkeden ülkeye değişir. Sayılarımızı dürüst tutan kurallar bunlar.

Bir alıcı gibi sorulan gerçek yanıtlar

Takip edilen her soru kendi pazarının dilinde ve o pazarın konumundan, her motorun kendi arayüzü veya API’si üzerinden sorulur. Google AI Overviews ve AI Mode o ülkedeki arama sonuçlarından toplanır.

Her yanıt, atıflarıyla ve motorun arka planda yaptığı aramalarla birlikte arşivlenir; böylece her anılma geldiği yanıta kadar izlenebilir.

Her planda her soru ana motorlarda en az haftada bir sorulur. Claude ve Grok'ta cevap başı maliyet kat kat yüksek olduğu için örnekleme yapılır: planın kalan kapasitesiyle soruları sırayla sorarlar.

Anılmalar, pozisyonlar ve atıflar

Markanızı ve rakiplerinizi, başka alfabelerdeki yazımları da dahil olmak üzere yanıt metninde eşleştiririz. Görünürlük bir markayı anan yanıtların payı; ses payı, takip edilen tüm anılmalardaki payı; atıf oranı ise sitesine atıf yapan yanıtların payıdır.

Pozisyonlar dağılım olarak gösterilir: bir markanın ne sıklıkla ilk sırada ve ne sıklıkla ilk üçte anıldığı. Pozisyonların ortalamasını alıp bir “AI sırası” üretmeyiz: yanıtların uzunluğu ve motorların biçimi farklıdır, bu yüzden ortalamanın anlamı yoktur.

Belirsizlik

Her oranın %95 aralığı vardır. Bir dönem için soru düzeyinde yeniden örnekleme yaparız (küme bootstrap), çünkü aynı soruya verilen yanıtlar birbirinden bağımsız değildir; tek bir gün için Wilson aralığını kullanırız.

Haftadan haftaya değişiklikler iki oran testiyle sınanır ve Benjamini-Hochberg yöntemiyle çoklu test için düzeltilir (q ≤ 0,10). Onlarca marka × motor karşılaştırmasında bazıları tesadüfen anlamlı görünür; düzeltme bunları uyarılarınızın dışında tutar.

Dil kayması

Motorlar yerel bir soruyu çoğu zaman İngilizce araştırır. Her arka plan aramasının dilini ve atıf yapılan her kaynağın ülkesini kaydederiz; böylece İngilizce olmayan bir pazarda yanıtları İngilizce sayfaların belirlediğini görebilirsiniz.

İddia etmediklerimiz

llms.txt veya schema işaretlemesinin atıf sağladığını iddia etmiyoruz: buna dair bir kanıt bulmadık ve bunları hijyen olarak etiketliyoruz. Bir pitch denetimi veya ücretsiz kontrol tek bir anlık görüntüdür, soru ve motor başına bir yanıt; eğilimler sürekli takip gerektirir.