Cevap: evet, sorun
Bir yanıtın nasıl göründüğünü en hızlı öğrenme yolu budur ve kimse sizi bundan vazgeçirmemeli. Biz de sorarız. Ayrım şurada başlıyor: bir kez sormak bir örnektir, bir ölçüm değil.
Karşılaştırma
Bu ürünün aldığı en sert ve en haklı itiraz bu. Sayfanın işi itirazı çürütmek değil, sınırını çizmek: bir soruyu elle sormanın size ne verdiğini, neyi veremediğini ve aradaki farkın hangi ölçüme dayandığını yazmak.
Bir yanıtın nasıl göründüğünü en hızlı öğrenme yolu budur ve kimse sizi bundan vazgeçirmemeli. Biz de sorarız. Ayrım şurada başlıyor: bir kez sormak bir örnektir, bir ölçüm değil.
Elle sorduğunuzda elinizde tek bir sorunun, tek bir günün, tek bir motordaki tek bir yanıtı olur. Karşılaştıracak bir dün, bir rakip sütunu ve bir ikinci motor yoktur.
Asıl cevap yanıtın içinde değil arkasındadır: motor hangi sayfaları kaynak gösterdi, o sayfalarda siz geçiyor musunuz, ve bu soruya karşılık sizin hangi sayfanız var. Bunların hiçbiri yanıt metninde yazmaz.
Aynı soruyu aynı gün iki kez sorun: iki farklı yanıt alabilirsiniz. Markanız birinde geçer, diğerinde geçmez. Elinizdeki tek gözlemin hangisi olduğunu bilmenin bir yolu yoktur — çünkü karşılaştıracak ikinci bir gözlem yoktur.
İzlediğiniz her prompt, denetimde her motora üç kez ayrı ayrı sorulur. Denetim haftada bir çalışır (pazartesi 06:00 UTC); panodan elle de başlatabilirsiniz.
Ama asıl fark üç sayısı değil, sayının yanındaki ± değeri. Yayınlanan her oranın yanında %95 güven aralığı durur, ve o aralık üç tekrarın birbirine ne kadar benzediği ölçülerek genişletilir — aynı soruyu aynı gün üç kez sormak üç bağımsız gözlem vermez, ve bunu bağımsızmış gibi saymak size elimizdeki kanıtın desteklemediği bir kesinlik satmak olurdu. Pratik sonucu şu: %41'den %43'e çıkan bir hareket, aralık ±7 puansa haber değildir — ve bunu ancak aralığı hesaplayan biri söyleyebilir. Formülün tamamı metodoloji sayfasında.
Elle sorarken soruyu siz seçersiniz — yani müşterinizin sorduğu soruyu değil, sizin düşündüğünüz soruyu ölçersiniz. Bir markanın görünürlüğünü düşüren soru genellikle kurucusunun aklına gelmeyen sorudur.
İzlemeye aldığınız prompt kümesinin tamamı, her hafta, izlediğiniz her motorda ve her biri üç kez çalışır. Çıktı bir yanıt değil bir listedir: hangi sorularda geçiyorsunuz, hangilerinde geçmiyorsunuz. Kurulumda promptlar sizin kendi sitenizden çıkarılıp önerilir; sonrasında ekler, çıkarır, etiketlersiniz.
Ölçmediğimiz şey: hangi sorunun daha çok arandığı. Arama hacmi ayrı bir veri sağlayıcısına bağlıdır; o bağlı değilken hacim alanları boş kalır ve tahmin üretilmez. Yani prompt seçiminde size veri veririz, ama "bu soru ayda şu kadar aranıyor" cümlesini ancak gerçekten ölçebildiğimizde kurarız.
Elle sorduğunuzda yanıt sohbet penceresinde kalır ve bir sonraki soruda kaybolur. Görünürlüğünüzün düştüğünü fark ettiğinizde karşılaştıracak bir "önce" yoktur.
Toplanan her yanıt olduğu gibi saklanır — ücretli planlarda 90 ile 730 gün arasında (ücretsiz denemede 14 gün). Bu bir vaat değil, her gece koşan bir temizlik işi: süresi dolan yanıtlar gerçekten siliniyor. Trend, ölçüm yapılan günlerden kuruluyor; ölçüm yapılmayan güne sıfır yazılmaz, o gün seride hiç yer almaz — sıfır bir ölçüm sonucudur, “bakmadık” başka bir şeydir.
Bunun görünürlük grafiğindeki sınırı: noktalar eşit aralıklı diziliyor, yani iki ölçüm arasındaki boşluğun uzunluğu eksende görünmez; onu tarih etiketleri söyler. İtibar ve sıra grafiklerinde ölçülmeyen gün çizgide gerçek bir boşluk bırakır.
Bu trendin sınırı: motorlar sürüm değiştirdiğinde ölçüm de değişir. Bu gürültü bizim değil, ölçtüğümüz sistemin özelliğidir — ve tam da bu yüzden tek bir koşunun değil, aralıklı bir serinin okunması gerekir.
Yanıtta üç marka geçiyorsa "ben oradayım" demek kolay, "payım ne" demek zordur. Elle sorarken payda yoktur.
Her yanıtta hem sizin hem izlediğiniz rakiplerin anılması ayrı ayrı sayılır. Ses payı buradan çıkar: sizin anılma sayınız bölü sizin + izlediğiniz tüm rakiplerin anılma sayısı. Yanında anıldığınız yanıtlardaki ortalama sıranız durur — düşük olması iyidir. Yanıtlarda geçen ama henüz izlemediğiniz markaları da size öneririz.
Bu bir pazar payı değildir ve öyle sunulmaz: yalnızca sizin izlemeye aldığınız markalar arasındaki paydır, rakip listeniz değişirse değişir. Rakiplerin duygusu ise hiç ölçülmez ve tabloda boş kalır — değerlendirici yalnız sizin markanız için okuyor, rakip satırına "nötr" yazmak ölçmediğimiz bir şeyi iddia etmek olurdu.
Bu, elle sormanın kapatamayacağı asıl boşluk — ve ürünün var olma sebebi. Bir yanıt size rakibinizi önerir; neden önerdiğini söylemez.
Üç ölçüm birleşir:
Sonuç şu cümledir: "Bu soruda önde olan X; şu üç kaynak onu anıyor, siz bu kaynakların hiçbirinde geçmiyorsunuz; bu konudaki sayfanız /urunler/x ve bu soruyu doğrudan yanıtlamıyor." Bir öğleden sonra elle yapamayacağınız iş bu değil — her hafta, her prompt için yapamayacağınız iş bu.
Ve bu anlatıyı yapay zekâ yazmaz. "Neden birinci oldu" diye bir modele sordurmayız; cümle yalnızca ölçülmüş alanlardan (atıf kaynakları, sayfa taraması, anılma) kurulur. Sebep bilinmiyorsa "yeterli veri yok" yazar. Akıcı ve kendinden emin bir paragraf üretmek kolay olurdu; bu ürün tam olarak ona karşı satılıyor.
Bunları saymayan bir karşılaştırma sayfası dürüst değildir:
İlk denetim, izlediğiniz promptları iki motorda ve her birini üç kez çalıştırır. Sonuç bir yanıt değil, paydası görünen bir tablodur.