Şu araştırma bildi, bu araştırma bilemedi. Hangi araştırma tutturuyor? Son hatırlanma tarihi seçimlerin bittiği gün olan şeffaflıktan nasibini almamış kamuoyu anketleri bir süredir ülkenin ayna gibi temsili, gidişatının bir ibresi olarak kabul ediliyor. Gün geçmiyor ki yeni bir anket yayımlanmasın, “millet kelâmı” sayılıp ülke kaderi belirlenmesin. Sanki bizler bir, iki, üç, sadece birer sayıyız, hesaplanabiliriz. Anketin kâr amacı güden araştırma şirketleri tarafından oluşturulmuş bir ürün olduğu sıklıkla akla gelmiyor. Amerika’da yapılan yüzlerce kamuoyu anketinin kazanacak kişiyi doğru tahmin edemediği hele, pek söylenmiyor.

Devir sahiden de değişti, artık araştırmacılar gözde. Şu hikâye anlatma işini bile on-on beş yıl öncesine baktığımızda, seçim piyasasının borularını solo öttüren reklamcılardan daha iyi yapıyorlar. Zira sayılar onlardan yana; etkileyici yüzde işaretleri baş yardımcıları. %44,3, %9,1, %32,8, nedense asla sıfırla başlamayan küsuratlar arttıkça sayılar daha güvenilir görülüyor, gizemleri artıyor. Bir gün sonra yayımlanan ankette, yapan farklı şirket dahi olsa, %0,1’lik değişim manşet oluyor, yani elmalarla armutlar toplanıyor, siyasette bozulmaz denen ortaklıklar bozuluyor, yöntemi dahil hiçbir detayını bilmediğimiz anketler ülkeye “yol haritası” çiziyor. Yaptıkları yüzde yüz garantili bir işmiş gibi araştırmacıların iki dudağının arasına bakılıyor, iş düşünce bakılan Amerika’nın x, y, z harfli kuşakları bile yaratılıyor, hatta onlar üzerine bol kârlı piyasa türküleri yakılıyor.[1]

Doğruyu tutturan anketlerin kerametinin sayılarda değil, onu hazırlayan insanların aklında olduğunu not edip, anketin güvenilirliğini ölçmek için birkaç kolay yol önerebiliriz. Ancak yine de şunu en baştan söylemek faydalı olabilir: Kamuoyu ya da pazar araştırması yapanlar, anket hazırlayanlar, aslında kesinliği şaibeli bir işle uğraştıklarını bilirler. En güvenilir araştırma şirketinin bile bazen tam tutturamayacağını, amacın her zaman sadece gerçeğe mümkün olduğunca yaklaşmak olduğunu da. İyi araştırmacı daha çok kişisel bilgisi, deneyimi ve isabetli yorumları sayesinde parlar; bilgisayarın bir tuşuna basarak eline geçirdiği ondalık sayıları yuvarlamadan pazarladığı için değil. Bir çeşit modern kâhinlik olan bu mesleğinin tarihi dünyada uzun, bizim ülkedeyse Özal sonrası, biraz daha kısa.[2]

***

Anketlerin olmazsa olmazı istatistik öğrenciliğimde hep en sevmediğim ders oldu. Buna karşın farklı seviyelerde, dört hocadan zorunlu olarak istatistik öğrenmem gerekti. Bir kısmı epsilonlar, sigmalarla, akla gelebilecek tüm eski Yunan harflerine uğrayan teorisine gömülerek, bir kısmı sadece uygulamaya odaklanarak ama hepsi olasılık hesaplarından başlayarak sil baştan anlattılar, fark etmedi. O büyük ve küçük n’ler bir türlü anlamlı gelmedi. Katı pozitivist ilkeli ve bilimin ancak bu tür yöntemlerle ilerleyeceği iddiasındaki öğretimin altında ezilirken suçu hep kendimde buldum. Çoğu öğrenci o dersi hiç sorgulamadan kabul ediyor ve benden daha yüksek notlar alıyordu.

Yıllar sonra bir gün iki bin kişilik bir anket yapmak zorunda kalıp, sonuçlarını yine kendim analiz etmem gerektiğinde bu işin aklıma yatmamasının sebebini anladım. Bu aslında istatistiğin kendi içinde de cebelleştiği en büyük iki sorundu: güvenilirlik ve geçerlilik. Verileri birbirine bağlayan o yöntemler hep varsayıma dayanıyor, kol kırılıp hata payları yenin içinde kalıyordu. Ayrıca ihtiyacımız olan sonucu etkileyen aykırı bir verinin işlemden çıkarılması ya da farklı bir varsayıma dayandırılmasıyla manipüle edilebiliyordu. Elde edilenler, kayıplardan fazla olduğundan pozitivist bilim dünyası ve önderlik ettiği kapitalist piyasalar zaten hep bu şekilde, düşe kalka ilerliyor, hipotezi iyi olan ve bunu istatistiksel olarak punduna uyduran kazanıyordu. Sonrasında çalıştığım yöntemleri değiştirdim, sayılardan uzaklaştım ama bu süre içinde istatistik teorilerini anlamak zorunda kaldım.

***

Anketler tümüyle mi faydasız? Tabii ki hayır. Sadece yöntemlerini sorgulamamız, şeffaflık talep etmemiz gerekiyor. Anketlerden faydalanabilmek için neler yapabiliriz? Öncelikle anket yerine şirket sözcüğünü kullanabiliriz. Eğer bir siyasi partiysek ve maliyeti biz karşılıyorsak, araştırmanın her safhasına dahil olmaya çalışmak iyi bir başlangıç olabilir. Kamuoyu anketlerini medyadan takip ediyorsak da kaç kişiyle yapıldığını, o kişilerin nasıl seçildiğini ve sorulan soruları merak ederek işe başlayabiliriz. Her anket, demografik, yani yaşı, eğitimi, yaşanan yer gibi bilgileri, siyasi ya da kültürel tercihlere, değer yargılarına bağlayarak, ilişkilendirerek hazırlanmak zorundadır. Şu mu, bu mu, evet mi, hayır mı, yani bir ya da sıfıra tedavül edilebilen cevaplar bizi bir yere götürmez. Anketlerde karşılaştırmalı bir çalışma yapılıp yapılmadığını sorgulayabiliriz.

Araştırmacılar yeni gözde olsalar da makus talihleri bir türlü dönmez. Reklama, tanıtıma akıtılan bütçeler nedense onlara giden yolda hep kısılır. Bu yüzden araştırma şirketleri, satışlarını artırabilmek için, en az kişiyle en doğru sonuca ulaşmaya çalışırlar. Sıklıkla katılımcıların bin kişi olduğunu görürsünüz. Bunun ismi örneklemdir. Örneklemin en büyük iddiası tüm nüfusu temsil edeceğidir. Anket karşılaştırması mı yapmak istiyorsunuz? Bir sonraki anketin de aynı katılımcılarla yapılması şarttır ki karşılaştırma yapabilesiniz; ayrıca aynı şirket tarafından, aynı yöntemle. Peki, bu bin kişilik örneklem tüm nüfusu temsil edebilir mi? Sadece ve sadece doğru seçilmişse, doğru sorular, anketör tarafından doğru şekilde sorulmuşsa, doğru analiz edilmişse ve en önemlisi sonuçlar doğru yorumlanmışsa.

En son cümledeki her bir virgül arası için yayımlanmış yüzlerce kitap vardır; bir o kadar da anket hatalarının nasıl giderileceği üzerine. Anketlerin saydıkları insandır, insan tercihleridir. Güven duygusunun sürekli irtifa kaybettiği baskı altındaki bir toplumda herkes her soruyu doğru yanıtlamaz. Hata paylarının müsebbibi olan yanlı yanıtları ölçmek ve gidermek için, eğer şirket akıl ettiyse, tersinden sorular sorulur. Söylemeye ne hacet, o sorunun da doğru sorulması ve katılımcı tarafından doğru anlaşılması gerekir.

Anketlerin en önemli sorunu temsildir. Örneklemin sonucu bir güven aralığında değerlendirilir; “nüfusun” yüzde 98’ini temsil “edebilir” gibisinden bir sonuçla. Ancak şirketler bize duyurdukları anketlerin hangi güven aralığında ölçüldüğünü, standart sapmalarını yazmazlar, sorsak söylemezler. O örneklemin kimlerden oluştuğu, nasıl seçildikleri gibi bilgilerden, eğer araştırma bizim “siparişimiz” değilse, hayatta söz etmezler. Bu tür araştırmalarda, soruyu hazırlayan, soruyu soran, sonucu hesaplayan, sonra da bunu değerlendiren, sıklıkla farklı kişidir. Anlayacağınız kontrol ne sizde ne de araştırmanın yöneticisindedir. Araştırma sonuçlarına çok güvendiğini iddia eden bir şirket, örneklemini gizli tuttuğunu iddia edecektir ki, taklit edilmesin. Ayrıca halihazırda 80 ili ve 64 milyon seçmeni temsil ettiğine inanacağımız, tercihleri sayıya indirgeyen, o bin kişilik anketin güvenirliliği üzerinde oluşacak spekülasyonlar ortaya çıkmasın. Bilgi zaten ne kadar derinde ve gizemli görünürse o denli kıymetlidir.

Diğer yandan, bütçe düşünmeksizin oluşturulan, diyelim ki bin değil de yüz bin kişiyi kapsayan örneklemin de doğru çıkacağına dair bir kanıt yoktur. Önemli olan temsil gücü yüksek kişileri seçmektir. O hep gizemli kalan örneklem seçildi, tüm nüfus temsil edilecek diyelim. Nüfusu temsildeki ağırlığın nereye düştüğüne dair varsayımların doğru yapılmış olması gerekir. O yüz bin kişinin ne kadarının üniversite öğrencisi olacağını nüfus sayımından bilip oraya yansıtmak kolay. Ancak kaçta kaçı Erzurumlu ya da Muğlalı bir öğrenci? Örneklem ağırlığının nereye düştüğünü sıklıkla öğrenemeyiz. Bir de anketör yönlendirmesinin ortaya çıkardığı hatalar vardır ki evlere şenlik; Twitter’daki takipçilerden ya da trollerden oluşan indirgemeci, “aşağıdakilerden hangi adayı seçersiniz” temsillerine hiç girmeyelim.

Neticede, “millet kelâmı” bellenip yola çıkılan, bu varsayımlarla dolu, temsil kuvveti hakkında hiçbir bilgiye sahip olmadığımız, insan yapısı, insanı ölçmeye çalışan, insan kadar hatalı anketlerdir.

***

Yetmişlerde kâğıt kalemle bir ayda bitirildiği söylenen istatistik hesapları için artık bir tuşa basmak yeterli. Teknoloji sayesinde, her emre amade ama çalakalem doldurulduğu için hata payları oldukça yüksek online anketlerin eklenmesiyle, kapitalizmin ilerlemesindeki en önemli sorunlardan biri çözüldü: Piyasaya girme maliyeti denen engel ortadan kalktı. Dileyen araştırma şirketi açabilir ve anket pazarlayabilir; hatta araştırma yaptığını uydurabilir. Neyse ki nitelikli kamuoyu araştırması hâlâ bilgi yoğun bir alan. Hesapları bilgisayar yapar, sayıları toplar, çarpar ama o sayıları doğru yorumlayan, doğru ilişkilendiren yine insan olur. Diyeceksiniz ki sosyal medya şirketleri, bilgisayarlar her gün yüzlerce veri analiz yapıyor, yapay zekâ eğilimlerimizi belirleyecek algoritmaları üretiyor.[3] Neyse ki, makineler bizler yerine, anket cevaplayamıyor, en önemlisi oy kullanamıyor. “Ben makine değilim” ibaresini şimdilik tıklayamıyor.

Hep referans alınan Amerika’daki kamuoyu araştırmalarının geçerliliği ve güvenirliliği hakkında yapılan şu araştırmaya bir bakalım, belki bizlere bir ilham verebilir. Meğer Amerika’da da bu tür araştırmalar, ders kitaplarında tarif edilen idealden çok uzak yürütülüyormuş. Teknolojinin âlâsı var, bir web sitesi ve şişirilmesi şıpın işi bir Twitter hesabı, araştırma piyasasına girme maliyeti zaten yukarıda yazıldı.

Aynı araştırmaya göre kamuoyu anketlerinin ne denli yanılttığı Trump-Clinton çekişmesinde iyice ortaya çıkmış. 2016’da üniversite mezunu seçmenlere ait verilerin abartılı bir temsille ifade edilmesi, yani örneklemdeki ağırlık varsayımı sorunu, Hillary Clinton’ın yenilgisinde önemli bir rol oynamış. Bunun üzerine bir araştırma daha yapılmış: Kamuoyu anket sonuçlarındaki hata payının iddia edilenin en az iki misli olduğu bulunmuş.

Trump zaferinin sonucunda yapılan diğer bir araştırmaya göre bir adayın kazanacağının kesinliği ne kadar telaffuz ediliyorsa, bazı seçmenlerin o adaya oy verme oranının azaldığı ortaya çıkmış. Anketler o seçimde Amerika’da bir gerçeklik temsili ve bilgi vermeden ziyade, kamuoyunu yönlendirmede büyük rol oynamış.[4] Yazının başında değinilen sorunun cevabı özellikle ilginç: Trump-Clinton yarışı sırasında yapılan onlarca kamuoyu anketi halkın hangi adayı tercih ettiğini bilmiş ama kazanacak kişiyi doğru tahmin edememiş. Amerika’daki 2020 seçimleriyse daha fena: Biden’ın lehine sonuçlanarak, son kırk yılın en büyük hatasını yapmış.[5] Özellikle Trump yanlısı eyaletlerde, araştırmalara katılan ve katılmayı reddeden Cumhuriyetçilerin varlığı, yani yine temsil sorunu bunun önemli sebeplerinden biri.

Ekrem İmamoğlu’nun %54,2 ile kazandığı son İstanbul seçimlerine az zaman kala, araştırma şirketlerinden sadece bir tanesi sonucu bilmiş. Ancak altı ay önce adaylığın ilan edildiği tarihte, bu şirketlerin hepsine İmamoğlu’nun kazanıp kazanmayacağı sorulsaydı, alınacak cevabı, istatistik ya da sosyoloji okumamış olsak da hepimiz tahmin edebiliriz.

O zaman ne yapacağız? Bir parti lideriysek özellikle, büyük kararlar verme, “millet kelâmı”nı temsil etme niyetindeysek, kamuoyu araştırması yapan şirketin bizlerle yöntemini ve detaylı sonuçlarını paylaşmasını talep edeceğiz ve yine temkinle yaklaşacağız. İşimize gelen veriyi kullanmayacağız. Biz, sade vatandaşlarsa, önümüze sürülen her araştırmayı doğruluğu kesinmiş gibi kabul etmeyeceğiz. Gündemin ve ruh halinin ne yazık ki olağanüstü bir hızla değiştiği şu ülkede, o yüzlerce kitabın en az birkaçını okuduğunu umduğumuz araştırmacımızın ne denli iyi niyetli olursa olsun hata yapabileceğini varsayacağız. Anketlerin ve algoritmaların bizi sayıya indirgemeye çalıştığını, ancak sayılardan ibaret olmadığımızı ise hiç unutmayacağız.

[1] Taçlı Yazıcıoğlu, “Piyasanın Şu ‘Z Kuşağı’”, https://birikimdergisi.com/guncel/10198/piyasanin-su-z-kusagi

[2] Milliyetçilikten söz ederken hasbelkader pazar araştırmaları piyasamızı da anlatmak zorunda kalmıştım: https://youtu.be/aTrySVFrw6E

[3] Bu konuyu şu iki yazıda tartışmıştım: https://birikimdergisi.com/guncel/11037/tiktok-ex-machina-i;

https://birikimdergisi.com/guncel/11038/tiktok-ex-machina-ii

[4] S. Westwood, S. Wessing, I. Lelles (2018), “Projecting Confidence: How Probabilistic Horse Race Confuses and Demobilizes the Public”, https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3117054

[5] Ülke genelinde yapılan 2.858 araştırma %3,9, eyalet bazında yapılan 1.572 araştırma %4,3 hata oranlarıyla.