Diyelim ki her şeyi doğru yaptınız.
Davranış ifadelerini sahadan topladınız. Yöneticilere neye bakacaklarını anlattınız. Formu kısa tuttunuz, periyodu oturttunuz. Sistem de çalıştı. Gözlemler akmaya başladı.
Üç ay sonra elinizde bin küsur kayıt var.
Şimdi ne yapacaksınız?
Bu soruyu veri geldikten sonra sormak, bu işin en pahalı hatası. Çünkü verinin size ne söyleyeceğine, veri gelmeden karar vermeniz gerekiyordu.
30 yıldır bu sektördeyim. Onlarca kurumda gözlem programı kuruldu, formlar dolduruldu, sistemler alındı. Analiz aşamasına gelen program sayısı bir elin parmaklarını geçmez. Sebebi de teknoloji değil. Baştan sorulmayan bir soru.
Veri gelmeden yazılacak tek cümle
Programı kurmadan önce şunu yazın: bu program işe yaradıysa, üç ay sonra yöneticiler bize ne gördüklerini söyleyecek?
Cevabı somut yazacaksınız. Genel geçer cümle işe yaramaz. Bir satış programında cevap şu olabilir: itiraz karşılama, görüşmenin ortasında değil daha başında beliriyor. Uyum ağırlıklı bir rolde şu olabilir: kişisel veri sorusu görüşmenin sonunda değil, veri alınırken soruluyor.
Bu cümleyi yazmak beş dakika sürüyor. Ve analiz planınızın tamamını belirliyor.
Yazmazsanız ne olur? Veri geldikten sonra ona bakar, bir hikâye kurarsınız. O hikâye de neredeyse her zaman güzel çıkar. Kimse kötü çıkan hikâyeyi anlatmak için üç ay veri toplamaz.
Neden sonradan bakmak işe yaramıyor
Burası kaynağın atladığı ama benim en kritik gördüğüm yer.
Araştırma dünyasında bunun ölçülmüş bir adı var. Bir çalışmada hangi verinin dahil edileceği, hangi grupların karşılaştırılacağı ve ne zaman durulacağı analiz sırasında serbestçe seçilebiliyorsa, neredeyse her hipotez desteklenmiş gösterilebiliyor. Simmons ve arkadaşları bunu meşhur bir denemeyle gösterdi. Ellerindeki esneklikle, belli bir şarkıyı dinleyen insanların bir buçuk yıl gençleştiğini istatistiksel olarak anlamlı biçimde bulabildiler (Simmons, Nelson ve Simonsohn, 2011).
Bulgu saçma. Yöntem tanıdık.
Panzehir olarak yaygınlaşan uygulama, analiz planını veri toplanmadan önce yazıp kayda geçirmek (Nosek ve ark., 2018). Amaç kötü niyetli insanları yakalamak değil. İyi niyetli insanların farkında olmadan yaptığı seçimleri kısıtlamak.
Bunu kurumsal ölçüme çevirin. Elinizde bin gözlem varken tema aramaya başlarsanız, aradığınızı bulursunuz. Beklediğiniz temayı önceden yazdıysanız, veri size hayır deme şansına kavuşur.
O hayır da işin en kıymetli çıktısıdır. Programın işe yaramadığını erken öğrenmek, geç öğrenmekten ucuzdur. Çok daha ucuzdur.
Yönetici ne biçimde kaydetsin
İki uç var. İkisinin de bedeli var.
Serbest metin nüans verir. Yöneticinin gördüğünü kendi cümleleriyle yazması, sizin aklınıza hiç gelmeyeni yakalar. Karşılığında ciddi bir analiz yükü satın alırsınız. Bin serbest metni okumak, kodlamak ve gruplamak gerçek bir iştir. Kimin yapacağını baştan belirlemediyseniz, yapılmaz.
Yapılandırılmış sorular hızlıdır. Kutucuk, seçim listesi, sıklık ölçeği. Beklediğinizle geleni bir çırpıda karşılaştırırsınız. Ama sadece sorduğunuzu bulursunuz.
Sahada iş yapan ekiplerin çoğu ortada buluşuyor. Öngördüğünüz davranışlar için yapılandırılmış sorular, artı yöneticinin eklemek istediği her şey için tek bir açık uçlu alan.
Bir de süre meselesi var. Daha önce yazmıştım, yöneticiden bir şey isteyeceksek doksan saniyeye sığacak. Bu nezaket değil, veri kalitesi meselesi. Uzun form doldurulmuyor. Doldurulmuş gibi yapılıyor. İkisi arasındaki farkı yıl sonunda anlıyorsunuz, o da genelde geç oluyor.
Bin kayıttan ne çıkarılır
Analiz karmaşık olmak zorunda değil. Dört soru yeter.
- Olumlu tarafta ne öne çıkıyor?
- Olumsuz tarafta ne öne çıkıyor?
- Öngördüğünüz temalardan hangileri, hangi sıklıkla görünüyor?
- Kimsenin öngörmediği hangi tema tekrar tekrar geliyor?
Son soru en değerlisi. Ve genelde atlanan.
Tekrar eden ama kimsenin beklemediği tema, size kurumun konuşmadığı bir sorunu gösterir. Bunlar biriktiğinde elinizde daha önce bahsettiğim defter oluşur. Kurumun dert ettiği ama henüz kimsenin sahiplenmediği problemlerin listesi. Kapınızı çalmalarını beklemek yerine siz gidersiniz. Bu sektörde masaya davet edilmenin en kestirme yolu budur.
Raporlamada da sık yapılan bir hata var. Tek tek gözlemleri referans gibi sunmak. Bir mağaza müdürümüz şöyle demiş cümlesi sunumda hoş durur, bulgu değildir. Rapor edeceğiniz şey analiz sonucudur. Temalar, tekrar edenler, iyileştirme fırsatları.
Gözlem altın standart değil
Kaynak, gözlemi ölçümün altın standardı diye tanımlıyor. Burada kaynağa katılmıyorum. Sebebini geçen hafta bu blogda yazmıştım.
Yöneticinin size verdiği şey olgu değil, izlenim. Bu formattaki hatırlamanın gerçek sıklık sayımından çok, kişiye dair genel izlenimden türeyen bir yargıya yaklaştığı savunuldu (Bernardin ve Kane, 1980). Belleğe dayalı davranış puanlarının sistematik biçimde çarpıtıldığı gösterildi (Murphy ve Balzer, 1986).
Gözlem, ölçümün gerçeğe en yakın durduğu yerdir. En doğru olduğu yer değil.
Ön kayıt fikrini de olduğu gibi taşımıyorum. O uygulama kontrollü araştırma için tasarlandı. Sizin elinizdeki veri deney değil, günlük işin içinden gelen izlenimler. Buradan alacağınız şey yöntemin katılığı değil, mantığı. Beklentini önce yaz.
Bir uyarı daha. Kimsenin öngörmediği tema her zaman keşif değildir. Bazen tek bir yöneticinin takıntısıdır ve o kişi çok kayıt girdiği için sık görünür. Tekrarı kişi bazında da kontrol edin. Bunu atlayıp koca bir aksiyon planı kuran kurum gördüm.
Zincirin alt halkasını atlamayın
Gözlem tek başına durmaz. Ölçüm zincirinin altına yakın bir yerdedir ve size tek bir şey söyler. Eğitilen davranış sahada beliriyor mu?
Bu cevabı aldıktan sonra bir üst soruyu sorma hakkınız doğar. O davranış, iyileştireceğini söylediğiniz iş göstergesini gerçekten kımıldatıyor mu?
Halkalar arasındaki ilişkinin sanıldığı kadar güçlü olmadığını gösteren eski ama hâlâ geçerli bir meta-analiz var. Eğitim ölçütleri arasındaki korelasyonlar, özellikle memnuniyetle diğerleri arasında, oldukça mütevazı çıkıyor (Alliger ve ark., 1997). Üst halkadan alt halkaya doğru varsayım yürütmek riskli.
Gözlem katmanını atlarsanız davranışın orada olduğunu varsaymış olursunuz. O varsayım, yukarıdaki bütün sayıları zayıflatır.
Bizde kayıt var, analiz yok
Türkiye'de bu işin tıkandığı yeri söyleyeyim.
Gözlem toplanıyor ama analiz edilmiyor. Formlar doluyor, kayıtlar sistemde birikiyor, yıl sonunda bir dosya oluyor. Hangi tema kaç kez geldi diye kimse bakmıyor. Çünkü bakacak kişi belli değil ve bakılacak soru baştan yazılmamış.
İkinci tıkanma daha sinsi. Gözlemin doğrudan performans notuna bağlanması. Bunu da geçen hafta yazmıştım. Skoru prime bağlarsanız yönetici gözlem yapmaz, hedef tutturur. O noktadan sonra analizin de anlamı kalmaz. Çünkü elinizdeki veri sahayı değil, sistemin nasıl oynandığını gösterir.
Bunu ekranda nasıl kurduk
Kendi tarafımı da söyleyeyim. Bu yazının anlattığı ihtiyaç, son aylarda en çok kafa yorduğumuz yer oldu.
Yöneticinin haftalık ekranını, yani Ekibim'i baştan kurduk. İçinde üç şey var. Takip Radarı gecikmiş, sınavda kalmış ve hiç başlamamış kişileri önceliğe göre sıralıyor. Ekip Özeti ekibin genel durumunu tek ekranda veriyor. Her pazartesi sabahı da yöneticiye haftalık bir e-posta gidiyor, takip gerektiren kişilerle birlikte.
Üçünün derdi aynı. Yönetici veriye gitmiyor. Veri yöneticiye gidiyor.
Ölçüm tarafında Eğitim Etkinliği raporu var. Eğitimi alanlarla almayanlar arasındaki farkı gösteriyor. Zincirin alt halkasıyla üst halkasını birbirine bağladığımız yer orası.
Şunu da eklemeden geçmeyeyim, çünkü yazının konusuyla doğrudan ilgili. Ekibim ekranı eskiden 458 saniyede açılıyordu. Şimdi bir saniyenin altında. Doksan saniye kuralından bahsedip yöneticiyi yedi dakika ekran karşısında bekletemezsiniz. O ekranı hızlandırmak, üzerine yeni rapor eklemekten daha önemliydi.
Her hafta ne çıkardığımızı buradan takip edebilirsiniz: infinityelearning.com.tr/yenilikler
Kapanış
Gözlem programı kurmak zor iş. Yöneticiyi ikna etmek, davranışı tanımlamak, formu kısaltmak, periyodu oturtmak aylar alıyor.
Bütün bu emek, veri geldikten sonra ona bakıp hikâye uydurmakla heba olabilir.
Bir sonraki gözlem programınızı kurmadan önce tek bir cümle yazın. Bu program işe yaradıysa yöneticiler bize ne gördüklerini söyleyecek? O cümleyi bir yere kaydedin, üç ay sonra açın.
Verinin size hayır diyebilmesi lazım. Diyemiyorsa ölçmüyorsunuz. Kendinizi onaylıyorsunuz.