TIPS & TUTORIALS

Program Çıktısının Sürekli Bir Değişken Olduğu Durumlarda Basit Deneysel Desenlerde Güç Analizinin Gerçekleştirilmesi (2020.03.01)

Bulus (2021) - Basit Deneysel Desenlerde Guc Analizi.pdf

Bulus, M. (2021). Sample size determination and optimal design of randomized/non-equivalent pretest-posttest control-group designs. Adiyaman Univesity Journal of Educational Sciences, 11(1), 48-69. https://doi.org/10.17984/adyuebd.941434

Bazen bir programın/aktivitenin/müdahalenin işe yarayıp yaramadığını öğrenmek için nedenselliği ileri sürebileceğimiz kanıtlar elde etmek isteriz. Etkililiği nedensel bir şekilde ortaya çıkarabilecek en güvenilir araştırma desenleri deneysel çalışmalardır. En basitinde, kişiler rastgele bir şekilde deney ve kontrol grubuplarına atanırlar. Deney grubunda olanlar programdan faydalanırken, kontrol grubundan olanlarda anket, ön-test ve son-test uygulamaları haricinde bir aktitivite gerçekleştirilmez. Deney sonunda iki grup arasındaki çıktılar karşılaştırıp programın bir etki yaratıp yaratmadığı bu şekilde kontrol edilebilir.

Deneysel çalışmalardan elde edeceğimiz sonuçlarda örneklem hatasının makul düzeyde olacağını paydaşlara açıklamamız gerekir (TÜBİTAK, Sağlık Bakanlığı, Milli Eğitim Bakanlığı, vb). Bununla birlikte, deneysel çalışmaları uygulamak kısıtlı maddi kaynak ve/veya yetersiz araştırmacı işgücünden dolayı mesakatlı bir süreçtir. Bu nedenlerle deneysel desenlerin tasarım aşamasında güç analizi yapılarak en küçük gerekli örneklem büyüklüğü (EKGÖB) belirlenir. Basit deneysel çalışmalarda EKGÖB belirlenirken göz önünde bulundurulması gereken bir kaç nokta vardır:

  • Tip I hata oranı, etki yok iken etkinin bulunma olasılığı olarak tanımlanabilir ve genellikle %05 olarak alınır (alpha=.05)

  • Hipotez testi tek-mi yoksa çift-kuyruk olarak mı gerçekleştirilecek, güç analizinde genellikle çift-kuyruk alınır (two.tailed=TRUE)

  • Cohen’e göre standartlaştırılmış en küçük anlamlı etki büyüklüğü (SEKAEB), eğitimde genellikle 0.20 veya 0.25 olarak tanımlanır (es=0.25)

  • Deney grubundaki kişilerin tüm kişilere oranı, ideal olarak yarısı (p=.50)

  • Ön-test bilgisi ya da eş-değişkenler toplanacak mı, ve bunlar son-testteki varyansın % kaçını açıklar (r2=.50)

  • Ön-test ile birlikte kaç tane eş-değişken eklenecek, şimdilik sadece ön-testin kullanılacağını varsayalım (g=1)

SEKAEB ve ön-testin / eş-değişkenlerin son-testteki varyansın ne kadarını açıkladığı genellikle önceki araştırmalara dayandırılarak belirlenir. Şayet önceki araştırmalarda böyle bir bilgi mevcut değilse mevcut ampirik çalışmlaradan kestirilip kullanılabilir.

Elimizdeki bilgiler ışığında güç analizini gerçekleştirebiliriz. Basit deneysel desenlerde güç analizi yapmak için PowerUpR R paketi kullanılabilir. Bu istatistiksel paket çok düzeyli desenler için tasarlanmış olsada, basit deneysel düzenler için de bir fonksiyon içermektedir. Aşağıda bununla ilgili kodlar yer almaktadır.

Tahmini olarak 100 kişiden veri toplayacağımızı düşünüp güç analizine başlayabiliriz. Sonuç olarak elde ettiğimiz güç oranı %42’dir ve şu anlama gelir; program gerçekte etkili ise, tekrar-tekrar hipötetik örneklemler seçtiğimde bu örneklemlerin %42’sinde bu etkiyi belirleyebilirim. Şekilden de görüleceği gibi elde ettiğimiz bu değer sosyal bilimlerde genellikle kabul edilen %80 güç oranından oldukça uzakta. Şekle bakacak olursak güç eğrisinin %80’e ulaştığı yer, tahmini olarak 250 civarında kişinin olduğu duruma tekabül etmektedir. Ancak kesin sayıyı bulmak için PowerUpR paketindeki EKGÖB bulma fonksiyonunu kullanmamız gerekir. Bu da bize, %80 oranında bir güç elde etmek için 253 kişiye ihtiyacımız olduğunu gösterir. Pratikte bundan biraz daha fazla kişi seçmekte fayda var çünkü deney ya da kontrol grubu katılımcılarından bazıları deneye katılmayı rededebilir ya da deneyi yarıda bırakabilir.

> require(devtools)

> install_github("metinbulus/PowerUpR")

100 kişi ile istatistiksek gücün hesaplanması

> design <- power.ira(es=0.25, g=1, r2=.50, p=.50, n=100)

Statistical power:

---------------------------------------

0.417

---------------------------------------

Degrees of freedom: 97

Standardized standard error: 0.141

Type I error rate: 0.05

Type II error rate: 0.583

Two-tailed test: TRUE

%80 ideal güce ne kadar yakın olduğumuzu grafikten anlayabiliriz

> plot(design, ypar="power", xlim=c(50,800), locate=TRUE)

%80 ideal güç için EKGÖB hesaplanması

> mrss.ira(power=.80, es=0.25, g=1, r2=.50, p=.50)

n = 253