10.7 Program Değerlendirme Sürecinin Temel İşlemleri
Program Değerlendirme Sürecinin Temel İşlemleri
Uzaktan eğitimde program değerlendirme çalışmalarında sistematik bir sürece uymak gerekir. Sistematik bir sürece uyulması, değerlendirmenin, bir taraftan yapısallaştırılmasını sağlarken, diğer taraftan da daha kapsamlı hale getirilmesine yardımcı olmaktadır. Değerlendirmenin tasarlanmasından, tamamlanmasına kadar olan süreçte, birbirleriyle dinamik ilişkileri olan pekçok işlem vardır. Bu işlemlerden bazıları var ki, bunlar, değerlendirme sürecinde alınması gereken kararları yansıtırlar ve o nedenle de program değerlendirmenin temellerini oluşturan işlemler olarak nitelendirilirler. Program değerlendirmenin temelleri olabilecek işlemler şunlardır:
- Anlamın kesinleştirilmesi.
- Amacın belirlenmesi.
- Anahtar tarafların belirlenmesi.
- Olanakların ve engellerin belirlenmesi.
- Yanıt aranacak soruların belirlenmesi.
- Tasarının kesinleştirilmesi.
- Verilerin toplanması.
- Verilerin çözümlenmesi.
- Sonuçların yorumlanması ve ilgililere bildirilmesi.
Bu işlemler, değerlendirmecinin yapacağı seçimleri ve seçimlere dayalı sonuçları doğrudan etkilemektedirler. Bu nedenle, sözü edilen işlemlerin daha açık hale getirilmesi uygun olacaktır.
Anlamın Kesinleştirilmesi : Birçok değerlendirme modeli ve bu modellerin dayandığı program değerlendirme yaklaşımları vardır. Gerek program değerlendirme modellerinin, gerekse program değerlendirme yaklaşımlarının her biri farklı görüşlere dayanmaktadır. Bu farklı görüşler, program değerlendirme hakkındaki felsefe ve inançlardan kaynaklanmaktadır. Farklı zamanlarda, farklı amaçlar için, farklı değerlendirme modellerine ve yaklaşımlarına uyulabilmektedir[1]. Bu nedenle, program değerlendirmenin, değerlendirmeci ve diğer ilgililer için ne anlama geldiğinin açıkça ortaya konulması gerekir.
Değerlendirmecinin, değerlendirme anlamı hakkında kendisine uyarladığı model ya da yaklaşım, değerlendirme çalışmasının tasarlanması ve düzenlenmesinde birçok temel kararlara ilişkin soruları yanıtlamada yardımcı olmaktadır. Başka bir deyişle, değerlendirmenin ne anlama geldiğinin belirlenmesi, temel kararlara ilişkin soruların yanıtlarını şekillendirmektedir. Örneğin, “yapılan değerlendirme, programın değerinin resmi bir yargısı mıdır ya da programın çıktılarının, beklenen gibi olup olmadığının belirleyicisi midir?” ya da “programın değerini, değerlendirmeci tarafından varılan yargı mı ortaya koyar?”, sorularının yanıtlanması ne tür verilerin toplanacağını ve bu verilerin kim ya da kimler tarafından toplanacağı hakkında verilecek kararları şekillendirmektedir.
Amacın Belirlenmesi : Uzaktan eğitimde program değerlendirmede temel amacın, programın etkililiği hakkında yargıda bulunmak ve programdaki aksaklıkların programın hangi öğe ya da öğelerinden kaynaklandığını belirleyerek gerekli düzeltmelerin yapılmasına olanak sağlamak olduğu söylenebilir[2]. Bu temel amaç doğrultusunda gerçekleştirilen değerlendirme, bazen programın ilgililerinin gereksinimlerini ve koşullarını karşılamak, bazen de programın geliştirilmesine yardım etmek için yapılabilmektedir.
Değerlendirmenin başlangıcında, “niçin yapılmaktadır?” ve “kapsama alınacak olan konular, daha geniş bir konunun bir parçası mıdır? gibi sorulara yanıt aramak gerekir. Ayrıca, çalışmanın kimler tarafından istenilebileceğini ve desteklenebileceğini belirlemek de önemlidir. Değerlendirmecinin, değerlendirmeyi isteyenlerin ve destekleyenlerin çalışmadan ne beklediklerini bilmesi gerekir. Bu, değerlendirmecinin;
- değerlendirmeyle ilgili tarafları belirlemesine,
- taraflar arasındaki ilişkiyi öğrenmesine,
- çalışma düzenini etkileyebilecek belirlenmemiş konuları belirlemesine ve
- elde edilen verilerin ve bulguların kullanımına, farklı grupların açık olup olmadığını belirlemesine, yardımcı olur.
Anahtar Tarafların Belirlenmesi: Uzaktan eğitimde program değerlendirme çalışmasının başlangıcında şu soruların yanıtlanması önemlidir:
- Değerlendirme etkinliğini kim başlatır?
- Değerlendirmenin giderlerini kim karşılar?
- Değerlendirmeyi kim izler?
- Değerlendirmeci kimin için çalışır?
- Değerlendirme raporu kime verilecektir?
Ne var ki, bu soruların yanıtları her zaman açık olmamaktadır. Sözü edilen sorulara ilişkin yanıtların açık olmamasının, başlıca iki nedeni vardır.
Bunlardan birincisi, birçok değerlendirme çalışması, programı uygulayan kurum, bir bağış kurumu, bir grup ya da kişi tarafından maddi olarak desteklenebilir. Değerlendirilmeye aday program ise, farklı bir kurum, söz gelimi Milli Eğitim Bakanlığı, bir vakıf, bir şirket ya da grup tarafından uygulanıyor olabilir. Benzer şekilde, değerlendirmeyi maddi olarak destekleyenler ile değerlendirmeyi organize edenler ve değerlendirmeyi izleyenler aynı kurum ya da kişiler olmayabilir.
Bunlardan birincisi, birçok değerlendirme çalışması, programı uygulayan kurum, bir bağış kurumu, bir grup ya da kişi tarafından maddi olarak desteklenebilir. Değerlendirilmeye aday program ise, farklı bir kurum, söz gelimi Milli Eğitim Bakanlığı, bir vakıf, bir şirket ya da grup tarafından uygulanıyor olabilir. Benzer şekilde, değerlendirmeyi maddi olarak destekleyenler ile değerlendirmeyi organize edenler ve değerlendirmeyi izleyenler aynı kurum ya da kişiler olmayabilir.
İkincisi, değerlendirmeyi isteyenin, maddi destek sağlayanın ve değerlendirmeyle ilgili çıkar gruplarının güç ve yetkilerinin farklı olmasıdır. Değerlendirmeyle ilgili çıkar gruplarının istekleri değerlendirmeyi isteyenlerin isteklerinden farklı olabilir.
Değerlendirmecinin, çalışmanın başlangıcında, değerlendirmeyi isteyen, eğer varsa maddi olarak destekleyen ve çıkar gruplarından oluşan anahtar tarafları belirlemesi önemlidir. Müşteri, çalışmayı başlatan ve değerlendirmeciyi görevlendiren kişi ya da gruptur. Maddi olarak destekleyen, çalışmanın ödemesini yapan kişi ya da gruptur. Genelde program değerlendirme çalışmalarında maddi olarak destekleyen ile değerlendirmeyi isteyen aynıdır. Buna, Milli Eğitim Bakanlığının uyguladığı bir programın belli bir ücret karşılığında değerlendirmesini yaptırması ya da o programın değerlendirilmesinde ölçme araçlarını çoğaltması, ölçme araçlarını uygulaması, istatistiksel çözümlemeleri yaptırması değerlendirmenin çoğaltımı ya da basımı gibi destekleri örnek olarak verilebilir. Bazı değerlendirmelerde değerlendirmeyi isteyen ve maddi olarak destekleyen farklı olabilmektedir. Söz gelimi, maddi olarak destekleyen, bir bağış kurumu, değerlendirmeyi isteyen ise Milli Eğitim Bakanlığı olabilmektedir. Buna da, eğitim uygulamalarının niteliğini artırmak amacıyla kurulmuş bir vakfın, Milli Eğitim Bakanlığına bağlı bir kurumda uygulanan bir programın değerlendirilme giderlerini karşılaması, örnek olarak verilebilir. Burada vakıf maddi olarak destekleyen, bakanlık ise değerlendirmeyi isteyen konumundadır. Böyle durumlarda değerlendirmeyi isteyen, çoğu zaman, bağışları alıp giderleri karşılayan ve projeyi düzenleyen yönetim birimi olmaktadır. Yani değerlendirmeyi isteyen, değerlendirmeci ile birlikte çalışma kapsamını ve çalışmada yanıtları aranacak temel soruları belirlemek rolünü de üstlenebilmektedir. Değerlendirme raporunun kime verileceği açıkça belirlenmedikçe, değerlendirme raporunun son şekli, genelde, değerlendirmeyi isteyene sunulur.
Değerlendirmede, değerlendirmeye özel yarar sağlayan ve değerlendirmenin düzenlenmesinden ve/ya da sonuçlarından etkilenebileceklerine inanan taraflar da vardır. Bunlar, programın çıkar grupları olarak kabul edilebilir. Çıkar grupları arasında genelde şunlar bulunur[3].
- Programın planlayıcıları.
- Katılımcılar.
- Öğreticiler.
- Yöneticiler.
- Programın uygulanması için maddi destek sağlayan kişi ya da kurumun temsilcileri.
- Programla ilgili kurumun yetkilileri.
- Program yürütülmesine ayrılan kaynakların farklı şekilde kullanılabileceğine inananlar.
- Değerlendirmeden etkileneceklerine inananlar.
- Benzer değerlendirmeleri maddi olarak destekleme yeterliliğine sahip bağış kurumları.
Görülüyor ki, değerlendirmedeki çıkar grupları, değerlendirmeyi isteyen ve maddi olarak destekleyenlere göre çok daha fazladır.
Çıkar gruplarının belirlenmesi işleminin, değerlendirmeci tarafından gerçekleştirilmesi gerekir. Bunun belli başlı üç nedeni vardır.
Bunlardan birincisi, değerlendirmecinin, programın hizmet verdiği gruplardan, programın yararı konusundaki sorulara ne ölçüde ve nasıl yanıt aldığına dayanır. Bu grupların bilgi gereksinimi değişmektedir. Program yöneticilerinin, programı geliştirmek için bilmek isteyecekleri, anne-babaların, çocuklarının programda yer almasına izin vermeye karar verirken bilmek istediğinden (bireysel başarı, katılımın gizli maliyetleri) farklı olabilir. Çıkar gruplarının bilinmesi, değerlendirmeciye önemli yardımlar sağlar. Bu yardımlar, hangi tür verinin toplanacağının ve çalışma sonuçlarının nasıl bildirileceğinin, belirlenmesi konularında odaklaşır[4].
Bunlardan birincisi, değerlendirmecinin, programın hizmet verdiği gruplardan, programın yararı konusundaki sorulara ne ölçüde ve nasıl yanıt aldığına dayanır. Bu grupların bilgi gereksinimi değişmektedir. Program yöneticilerinin, programı geliştirmek için bilmek isteyecekleri, anne-babaların, çocuklarının programda yer almasına izin vermeye karar verirken bilmek istediğinden (bireysel başarı, katılımın gizli maliyetleri) farklı olabilir. Çıkar gruplarının bilinmesi, değerlendirmeciye önemli yardımlar sağlar. Bu yardımlar, hangi tür verinin toplanacağının ve çalışma sonuçlarının nasıl bildirileceğinin, belirlenmesi konularında odaklaşır[4].
İkincisi, çıkar grupları önemli olduğuna inandıkları ölçütlerde, uyguladıkları standartlarda ve güvendikleri ölçüm türleri konularında farklı düşünebilirler. Değerlendirmede, çıkar gruplarının gereksinimlerinin de karşılanması söz konusu olduğuna göre, onların düşünceleri arasındaki farkların anlaşılması gerekir.
Üçüncüsü, tarafların etki ve güç bakımından farklı olmalarıdır. Değerlendirmecinin, anahtar taraflar olan grupların arasında ve içinde etkin olan sosyal ve politik dinamikleri anlaması gerekir. Bu anlayış, en az politik etkiye sahip grupların gereksinimlerinin göz ardı edilmemesini sağlar[5]. Değerlendirmecinin, taraflara ait sosyal ve politik dinamikleri hatasız olarak anlaması, taraflar arası etkinliklerde değerlendirmeciye kılavuzluk eder.
Değerlendirmede, her çıkar grubu eşit derecede öneme sahip değildir. Bu nedenle, çıkar gruplarının hepsinin aynı ölçüde değerlendirme kapsamına alınması gerekmez. Kapsamda hangi çıkar grubunun daha çok yer alacağına ilişkin kararlar, değerlendirme hazırlığının başlamasıyla daha kolay verilebilir. Bu kararlarda değerlendirmecinin etkin rol alabileceği söylenebilir. Değerlendirmeci karar vermede bazı etmenlerden etkilenebilir. Bu etmenlerin başlıcaları; grupların programa yakınlığı, program çıktılarının davranışları ve sosyal adalettir.
Olanakların ve Engellerin Belirlenmesi: Müşteriler genelde, değerlendirme etkinliklerinde yer alan işlemler, bu işlemlerin ne kadar süreceği ve ne kadar maliyet getireceği konularında fazla fikre sahip değildirler. Değerlendirme çalışmasının olası maliyetini ve bitirme zamanını belirlemek, değerlendirmecinin görevleri arasında yer alır. Değerlendirmecinin kendi ülkesi dışında gerçekleştireceği program değerlendirme çalışmaları için, bunun zor olduğu söylenebilir. Çünkü, değerlendirmeci verileri toplamak için gerekli kaynakları ve zamanı, verileri çözümleme olanaklarını, yükleme ve postalama zamanını, yerel kurumlardan ve bağış kurumlarından beklenen ortaklık derecesi ve benzerlerini yeterince bilmeyebilir. Lojistik desteklerle ilgili olan bu belirsizliklerin yanı sıra, özellikle az gelişmiş ülkelerdeki değerlendirme çalışmaları için, gelişmiş ülkelerdeki değerlendirme çalışmalarında yer almayan bazı işlemler ve adımlar gerekli olabilir. Örneğin, çalışmaya ilişkin politika ve program belgelerinin o ülkenin diline çevrilmesi ve yapılan çevirilerin doğrulanması gerekebilir[6]. Ne var ki, gelişmekte olan ülkelerde bile, bu konuya gerekli özenin gösterilmediği izlenimi edinilmektedir. Buna, Türkiye ile Dünya Bankası arasında gerçekleştirilen ikraz antlaşmasına dayalı olarak 1985 yılında uygulamasına başlanmış olan Yüksek Öğretim Kurulu / Dünya Bankası Endüstriyel Eğitim Projesi kapsamında çevirisi yapılan bazı ölçme araçları örnek gösterilebilir. Bu tip projelerin değerlendirme boyutuyla ilgili ölçme araçlarının çevirilerinin doğrulanması için yeterli zaman ayrılmalıdır. Yapılan çevirilerde de, gerekli özen gösterilmelidir. Çünkü, bu çeviriler çalışmayı doğrudan etkileyebilmektedir.
Programların ve program değerlendirme çalışmalarına ilişkin belgelerinin çevrilmesi, çevirmenden kaynaklanan bazı risklere neden olabilir. Doğru olan, değerlendirmecinin değerlendireceği programın ait olduğu ülkenin dilini iyi bilmesidir. Değerlendirmeci, değerlendireceği programın ait olduğu ülkenin dilini iyi bilmezse, çeviri süreci bir filtre işlevi görebilir.
Değerlendirilecek programla ilişkili üst düzey görevliler, değerlendirmecinin dilini konuştuğunda, değerlendirmeci çevirinin gereksiz olduğuna inanabilir ve bu görevlilerle doğrudan konuşmayı yeğleyebilir. Bu durumda, değerlendirmeci, programda önemli yerleri olduğundan değil, kendisiyle en açık iletişimi kurabildikleri için belli görevlilere dayanmayı deneyebilir.
Yanıt Aranacak Soruların Belirlenmesi : Bazı değerlendirme çalışmaları, önemli soruları yanıtlamadığı için eleştirilebilir, hatta işe yaramaz kabul edilebilir ve kesinlikle karar almada kullanılamaz. Değerlendirmelerin, temel konuları ele almada, diğer bir deyişle temel sorulara yanıt bulmada başarısız olmasının dört nedeni vardır:- Hiçbir değerlendirme sorusu düşünceyi anlatacak şekilde belirtilmemiştir. Değerlendirmecinin ve/ya da değerlendirmeyi isteyenin çabalarını yansıtan değerlendirme sorularını açıkça belirtmede başarısız olunmuştur.
- Değerlendirmeci, değerlendirmeyi isteyenin karşılaştığı temel sorunları ve kararları açıklamada başarısız olmuştur ve uygun olmayan değerlendirme soruları belirlemiştir.
- Değerlendirme sürecinin başlangıcında, yanıtı aranacak sorular uygun olarak belirlenmiş, fakat zamanla, değerlendirmeyi isteyenin ilgileri ve kaygıları değişmiştir.
- Değerlendirme sonuçları, çalışmanın alanını aşan sorunlar ortaya çıkarmıştır.
Bu nedenler, değerlendirmeciyi, değerlendirmeyi isteyenin karşılaştığı önemli sorunları açık hale getirmede, değerlendirme sorularını temel taraflara üstlendirmede ve bu sorulara ortaklaşa karar vermede ve değerlendirmede yanıtlanacak soruların sınırlarını çizmede başarısızlığa sevk eder.
Tasarının Kesinleştirilmesi: Tasarı kavramı, genellikle, bir yapıtı oluşturmak için fikir, işlev ve ürün öğelerinin birleştirilip bir şekle konulması anlamında kullanılmaktadır[7]. Bu kavram, program yapma sürecinde olduğu gibi, program değerlendirme sürecinin de odağında yer almaktadır. Değerlendirme süreci tasarısı, yanıtlayıcıların seçimi ve veri toplama işlemlerine ilişkin kesin stratejiyi gösterir. Tasarının kesinleştirilmesi, değerlendirmenin düzenlenmesinde, en önemli konular arasında yer alır. Çünkü kullanılan bir değerlendirme tasarısı, büyük oranda, çalışma sonuçlarından çıkarılabilecek iddiaların yapısını ve güçlü yönlerini belirler.
Değerlendirme tasarısı, çalışmanın amaçlarını ve kurallarını ortaya koyar. Tasarının önemi, değerlendirilmekte olan programın değeri konusunda ilgili ve yeterli veri vermeyi ve daha iyi karar alınması için ilgili taraflara olanaklar sağlamayı gerçekçi bir şekilde hedeflemesi ile ölçülebilir.
Bir tasarının hazırlanmasında, araştırma ile değerlendirme arasındaki farkları akılda tutmak gerekir. Araştırma temelde; bir arama, öğrenme, bilinmeyeni bilinir yapma, karanlığa ışık tutma, kısaca bir aydınlanma sürecidir[8]. Bu süreç, değerlendirmeye çok benzemekle birlikte, değerlendirmeden farklıdır. Araştırma ile değerlendirme arasındaki iki önemli farkı Windham ve Chapman şu şekilde açıklamaktadırlar[9].
- Önemli olan programın değeri ve yararı hakkındaki fikirlerdir. Değerlendirmenin amacı, önemli görülen ölçütlere dayalı olarak, programın değerine ilişkin yargıları desteklemektedir. Değerlendirme, işlem ve etki arasındaki rastlantısal ilişkilerin ötesinde önemli ve anlamlı konuları hedefler.
- Değerlendirme sonuçlarının, genelleştirilmesi değerlendirmenin gerekli bir hedefidir. Değerlendirmeler, söz konusu programa ilişkin kesin kararları ele almak için planlanır. Sonuçları, diğer ortamlara genelleştirme çabaları, değerlendirmenin, programın uygulandığı belli bir ortamla ilişkisini içerir. Genellenebilen bulguların önemi, çalışma kapsamındaki belli değerlendirme sorularıyla değişecektir.
Bu açıklamalardan, araştırmanın köşe taşı olan genellemenin, değerlendirmede her zaman temel hedef olmadığı anlaşılmaktadır. Yine aynı açıklamalardan, program değerlendirmenin anahtar çıktısının , program hakkında verilmesi gereken kararları desteklemek olduğu, araştırmanın anahtar çıktısının ise, her zaman kararları desteklemek olmadığı anlaşılmaktadır.
Programın değerledirmeyi isteyenleri ya da maddi destek sağlayanları, programın etkileri hakkında genellenebilen iddialar aradığında, bu konuları ele almak için, değerlendirme yerine araştırma çalışmalarını tercih etmelidirler.
Değerlendirmeciye uygun olan tasarı seçenekleri, deneysel/yarı deneysel, ilişkisel, tarihsel / niteliksel olmak üzere üç grupta toplanabilir[10].
Gerçek deneysel tasarılara ilişkin değerlendirme etkinliğinde deneklerin yansız olarak dağıtılması ve bir kontrol grubunun kullanılması söz konusudur. Yarı deneysel tasarılarda ise genelde yanlı atama vardır. Aynı zamanda da kontrol grubu bulunmamaktadır[11]. Yarı deneysel tasarılar, bir deneyin koşullarını karşılamazlar. Yine de bunlar, gerçek bir deneyin yapılamayacağı ortamlar için pratik bir seçim olurlar. Yarı deneysel tasarılar ile gerçek deneyler yapılmasa da, bunlardan elde edilebilecek bulgular, neden - sonuç iddiaları için temel işlevi görebilir.
İlişkisel tasarılar, ölçülen değişkenler arasında, kapsamım uyumluluğunun belirlenmesine dayanır. İlişki, rastlantı olarak yorumlanamaz. Kavramsal bir çatıda yorumlandığında ise, programla ilgili kararlara temel olacak yararlı yapıları ortaya çıkarır. Bu tasarılar, çoğu kez, örneklemdeki kişilerin rastlantısal olarak atanması olasılığı olmadığında kullanılır. Hedef grubun katılımı, rastlantısal seçim yerine ölçütlere dayandığında ya da gönüllü olarak gerçekleştiğinde, eğitim programlarında bu duruma sıkça rastlanır.
Tarihsel/niteliksel tasarılar, anlam belirlemesini vurgular. Kuramsal ölçümden çok gelişime odaklaşır. Bununla birlikte, niteliksel veri toplama tekniklerinin, görüşmelerde olduğu gibi, yukarıda ele alınan tasarı seçeneklerinin bir dizisiyle kullanılabildiğini belirtmek gerekir.
Her tasarının güçlü ve zayıf yönleri vardır. Çalışmanın amacı, uygun bir tasarı seçilmesine temel oluşturur. Bu temelden hareketle, tasarının seçiminde, şu altı konu göz önünde bulundurulmalıdır[12]:
- Yansızlık
- İç geçerlilik
- Dış geçerlilik
- İlişkililik
- Uygunluk
- Gerçekleşebilirlik
Yansızlık, çalışma işlemlerinin uygun olarak izlenme derecesiyle ilgilidir. İç geçerlilik etkinliğin gözlenir etkilere ne ölçüde yol açtığı ile ilgilidir. Dış geçerlilik bulguların, başka ortamlara gruplara ve bireylere ne ölçüde genellenebilirliğini gösterir[13]. İlişkililik, tasarının çalışma amaçlarına uyum derecesini ve değerlendirme sorularının hedeflenen sonuçları verme derecesini gösterir. Uygunluk tasarının, sosyal ve ekonomik çevreye uyma derecesiyle ilgilidir. Gerçekleşebilirlik, önerilen değerlendirme etkinliğinin, belirlenen ortamda uygulanıp uygulanamayacağı ile ilgilidir.
Tasarının seçimi çoğunlukla; yansızlık, iç geçerlik, dış geçerlik, ilişkililik, uygunluk ve gerçekleşebilirlik arasındaki dinamik bağıntıları içerir. Bu konulardan birisinin niteliğinde olan değişme diğer konuların niteliğini de etkiler.
Verilerin Toplanması: Değerlendirme çalışmaları; veri toplama araçları ve teknikleri ile bir dizi işlemlere dayanır. Bunlar aşağıda verilmiştir:
Verilerin Toplanması: Değerlendirme çalışmaları; veri toplama araçları ve teknikleri ile bir dizi işlemlere dayanır. Bunlar aşağıda verilmiştir:
- Anketler
- Testler
- Puan katsayıları
- Q Sıralamaları
- Toplama sistemleri
- Gözlem sistemleri
- Katılımcı gözlemleri
- Görüşmeler
- Kısa öykü kayıtları
- Arşiv kayıtları
- Dolaylı ölçümler
Bu işlemler ve tekniklerle, çoğu zaman, aynı ölçütleri ele alan veriler toplanabilmektedir. Aynı şekilde, bir işlem ya da teknikle farklı ölçütlere ilişkin veriler de toplanabilmektedir. Veri toplamada geniş beceri dağarcığına sahip olan değerlendirmeciler, başarılı olarak kabul edilebilir. Verilerin toplanmasında bazı sorunlarla karşılaşılabilmektedir. Özellikle gelişmekte olan ülkelerde, veri toplama araçlarının seçimi sorun olmaktadır. Bu sorunu çözümünde ise, daha çok, birden fazla veri toplama aracı ve ölçüt işe koşulmaktadır. Bir çalışmada farklı veri toplama araçlarının ve ölçütlerinin kullanımını, diğer bir deyişle çoğul ölçümü destekleyen belli başlı dört neden vardır:
- Araçlar, ölçtükleri bir konunun belli boyutlarında farklı olabilir. Çoğul ölçümlerin kullanımı, aynı konunun farklı boyutlardan ele alınmasını sağlar.
- Araçlar, psikometrik özellikleriyle sınırlıdır. Çoğul ölçümlerin kullanılması, bir aracın geçerlilik ve güvenilirliği üzerindeki sınırlamaları azaltmaya yardımcı olur.
- Anahtar tarafların, proje konusunda önemli olduğuna inandıkları konular ve değerlendirmenin değerini yargılamada kullandıkları ölçütler farklıdır. Çoğul ölçümler, değerlendirmede hedeflenen ölçümler dizisini artırma yolu verir.
- Anahtar tarafların inandıkları veri türleri ve farklı ölçümlere verdikleri değerler farklıdır. Çoğul ölçümler, tarafların verilerin değeri konusundaki farklı inançlarına yanıt verir. Çoğul ölçüm kullanımı, farklı çıkar gruplarının, çalışma sonuçlarına daha fazla değer verme olasılığını artırır.
Değerlendirmeci, çoğul ölçüm kullanmaya karar verdiğinde, bu ölçümlerden hangilerini seçeceğini belirlemelidir. Bu seçimde ise, şu dört ölçüt, kılavuzluk eder:
- Geçerlik: Veri toplama aracının geçerliği, ölçülmesi isteneni ne derecede ölçtüğüdür. Geçerliğin değişik türleri, ölçümün belli amaçlara ulaşmada, ne kadar iyi olduğunu gösterir. Yapı geçerliği, ölçüme dayanak olan kuramların geçerliği ile, başka bir deyişle önceden kabul edilen olası neden-sonuç ilişkilerin belirlenmesi ile ilgilidir[14]-[15]. Kapsam geçerliği, ölçümün bir programın amaçlarını ne kadar iyi kapsadığına işaret eder. Ayırt etme geçerliği, değerlendirmede kullanılan ölçme aracının, diğer ölçme araçlarıyla olan ilişkilerin derecesi ile ilgilidir. Yordama geçerliği, programdaki katılımcıların ilerdeki davranışlarının önceden kestirilebilmesi amacına hizmet eder. Görünüş geçerliği ise, ölçümde kullanılan aracın gerçekten neyi ölçtüğü değil neyi ölçüyor göründüğü ile ilgilidir.
- Güvenirlik: Bir aracın güvenirliği, zaman uyumlu bir ölçümü, ne derecede verdiğidir. Güvenirlik, çelişkili yönergeler, zayıf şekilde ifade edilen sorular, ölçüm ortamındaki değişim gibi etmenlerle azalabilir. Farklı hata kaynakları, güvenirlik katsayılarını, farklı yöntemlerle belirlemeyi gerektirir. İç uyum güvenirliği, bir testteki soruların türdeşliğinin(homojenliğinin) kestirilmesidir. Diğer bir deyişle bu, bir testteki soruların aynı şeyi ne ölçüde ölçebileceğinin, olası yanıtıdır. Test-tekrar test yöntemiyle güvenirliğin belirlenmesi, zaman içinde bir ölçümün uyumunun ölçülmesidir. Paralel formlarla güvenilirliğin belirlenmesi, aynı ölçümün iki formu arasındaki ilişkiyi ortaya koyar.
- Uygunluk: Ölçme araçlarının değerlendirilecek programla ne kadar ilgili olduğunu ve ne kadar kabul edilebileceğini gösterir. Bu, hem lojistik, hem de kültürel duyarlılıkla ilgilidir. Söz gelimi, yazılı anketler genellikle okur yazar olmayan yanıtlayıcılara, okul öncesi eğitim çağındaki çocuklara uygun değildir.
- Uygulama koşulları ve zamanı: Geçerli, güvenilir ve uygun ölçme araçları, uygun zaman ve koşullarda kullanılmaya işaret eder. Daha da ötesi, verilere ilişkin puanlamaya ve puanlamaya dayalı yorumlara işaret eder. Ölçme araçlarının uygulanma zamanı ve koşulları, çalışma gereksinimlerini karşılamayacak şekilde olursa, verilerin niteliği olumsuz yönde etkilenir. Bu da, değerlendirmenin değeri konusunda kuşkulara neden olur.
Özellikle gelişmekte olan ülkelerde düzenlenen değerlendirme çalışmalarının değerine yönelik eleştiriler olabilmektedir. Bu eleştirilerin en önemlilerinden biri, elde edilen verilerin niteliğinin düşük olduğudur[16]. Verilerin niteliğinin düşük olması, belli başlı üç kaynaktan ortaya çıkar:
- Araçlar uygun olmayabilir. Veri toplama araçlarının uygun olmaması durumunda, yeni araçlar tasarlanıp geliştirilmelidir. Veri toplama araçları, zamanın kısıtlı olması ve kaynakların yetersiz olması nedeniyle, yeterli psikometrik nitelikten yoksun olarak hazırlanmış olabilir. Başka bir deyişle araçlar, iyi bir şekilde geliştirilmemiş olabilir. Veri toplama araçlarını geliştirmek ve standart hale getirebilmek için gereken zaman, değerlendirme çalışmasında göz önünde bulundurulmalıdır. Hatta bunlar, değerlendirmede bütçeleme ve planlama konusu olmalıdır.
- Raporlar ve belgeler gibi veri kaynaklarının yöresel dile ya da değerlendirmecinin diline çevrilmesi işlemlerine yeterince ilgi olmayabilir. Değerlendirme ekibince kullanılan çevirmenler, ilgili dilde çok iyi olmayabilir ya da bir dilden diğerine çevirmede teknik terminolojiyi iyi kullanamayabilir. Değerlendirmecinin, program hakkında ileri sürdüğü iddialar, yanlış anlamalardan ya da çeviri hatalarından kaynaklanıyor olabilir.
- Değerlendirmeciler, potansiyel yanıtlayıcıların kültürel duyarlılığını ve/ya da ortamın lojistik gerçeklerini anlamada başarısız olabilir ve uygun olmayan veri toplama tekniklerini kullanabilir[17].
Değerlendirmenin, tasarlanma, veri toplama araçları geliştirme ve örneklemi oluşturulma aşamalarında, değerlendirmecilerin, önemli çabaları vardır. Değerlendirmeci, bu çabalarını düşünerek, kültürel önyargıları, araçların duyarsızlığını ya da yeni verileri toplamayı göz ardı edebilir ya da elde edilen verilerin niteliğine yönelik eleştirileri ilgililere bildirmede gönülsüz olabilir. Ayrıca, değerlendirmeci, çalışmada yapılan zaman ve kaynak yatırımını göz önüne alıp, eleştirilerin “önyargı” ya da “kabullenilebilir” olduğuna karar verebilir ve bunu yaparken ne kadar önyargının kabul edilebileceğini tam olarak anlamayabilir.
Program değerlendirme için verileri toplamada karşılaşılan sorunların büyük bir bölümü, belli başlı üç kaynaktan ortaya çıkar.
Bunlardan birincisi, veri toplama alt yapısının yeterli olmayışıdır. Eğer veri toplama işlemlerinin posta aracılığıyla gerçekleşmesi gerekiyorsa ve ülkede posta sistemi iyi işlemiyorsa bu önemli bir sorundur. Benzer şekilde, verilerin telefonla toplanması gerekliyse, evreni ve örneklemi oluşturanların telefonunun olması ve telefon sisteminin iyi işlemesi gereği vardır. Veri toplama araçlarından bazılarının, örneğin anketlerin, insanların çoğunluğunun okur yazar olmadığı yerlerde sınırlı kullanımı vardır. Ayrıca programı uygulayan bazı kurumlarda, katılımcıların devam durumu ve benzeri konularda, kayıt formlarının düzenli kullanılmaması ya da kullanılmaması elde edilecek verilerin niteliğini sınırlamaktadır.
İkincisi, veri toplamada bireysel katılımı destekleyen tutumlar gelişmemiş olabilir. Yanıtlayıcılar, veri toplama araçlarını doldurmayı kabul etmeyebilir ya da görüşmelere katılmak istemeyebilir ya da katılırsa içtenlikle yanıt vermeyebilir. Yanıtlayıcılar, verilerin kendilerine karşı kullanılacağı kaygısıyla gerekli bilgileri vermeyebilir.
Üçüncüsü, kullanılan veri toplama teknikleri görelidir. Yanıtlayıcıların, belirtilmesinin uygun olmadığını düşündüğü sorulara -bir öğretmen ya da program yöneticisine ilişkin görüş ve düşünceleri yansıtan sorulara- ölçme araçlarında ve görüşmelerde yer vermiş olabilir. Ayrıca, görüşmeciler soruları yavaş ve dolaylı olarak yanıtlamak için kültürel tercihleri anlamada başarısız olabilir. Böylece görüşmeciler, tartışılan konular yeterince açıklanmadan görüşmeyi bitirir.
Bazı değerlendirme ortamlarında, verilerin niteliğine ilişkin sorunların kabul edilir bir çözümü yoktur. Seçilen veri toplama stratejileri çok iyi olsa bile, bu stratejiler belli kültürel ortamlar için uygun ve işler olmayabilir. Bu, ele alınacak değerlendirme sorularının yapısını şekillendirir. Veri toplama işlemlerine ilişkin kararlarla karşılaşan değerlendirmeciye üç ilke yön gösterir.
- Değerlendirmeciler, sonuçları destekleyen verilerin niteliği hakkında açık olmalıdır. Bütün değerlendirme raporları, verilerin niteliğine ait sınırların yeterince sergilendiği bir bölümü içermelidir.
- Belli ölçüte ilişkin veriler, belli veri toplama teknikleriyle elde edilebilir. Uluslararası ortamlardaki değerlendirmeciler aynı konuları ele almak için geniş bir dizi veri toplama tekniklerini kullanabilmelidir. Çoğul tekniklerin kullanımında uzmanlık, gelişmekte olan ülkelerde çalışan değerlendirmeciler için şarttır.
- Değerlendirmeciler, çoğul ölçümler yapabilmenin yanı sıra, bir tekniği diğeriyle değiştirme yeteneğine de sahip olmalıdır.
Verilerin Çözümlenmesi: Özellikle az gelişmiş ülkelerde, değerlendirmeciler verilerin çözümlenmesi bakımından belli başlı iki temel sorunla karşılaşırlar. Bunlardan birincisi, gelişmekte olan ülkelerde elde edilen verileri çözümlemek için gerekli yerel gücünün olmayışı, diğeri ise anahtar tarafların değerlendirme sonuçlarını anlamada, genelde, çok az eğitime ve deneyime sahip olmasıdır.
Verilerin çözümlenmesinde, gerekli gücün zayıf olmasının farklı nedenleri vardır. Örneğin, bilgisayar ya da çözümleme için gerekli olan yazılım yoktur. Ayrıca, bazı ülkelerde gerekli bilgisayara ulaşmak ulusal güvenlik nedeniyle sınırlı olabilmektedir. Bilgisayar kullanımına izin verilmeden önce birçok karmaşık etkinlikler gereklidir. Bunlara ek olarak veri girişi ve istatistiksel çözümleme konularında eğitilmiş personel yoktur. Personelin olmayışı, kendi çözümlemesini yapmak isteyen değerlendirmecileri de etkileyebilir[18].
Verilerin çözümlenmesi için kısıtlı güç, toplanabilecek ve kullanılabilecek veri türlerinin azalmasına yol açar. Hatta değerlendirme sorularını bile, sınırlayabilir. Sonuçta değerlendirme, soruların önemi dikkate alınarak tasarlanacağı halde, verilerin kolayca çözümlenmesi için, değerlendirmecinin yeteneği ön plana çıkarılarak tasarlanabilir. Ayrıca, veriler temel değerlendirme soruları konusunda toplansa bile, yararlı hale getirilemeyebilir. Bu da, sonuçların, planlama kararları üzerinde etkisi olmayacağı anlamına gelmektedir. Değerlendirmecinin değerlendirme tasarısının ilk aşamalarında verileri nasıl çözümleyeceğini dikkatli şekilde planlaması önemlidir.
Değerlendirmenin anahtar tarafları, genelde, niceliksel sonuçları anlamak bakımında yeterli eğitime ve deneyime sahip değildirler. Çoğu yerel yönetim personeli, yönetim yetenekleriyle üst sorumlu konumuna gelmiştir, fakat, yine de istatistik, ölçme ve değerlendirme, araştırma tasarısı ve araştırma konularında formal eğitimden yoksundur. Rastlantısal örneklem ve genelleme gibi kavramlar, onların bazıları için anlaşılması zor kavramlardır. Bunların çoğu için, çok değişkenli çözümleme ve ilişki gibi kavramlar ile bu kavramlar arasındaki fark kolay anlaşılır değildir. Aynı şekilde, çoğu değerlendirmeyi isteyen ve maddi destek sağlayanların da, temel çözümlemelere ilişkin kavramlar konusunda, yeterli alt yapısı yoktur.
Program değerlendirme çalışmasına ilişkin çözümleme, daha kolay anlaşılabilecek şekle sokulabilir. Buna, bir bulguyu göstermede, ilişkiler yerine frekans dağılımlarının kullanımı örnek olarak gösterilebilir. Fakat, eğitim ve kalkınmaya ilişkin daha önemli bazı sorular basit istatistiklere indirgenemez. Böyle durumlarda, aşırı basitleştirme, hiç çalışma yapılmamasının getirdiği zarardan, daha fazla zarar getirebilir.
Sonuçların Yorumu ve Raporlanması: Değerlendirme sonuçlarının raporlanmasında değerlendirmeci, hem politik hem de teknik bir dizi konuyla karşılaşır. Eğer değerlendirmeci dikkatlice düşünerek şekillendirdiği sorulara ait sonuçları anlamlı şekilde sunamazsa, uygun olarak toplanmış olan verilerin değeri kaybolur. Verilerin değerinin kaybolmasını engellemek için değerlendirmecinin, çalışmanın bu noktasında şu soruları dikkate alarak rapor hazırlaması gerekir:
- Sonuçlar, anahtar tarafların anlayacağı şekilde nasıl sunulabilir?
- Sonuçlar, anahtar taraflara nasıl ulaştırılabilir?
- Değerlendirmecinin önerileri daha kesin olarak nasıl ifade edilebilir?
- Değerlendirmecinin, çalışmanın sınırlarını sunmada sorumluluğu nedir.
- Olumsuz sonuçlar nasıl raporlanmalıdır.
- Sonuçlar yanlış yorumlandığında ya da sosyal, siyasal avantajlar için kullanıldığında değerlendirmeci hangi sorumlulukları taşır?
Sonuçların nasıl raporlanacağı, veriler toplanmadan önce belirlenmelidir. Etkili raporlama şunları gerektirir:
- Çalışma, ilgili değerlendirme soruları etrafında organize edilmelidir.
- Planlama ve sağlanan destek dikkate alınarak, çalışmanın tamamlanmasıyla ulaşılan sonuçların sunumuna ne zaman gereksinim olduğu belirlenmelidir.
- Anahtar taraflar açıkça belirlenmeli ve değerlendirmeci, değerlendirmeyi isteyen ve maddi destek sağlayan, değerlendirme raporunu kimin alacağı konusunda ve bunu diğer taraflarla paylaşmak için sorumluluğu kimin üstleneceği üzerinde anlaşmalıdır.
- Değerlendirmeci, değerlendirmenin teknik sonuçlarının, temel taraflarca anlaşılıp anlaşılamayacağını bilmelidir. Böylelikle bulgular, taraflara en uygun şekilde sunulabilir.
- Sonuçların raporlanması ve önerilerin yapılmasında değerlendirmecinin rolü açıkça anlaşılmalıdır.
[1] Kaya, Z.( 1996), “Eğitimde Program Değerlendirme Yaklaşımları” İstanbul: Marmara Üniversitesi II. Ulusal Eğitim Sempozyumu Bildirileri, 18-20 Eylül.
[2] Erden, A. M. (1995), a.g.e.
[3]
[4]
[5]
[6]
[7] Saylan, N.(1995), Eğitimde Program Tasarısı Temeller-Prensipler-Kriterler. Balıkesir: İnce Ofset.
[8] Gürkan, T.(1994), a.g.e.
[9]
[10]
[11] Balcı, A.(1995), Sosyal Bilimlerde Araştırma, Yöntem, Teknik ve İlkeler. Ankara: 72 TDFO Bilgisayar - Yayıncılık San. Tic. Ltd. Sti.
[12]
[13] Balcı, A.(1995), a.g.e.
[14] Karasar, N. (1984), Bilimsel Araştırma Yöntemi: Kavramlar, İlkeler Teknikler. Ankara: Bahçelievler PK. 33.
[15] Balcı, A.(1995), a.g.e.
[16]
[17]
[18]