Rabu, 30 Juli 2014

INOVASI PEMBELAJARAN DI SD DALAM IMPLEMENTASI KURIKULUM 2013

INOVASI PEMBELAJARAN DI SD DALAM IMPLEMENTASI KURIKULUM 2013

Dalam menghadapi kurikulum 2013, para praktisi seyogianya mampu memunculkan berbagai hal yang terkait dengan pengembangan kegiatan pendidikan. Inovasi pembelajaran adalah bagian yang sangat esensial dalam kegiatan pembelajaran untuk melakukan berbagai inovasi. Hal itu dilatarbelakangi oleh fenomena kehidupan yang semakin mengkhawatirkan bila dikaji dari pandangan ilmu pendidikan. Gordon Dryden (2004: 17) mengatakan anak yang hidup di adab 21 mengalami 4 (empat) perubahan dari waktu yang kita alami dalam kehidupan selama ini. Tuntutan dan kebutuhan anak saat ini sangat jauh berbeda dengan apa yang pernah kita alami pada masa kita masih kanak-kanak.
Berdasarkan fenomena tersebut, seorang guru yang professional akan senantiasa belajar dan membenahi diri, agar senantiasa mampu mememnuhi apa yang seharusnya diberikan kepada anak didiknya pada saat melakukan kegiatan pendidikan. Pengembangan pembelajaran memerlukan inovasi/pengembangan, memerlukan kreativitas, dan memerlukan  modifikasi. Tanpa hal itu semua kita akan khawatir bahwa, mungkin proses belajar mengajar tetap berjalan tapi akan kehilangan makna bagi keberhasilan pendidikan dimasa yang akan datang. Dengan demikian melakukan inovasi pembelajaran yang disesuaikan dengan tuntutan dan perubahan iklim akademik dewasa ini adalah suatu keharusan untuk dilakukan oleh seluruh praktisi pendidikan.

A. Hal-hal yang perlu diperhatikan saat melakukan Inovasi Pembelajaran
          Ada beberapa hal yang perlu mendapat perhatian serius, pada saat seorang guru akan melakukan inovasi dalam pembelajaran. Hal-hal tersebut tentu bukan hanya sekedar cukup diingat namun akan lebih baik apabila semua hal tersebut menjadi pertimbangan yang bersifat mendasar sebelum kita melakukan kegiatan pembelajaran kepada peserta didik.
          Hal-hal yang perlu diperhatikan diantaranya adalah :
(1). Pemahaman Guru/Pendidik Tentang Kesesuaian antara apa yang akan diberikan/diajarkan  dengan perkembangan peserta didik (DAP = Developmentally Appropriate Practice)
     Prinsip kesesuaian tersebut meliputi :
    1. Kesesuaian dengan Perkembangan Siswa
    2. Kesesuaian dengan Kemampuan Siswa
    3. Kesesuaian dengan Kebutuhan Siswa
Alasan rasional yang melatarbelakangi hal tersebut adalah bahwa, anak didik dilihat dari aspek fisik maupun psikis sangat jauh berbeda dengan orang dewasa pada umumnya. Perbedaan tersebut memberikan ciri bahwa dalam ilmu pendidikan anak tidak boleh dipandang sebagai miniature dari orang dewasa. Sebagai dari aspek kematangan fisik maupun fungsi-sungsi psikisnya jelas sangat berbeda dengan orang deawasa. Oleh sebab itu bila masih ada guru yang memandang anak didik disamakan atau diukur dengan criteria orang dewasa/disamakan dengan kemampuan guru, itu adalah seatu paradigma yang keliru dan tidak manusiawi.
Berdasarkan hal tersebut diatas, prinsip kesesuaian dalam pemberian materi maupun pendekatan, yang meliputi dalam bidang perkembangan siswa, kemampuan siswa dan kebutuhan siswa adalah suatu prosedur ilmiah yang perlu dilakukan oleh seorang guru yang professional.
(2). Pemahaman Guru terhadap munculnya keanekaragaman bentuk kecerdasan diantara siswa (Multiple Intelligence)
          Howard Garnerd (2003 : 70) mengatakan bahwa tidak ada anak manusia yang bodoh, dan semua manusia dilahirkan sebagai manusia cerdas. Pernyataan tersebut memiliki tendensi positif bahwa setiap anak didik sesungguhnya memiliki potensi kecerdasan, hanya bentuk dan model kecerdasannnyalah yang berbeda antara manusia yang satu dengan yang lainnya. Paradigma ini seyogianya mengilhami para praktisi pendidikan agar memiliki pandangan yang sama pada saat menghadapi peserta didik dalam kegiatan proses belajar mengajar. Dengan pandangan seperti itu mengisyaratkan bahwa kita pada hakikatnya menhargai martabat dan potensi yang dimiliki oleh setiap peserta didik.
          Bentuk-bentuk kecerdasan yang memungkinkan dimiliki oleh manusia secara umum meliputi :
  1. Kecerdasan Bahasa
  2. Kecerdasan Logika- Matematika
  3. Kecerdasan Musik
  4. Kecerdasan Kinestetik
  5. Kecerdasan Visual-Spasial
  6. Kecerdasan Interpersonal
  7. Kecerdasan Intrapersonal
  8. Kecerdasan Naturalis
  9. Kecerdasan Spiritual
Disparitas bentuk kecerdasan tersebut bila kita hubungkan dengan tugas dan peranan guru dalam kegiatan belajar mengajar, tentu hal ini sangat erat kaitannya dengan pentingnya kita sebagai seorang guru memperhatikan pendekatan pembelajaran yang akan kita terapkan. Munculnya perbedaan potensi dan kecerdasan yang dimiliki para siswa perlu disikapi dengan  respon positif bahwa seharusnya guru mampu memberikan strategi dan pendekatan pembelajaran yang variatif, kreatif dan berorientasi pada kebermaknaan pembelajaran. Lain potensi yang dimiliki sejumlah siswa, secara logika akan lain pula strategi dan pendekatan pembelajaran yang kita harus terapkan. Hal itu cukup beralasan agar setiap potensi yang dimiliki para siswa dapat muncul dan pada gilirannya itu merupakan buah dari proses belajar mengajar yang kita lakaukan selama ini.
(3). Pembelajaran yang diciptakan harus mempertimbangkan aspek kebermanfaatan bagi siswa/peserta didik (Meaning Full)
  1. Learning to do (melakukan sesuatu)
  2. Learning to know (menambah pengetahuan)
  3. Learning to be (bagi kehidupannya)
  4. Learning to life together (hidup bersama orang lain)

(4). Memperhatikan prinsip ; Plan – Do – Review
  1. Plan : Mendidik dengan memiliki    rencana/program yang jelas dan pasti
  2. Do   : melaksanakan semua rencana/program yang telah dibuat
  3. Review : mengkaji ulang apa yang telah dilakukan
(5). Berupaya membangun motivasi belajar siswa dari dalam dirinya (Konstruktivisme),
    1. Merangsang Motivasi siswa untuk belajar mandiri
    2. Membangun pengetahuan siswa dengan upayanya sendiri
    3. Menjadi fasilitator
    4. Tidak hanya melakukan transfer of knowledge
     (6). Penerapan ITI (Integrated Thematic Instruction = Pembelajaran Tematis Terpadu)


Metode Pembelajaran Menyenangkan dalam kurikulum 2013

Metode Pembelajaran Menyenangkan dalam kurikulum 2013

Pembelajaran merupakan salah satu unsur penentu baik tidaknya lulusan yang dihasilkan oleh suatu sistem pendidikan. Ia ibarat jantung dari proses pembelajaran. Pembelajaran yang baik cenderung menghasilkan lulusan dengan hasil belajar yang baik pula. Demikian pula sebaliknya. Hasil belajar pendidikan di Indonesia masih dipandang kurang baik.  Sebagian besar siswa belum mampu menggapai potensi ideal/optimal yang dimilikinya. Oleh karena itu, perlu ada perubahan proses pembelajaran dari kebiasaan yang sudah berlangsung selama ini. 
Pembelajaran yang saat ini dikembangkan dan banyak dikenalkan ke seluruh pelosok tanah air adalah Pembelajaran Aktif, Kreatif, Efektif, dan Menyenangkan atau disingkat dengan PAKEM. Disebut demikian karena pembelajaran ini dirancang agar mengaktifkan anak, mengembangkan kreativitas sehingga efektif namun tetap menyenangkan.
Bagian  ini dimaksudkan untuk memberikan gambaran tentang apa, mengapa, dan bagaimana PAKEM tersebut, serta prosedur atau langkah-langkah yang dapat dilakukan instruktur. Dengan membaca dan mengikuti proses-proses  yang telah dirancang dalam bagian ini, para peserta diharapkan dapat mengenal apa, mengapa, dan bagaimana PAKEM tersebut, dan pada akhirnya diharapkan dapat menerapkan di kelasnya masing-masing.
Seperti telah digambarkan sebelumnya model pembelajaran merupakan bungkus atau bingkai dari penerapan suatu pendekatan, metode, dan teknik pembelajaran. Jadi,  model PAKEM merupakan bingkai dari berbagai pendekatan, metode, dan teknik pembelajaran  yang dipengaruhi oleh filsafat konstruktivisme. Seperti Contekstual Teaching and Learning (CTL), kooperatif learning, problem posing, dll. Kontruktivisme merupakan aliran filsafat pengetahuan yang menekankan bahwa pengetahuan kita merupakan hasil konstruksi kita sendiri (von Glaserfeld dalam Pannen dkk, 2001:3). Konstruktivisme sebagai aliran filsafat, banyak mempengaruhi konsep ilmu pengetahuan, teori belajar dan pembelajaran. Konstruktivisme menawarkan paradigma baru dalam dunia pembelajaran. Sebagai landasan paradigma pembelajaaran, konstruktivisme menyerukan perlunya partisipasi aktif siswa dalam proses pembelajaran, perlunya pengembagan siswa belajar mandiri, dan perlunya siswa memiliki kemampun untuk mengembangkan pengetahuannya sendiri.
Seruan tersebut memberi dampak terhadap landasan teori belajar dalam dunia pendidikan di Indonesia. Semula teori belajar dalam pendidikan Indonesia, lebih didominasi aliran psikologi behaviorisme. Akan tetapi, saat ini, para pakar pendidikan di Indonesia banyak yang menyerukan agar landasan teori belajar mengaju pada aliran konstruktivisme.
Akibatnya, oreintasi pembelajaran di kelas mengalami pergeseran. Orentasi pembelajaran bergeser dari berpusat pada guru mengajar ke pembelajaran berpusat pada siswa.
Siswa tidak lagi diposisikan bagaikan bejana kosong yang siap diisi. Dengan sikap pasrah siswa disiapkan untuk dijejali informasi oleh gurunya. Atau siswa dikondisikan sedemikian rupa untuk menerima pengatahuan dari gurunya. Siswa kini diposisikan sebagai mitra belajar guru. Guru bukan satu-satunya pusat informasi dan yang paling tahu. Guru hanya salah satu sumber belajar atau sumber informasi. Sedangkan sumber belajar yang lain bisa teman sebaya, perpustakaan, alam, laboratorium, televisi, koran dan internet.
Bagi aliran konstruktivisme, guru tidak lagi menduduki tempat sebagai pemberi ilmu. Tidak lagi sebagai satu-satunya sumber belajar. Namun guru lebih diposisikan sebagai fasiltator yang memfasilitasi siswa untuk dapat belajar dan mengkonstruksi pengetahuannya sendiri (Hudojo, 1998:5-6). Aliran ini lebih menekankan bagaimana siswa belajar bukan bagaimana guru mengajar. Sebagai fasilitator guru bertanggung jawab terhadap kegiatan pembelajaran di kelas. Diantara tanggung jawab guru dalam pembelajaran adalah menstimulasi dan memotivasi siswa. Mendiagnosis dan mengatasi kesulitan siswa serta menyediakan pengalaman untuk menumbuhkan pemahaman siswa (Suherman dkk, 2001:76).
Oleh karena itu, guru harus menyediakan dan memberikan kesempatan sebanyak mungkin kepada siswa untuk belajar secara aktif. Sedemikian rupa sehingga para siswa dapat menciptakan, membangun, mendiskusikan, membandingkan, bekerja sama, dan melakukan eksperimentasi dalam kegiatan belajarnya (Setyosari, 1997: 53). Memperhatikan uraian di atas, dapat dipahami bahwa  pembelajaran  Aktif,  Kreatif, Efektif dan Menyenangkan (PAKEM) sejalan dengan prinsip pembelajaran berparadigma konstruktivisme.

Hakekat PAKEM

PAKEM merupakan salah satu pilar dari program MBS (Menciptakan masyarakat yang peduli pendidikan anak) dan program ini merupakan program  UNESCO dengan bekerja sama dengan Depdiknas. PAKEM adalah singkatan dari Pembelajaran Aktif, Kreatif, Efektif, dan Menyenangkan.
Aktif dimaksudkan bahwa dalam proses pembelajaran guru harus menciptakan suasana sedemikian rupa  sehingga siswa aktif bertanya, mempertanyakan, dan mengemukakan gagasan. Belajar harus merupakan suatu proses aktif dari siswa dalam membangun pengetahuannya, bukan hanya proses pasif yang hanya menerima penjelasan dari guru tentang pengetahuan. Pendapat ini sejalan dengan pendapat Vigotsky bahwa  ada keterkaitan antara bahasa dan pikiran. Dengan aktif berbicara (diskusi) anak lebih mengerti konsep atau materi yang dipelajari. Pendapat yang senada juga dikemukakan oleh  Katz dan Chard bahwa anak perlu keterlibatan fisik untuk mencegah mereka dari kelelahan dan kebosanan. Siswa yang lebih banyak duduk diam akan menghambat perkembangan motorik, akademik, dan kreativitasnya.
     Oleh karena itu,  proses belajar harus melibatkan semua aspek kepribadian manusia, yaitu mulai dari aspek yang beruhubungan dengan pikiran, perasaan, bahasa tubuh, pengetahuan, sikap, dan keyakinan. Menurut Magnesen dalam Dryden bahwa dalam belajar siswa akan memperoleh 10% dari apa yang dibaca, 20% dari apa yang didengar, 30% dari apa yang dilihat, 50% dari apa yang dilihat dan didengar, 70% dari apa yang dikatakan dan 90% dari apa yang dikatakan dan dilakukan.(Dryden,2000: 100)
     Unsur kedua dari PAKEM adalah kreatif. Kreatif artinya memiliki daya cipta, memiliki  kemampuan untuk berkreasi. (Silberman, 1996: 9). Peran aktif siswa dalam proses pembelajaran akan menghasilkan generasi yang kreatif, artinya generasi yang mampu menghasilkan sesuatu untuk kepentingan dirinya dan orang lain. Kreatif juga dimaksudkan agar guru menciptakan kegiatan kegiatan belajar yang beragam sehingga memenuhi berbagai tingkat kemampuan siswa. Menurut  Semiawan daya kreatif tumbuh dalam diri seseorang dan merupakan pengalaman yang paling mendalam dan unik bagi seseorang. Untuk menimbulkan daya kreatif tersebut diperlukan suasana yang kondusif yang menggambarkan kemungkinan tumbuhnya daya tersebut.(1999 : 66). Suasana  kondusif yang dimaksud dalam PAKEM adalah uasana belajar yang memberi kesempatan kepada siswa untuk terlibat secara aktif dan memberi kesempatan pada siswa untuk dapat mengemukakan gagasan dan ide tanpa takut disalahkan oleh guru.
Adapun pembelajaran yang efektif terujud karena pembelajaran yang dilaksanakan dapat menumbuhkan daya kreatif bagi siswa sehingga dapat membekali siswa dengan berbagai kemampuan. Setelah proses pembelajaran berlangsung, kemampuan yang diperoleh siswa tidak hanya berupa pengetahuan yang bersifat verbalisme namun diharapkan berupa kemampuan  yang lebih bermakna. Artinya siswan dapat mengembangkan berbagai potensi yang ada dalam diri siswa sehingga menghasilkan kemampuan yang beragam.
Belajar yang efektif dapat dicapai dengan tindakan nyata (learning by doing) dan untuk siswa kelas rendah SD dapat dikemas  dengan bermain. Bermain dan bereksplorasi dapat membantu perkembangan otak, berbahasa, bernalar, dan bersosialisasi.
      Menyenangkan adalah suasana pembelajaran yang menyenangkan sehingga siswa memusatkan perhatiannya secara penuh pada belajar sehingga waktu curah perhatiannya tinggi. Menurut hasil penelitian, tingginya perhatian siswa terbukti dapat meningkatkan hasil belajar. Keadaan aktif dan menyenangkan tidaklah cukup jika proses pembelajaran tidak efektif yang tidak menghasilkan apa yang harus dikuasai siswa secara proses pembelajaran berlangsung, sebab siswa memiliki sejumlah tujuan pembelajaran yang harus dicapai,. Jika pembelajaran hanya aktif dan menyenagkan tetapi tidak efektif, maka pembelajaran tersebut tidak ubahnya sepertu bermain biasa. Kelas yang sunyi, anak sebagai pendengar pasif, tidak ada aktivitas konkrit membosankan dan belajar tidak efektif tidak kritis, tidak kreatif, komunikasi buruk, apatis.
Kondisi yang menyenangkan, aman, dan nyaman akan mengaktifkan bagian neo-cortex (otak berpikir) dan  mengoptimalkan proses belajar dan meningkatkan kepercayaan diri anak. Suasana kelas yang kaku, penuh beban, guru galak akan menurunkan fungsi otak menuju batang otak dan anak tidak bisa berpikir efektif, reaktif atau agresif.(Pancamegawani, 2006)
          Berdasarkan uraian di atas dapat dideskripsikan bahwa dalam pembelajaran Aktif, Kreatif, Efektif dan Menyenangkan, siswa terlibat dalam berbagai kegiatan pembelajaran yang dapat mengembangkan pemahaman dan kemampuan mereka melalui berbuat atau melakukan. Kemudian dalam PAKEM guru menggunakan berbagai alat bantu atau media dan berbagai metode. Dengan kata lain dapat dikatakan bahwa dalam PAKEM guru menggunakan multi media dan multi metode, sehingga kegiatan pembelajaran yang tecipta dapat  membangkitkan semangat siswa dan dapat mengembangkan berbagai potensi yang ada dalam diri siswa. Yang tidak kalah pentingnya adalah  PAKEM  menggunakan lingkungan sebagai sumber belajar untuk menjadikan siswan menarik, menyenangkan, dan cocok bagi siswa.
          Untuk penataan kelas dalam PAKEM guru mengatur kelas dengan memajang buku-buku dan bahan belajar yang lebih menarik dan menyediakan pojok baca. Dengan demikian siswa dapat memanfaatkan sumber belajar yang ada dalam kelas sehingga kemampuan anak dapat bekembang lebih optimal.
Dalam strategi pembelajaran  guru menerapkan cara mengajar yang lebih kooperatif dan  interaktif termasuk cara belajar kelompok. Guru mendorong siswa untuk menemukan caranya sendiri dalam pemecahan suatu masalah, untuk mengungkapkan gagasannya dan melibatkan siswa dalam menciptakan lingkungan sekolahnya.
Berdasar uraian di atas secara singkat dapat dikatakan bahwa PAKEM adalah Pembelajaran Aktif, Kreatif namun tetap Efektif dalam suasana yang   menyenangkan


Selasa, 10 Juni 2014

MODEL CIPP

Model Riset Evaluasi
Oleh
Dirgantara Wicaksono

Secara umum, pelaksanaan evaluasi program sekolah mancakup empat komponen utama, yaitu: (1) Konteks, (2) Input, (3) Proses, dan   (4)Output,. Kaufman menyebutkan beberapa model evaluasi yang sangat terkenal, antara lain: Scriven’s, Formative-Sumative Model, CIPP Model, Stake’s Countenance Model, Tyler’s Goal Attainment Model, Provus,s Discrepancy Model, Scriven’s Goal-free Model, Stake’s Responsive Model.[1]

1.      Model CIPP
Decision Oriented evaluation Model atau Model CIPP (Contex, Input, Proces, Product) adalah model evaluasi yang dikembangkan oleh Danial Stufflebeam dan kawan-kawan di Ohio State University. Evaluasi ini menitikberatkan pada penilaian program dan penyajian informasi untuk pembuatan keputusan. Keempat model evaluasi tersebut merupakan satu rangkaian yang utuh, tetapi Stufflebeam mengatakan bahwa dalam pelaksanaannya seorang evaluator tidak harus menggunakan keseluruhannya. Keunikan pada model-model tersebut adalah, pada setiap tipe evaluasi terkait pada perangkat pengambilan keputusan dan operasi sebuah program. Dalam hal lain, keempat model evaluasi Stufflebeam tersebut dapat dipadukan dengan model-model evaluasi yang dikembangkan oleh beberapa ahli-ahli lain yang sudah dianggap baku dan standar, serta telah teruji kehandalannya dalam berbagai penerapan pendidikan.
Evaluasi Model CIPP memberikan suatu format evaluasi yang komprehensif pada setiap tahapan evaluasi yaitu: (1) Konteks, (2) Input, (3) Proses, dan (4) Output.  
Ditinjau dari pelaksanaan suatu program, evaluasi dapat dibedakan menjadi empat (4) jenis, yaitu:[2] Secara rinci dijelaskan sebagai berikut:
1.      Evaluasi komponen konteks, sebagai fokus institusi, yaitu mengidentifikasi target populasi dan menilai kebutuhan. Evaluasi konteks dilaksanakan sebagai need assessment atas suatu kebutuhan, memberikan informasi bagi pengambilan keputusan dalam perencanaan suatu program yang akan dijalankan. Menurut Stufflebeam, evaluasi konteks ini adalah evaluasi yang paling mendasar, yang mempunyai misi untuk menyediakan suatu rasional/landasan untuk penentuan tujuan pendidikan, evaluasi konteks berupaya untuk memisahkan masalah dengan kebutuhan yang tidak diinginkan di dalam setting pendidikan, konteks melibatkan analisis secara konseptual yang berhubungan dengan elemen-elemen lingkungan pendidikan yang lebih deskriptif dan komparatif.[3] Menurut Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar  menyatakan bahwa Evaluasi Konteks adalah upaya untuk menggambarkan dan merinci lingkungan, kebutuhan yang tidak terpenuhi, populasi dan sampel yang dilayani, dan tujuan proyek.[4] Sejalan dengan pendapat di atas Djuju Sudjana menyatakan bahwa Evaluasi Konteks program menyajikan data tentang alasan-alasan untuk menetapkan tujuan-tujuan program dan prioritas tujuan. Evaluasi ini menjelaskan mengenai konteks lingkungan yang relevan, menggambarkan kondisi yang ada dan yang diinginkan dalam lingkungan, dan mengidentifikasi kebutuhan-kebutuhan yang belum terpenuhi dan peluang yang belum dimanfaatkan[5]. Berdasarkan uraian di atas dapat disimpulkan bahwa evaluasi konteks meliputi analisis masalah yang berhubungan dengan lingkungan program, kebutuhan yang tidak terpenuhi, populasi dan sampel yang dilayani,   mengidentifikasi kebutuhan-kebutuhan yang belum terpenuhi dan peluang yang belum dimanfaatkan yang secara khusus mempunyai pengaruh terhadap konteks masalah yang menjadi komponen program. Dapat dikatakan pula bahwa evaluasi konteks adalah evaluasi terhadap kebutuhan, yaitu memperkecil kesenjangan antara kondisi faktual dengan kondisi yang diharapkan. Tujuan utama evaluasi konteks adalah mengidentifikasi kekuatan dan kelemahan dari sasaran dan memberikan arah perbaikan.
2.      Evaluasi komponen Input, digunakan sebagai bahan pertimbangan membuat keputusan, penentuan strategi evaluasi, meliputi analisis persoalan yang berhubungan dengan bagaimana penggunaan sumber-sumber yang tersedia, alternatif-alternatif dan strategi yang harus dipertimbangkan untuk mencapai suatu program, desain prosedur untuk strategi implementasi, pembiyaan dan penjualan.[6] Evaluasi input pada program pendidikan baik pendidikan formal maupun nonformal secara menyeluruh, lebih baku, selalu berhubungan dengan peserta didik, pendidik, kurikulum, sarana prasarana dan kelengkapan administrasi. Menurut Djuju Sudjana Evaluasi masukan (input) program menyediakan data untuk menentukan bagaimana penggunaan sumber-sumber yang dapat digunakan untuk mencapai tujuan program. Hal ini berkaitan dengan relevansi, kepraktisan, pembiyaan, efektifitas yang dihendaki, dan alternatif-alternatif yang dianggap unggul[7]. Sejalan dengan pendapat di atas Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar  menyatakan bahwa Evaluasi Input adalah kemampuan awal warga belajar dan sekolah dalam menunjang PMTAS, antara lain kemampuan sekolah dalam menyediakan petugas yang tepat, pengatur menu yang andal, ahli kesehatan yang berkualitas, dan sebagainya.[8] Evaluasi input pada program Paket C sama seperti pada sekolah regular lainnya yakni, warga belajar, guru, dan tenaga kependidikan, bahan ajar, kurikulum serta sarana belajar.
3.      Evaluasi komponen Proses, digunakan dalam program sebagai data untuk mengimplementasikan keputusan, merupakan evaluasi yang dirancang dan diaplikasikan dalam proses (pelaksanaan) atau membimbing dalam implementasi kegiatan, evaluasi program juga digunakan untuk mengidentifikasi kerusakan prosedur implementasi pada tata laksana kejadian dan aktifitas. Setiap aktifitas di monitor dan di catat perubahan-perubahan yang terjadi secara jujur dan cermat. Pentingnya pencatatan aktivitas keseharian sebagai pertimbangan pengambilan keputusan untuk menentukan tindak lanjut dan penyempurnaan program. Menurut Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar  menyatakan bahwa Evaluasi Proses diarahkan pada seberapa jauh kegiatan yang dilaksanakan di dalam program sudah terlaksana sesuai dengan rencana[9]. Sedangkan menurut Djuju Sudjana Evaluasi proses menyeediakan umpan balik yang berkenaan dengan efisiensi pelaksanaan program, termasuk di dalamnya pengaruh system dan keterlaksanaannya. Evaluasi ini mendeteksi atau memprediksi kekurangan dalam rancangan prosedur kegiatan program dan pelaksanaannya, menyediakan data untuk keputusan dalam implementasi program, dan memelihara doumentasi tentang prosuder yang dilakukan. Dalam program pendidikan, evaluasi inipun menyediakan informasi terhadap jenis keputusan yang mungkin dilakukan oleh pendidik[10].
Dengan demikian, dapat disimpulkan bahwa evaluasi proses adalah pengawasan secara terus menerus pada pelaksanaan program yang sangat berguna dan menentukan kelemahan/hambatan dan kekuatan/pendukung sehingga prosedur dapat dimonitor dan diperbaiki.
4.      Evaluasi komponen Produk/Output, digunakan sebagai bahan pertimbangan menolong keputusan selanjutnya, merupakan kumpulan deskripsi dan judgement dari outcomes, hubungan dengan konteks, masukan dan proses dan kemudian diinterpretasikan harga dan jasa yang diberikan.[11] Evaluasi produk adalah evaluasi yang dilakukan dalam mengukur keberhasilan pencapaian tujuan yang telah ditetapkan, merupakan catatan pencapaian hasil dan keputusan-keputusan untuk perbaikan pelaksanaan atau aktualisasi pengukuran dikembangkan dan diadministrasikan secara cermat dan teliti. Keakuratan analisis data akan menjadi acuan dalam penarikan kesimpulan dan pengajuan saran apakah program diteruskan, dimodifikasi atau dihentikan. Evaluasi produk merupakan tahap akhir, berfungsi untuk membantu penanggungjawab program dalam mengambil keputusan. Dalam analisis hasil ini, diperlukan pembanding antara tujuan yang ditetapkan dalam rancangan dengan hasil program yang dicapai. Pada dasarnya mempertanyakan apakah sasaran yang ingin dicapai pada suatu program telah tercapai. Hasil yang dinilai berupa grafik skor tes, presentasi, data observasi, diagram data , sosiometri dan sebagainya yang masing-masing dapat ditelusuri kaitannya dengan tujuan-tujuan yang lebih rinci. Evaluasi produk/output pada penelitian evaluasi ini adalah hasil belajar warga belajar pada ujian semester (ujian sumatif) dan persentase kelulusan warga belajar dalam mengikuti Ujian Akhir Nasional. Menurut Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar menyatakan bahwa Evaluasi Produk diarahkan pada hal-hal yang menunjukkan perubahan yang terjadi pada masukan mentah. Evaluasi produk merupakan tahap akhir dari serangkaian evaluasi program.[12] Sedangkan menurut Djuju Sudjana Evaluasi Produk mengukur dan menginterpretasi pencapaian program selama pelaksanaan program pada akhir program. Evaluasi ini berkaitan dengan pengaruh utama, pengaruh sampingan, biaya, dan keunggulan program, evaluasi produk melibatkan upaya penetapan criteria, melakukan pengukuran, membandingkan ukuran keberhasilan dengan standar absolut atau relative, dan melakukan interpretasi rasional tentang hasil dan pengaruh dengan menggunakan data tentang konteks, input dan proses[13].

2.      Model Riset Evaluasi UCLA
                                                         Dalam penelitian evaluasi ini digunakan model UCLA yang merupakan hasil pengembangan Alkin ketika beliau menjabat sebagai ketua pada The Centre for the Study of Evaluation di UCLA (University of Californiain at Los Angles). Alkin mengembangkan alur evaluasi yang mirip dengan model CIPP Stufflebeam. Alkin mengemukakan lima macam evaluasi, yakni: System Assessment, Program Planning, Program Implementation, Program Improvement, Program Certification.[14]
1.      System Assessment, yang memberikan informasi tentang keadaan, kondisi atau status sebuah sistem. Menurut Jody L. Fitzpatrick, et.al. tahap evaluasi ini serupa dengan tahapan Context Evaluation dalam Evaluasi model CIPP.[15] Hal yang sama juga diutarakan oleh Blaine R. Worthen dan James R. Sanders.[16] Pada tahapan ini menjelaskan mengenai kondisi lingkungan yang relevan, menggambarkan kondisi yang ada dan yang diinginkan dalam lingkungan.[17] Tahapan evaluasi ini menggambarkan hal-hal yang perlu dipertimbangkan dalam perencanaan program.
2.      Program Planning, membantu dalam pemilihan program tertentu yang mungkin akan berhasil memenuhi kebutuhan program. Menurut Jody L. Fitzpatrick, et.al. tahap evaluasi ini serupa dengan tahapan Input Evaluation dalam Evaluasi model CIPP.[18] Hal yang sama juga diutarakan oleh Blaine R. Worthen dan James R. Sanders.[19] Tahapan evaluasi ini menyediakan data untuk menentukan bagaimana penggunaan sumber-sumber yang dapat digunakan untuk mencapai tujuan program.[20]
3.      Program Implementation, menyiapkan informasi apakah program sudah diperkenalkan kepada kelompok tertentu yang tepat seperti yang direncanakan dalam rangka mempersiapkan pelaksanaan program.
4.      Program Improvement, memberikan informasi tentang bagaimana program berfungsi, bagaimana program bekerja. Apakah menuju pencapaian tujuan, adakah hal-hal atau masalah-masalah baru yang muncul tak terduga? Menurut Jody L. Fitzpatrick, et.al. tahap evaluasi ini serupa dengan tahapan Process Evaluation dalam Evaluasi model CIPP.[21] Hal yang sama juga diutarakan oleh Blaine R. Worthen dan James R. Sanders.[22]
5.      Program Certification, yang memberi informasi tentang nilai dan kegunaan program. Evaluasi ini mengukur dan menilai pencapaian program selama pelaksanaan program dan pada akhir program. Menurut Jody L. Fitzpatrick, et.al. tahap evaluasi ini serupa dengan tahapan Product Evaluation dalam Evaluasi model CIPP.[23] Hal yang sama juga diutarakan oleh Blaine R. Worthen dan James R. Sanders.[24]

[1]  R. Kaufman & S. Thomas, Evaluations Without Fear (New York:  Viewpoints, 1980),  pp. 109-113.
[2] George F Madaus, Michael S Sriven dan Daniel L Stufflebeam, Evaluation Models,: Viewpoint on Educational and Human Services Educations (Boston: Kluwer-Nijhoff Publishing, 1983), p.128.
[3]  Popham, op.cit,. p.35.
[4] Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar, Evaluasi Program Pendidikan Pedoman Teoritis Praktis Bagi Praktisi Pendidikan (Jakarta: Bumi Aksara, 2007), p. 29.
[5] Djuju Sudjana, Evaluasi Program Pendidikan Luar Sekolah, (Bandung: Remaja   Rosdakarya, 2006), pp. 54-55.
[6]  Daniel L Stufflebeam and Antony J Shinkfield, Sistematic Evaluation, A Self Instructional Guide to Theory and Practice (Boston: Kluwer Nijhoff Publissing, 1968), pp. 169-170.
[7] Djuju Sudjana, op.cit., p. 55.
[8] Arikunto dan Abdul Jabar, op.cit., p.30.
[9] Ibid, p.30.
[10] Sudjana, op.cit., p. 56.
[11]  Mardaus, Scriven dan Stufflebeam, op.cit., pp. 177-178.
[12] Arikunto dan Abdul Jabar, op.cit., p.30.
[13] Sudjana, op.cit., p. 56.
[14] Jody L. Fitzpatrick, et.al. Op.Cit., p. 92
[15] Ibid. p. 92
[16] Blaine R. Worthen, James R. Sanders. Educational Evaluation Alternative Approaches and
   Practical Guidelines. (New York: Longman), p. 81
[17] Djuju Sudjana, Op.Cit., pp. 54-55
[18] Jody L. Fitzpatrick, et.al. Op.Cit., p. 92
[19] Blaine R. Worthen, James R. Sanders. Op.Cit., p. 81
[20] Djuju Sudjana, Op.Cit., p. 55
[21] Jody L. Fitzpatrick, et.al. Op.Cit., p. 92
[22] Blaine R. Worthen, James R. Sanders. Op.Cit., p. 81
[23] Jody L. Fitzpatrick, et.al.. Op.Cit., p. 92
[24] Blaine R. Worthen, James R. Sanders. Op.Cit., p. 81

MODEL EVALUASI CIPP

Model Riset Evaluasi
Oleh
Dirgantara Wicaksono

Secara umum, pelaksanaan evaluasi program sekolah mancakup empat komponen utama, yaitu: (1) Konteks, (2) Input, (3) Proses, dan   (4)Output,. Kaufman menyebutkan beberapa model evaluasi yang sangat terkenal, antara lain: Scriven’s, Formative-Sumative Model, CIPP Model, Stake’s Countenance Model, Tyler’s Goal Attainment Model, Provus,s Discrepancy Model, Scriven’s Goal-free Model, Stake’s Responsive Model.[1]

1.      Model CIPP
Decision Oriented evaluation Model atau Model CIPP (Contex, Input, Proces, Product) adalah model evaluasi yang dikembangkan oleh Danial Stufflebeam dan kawan-kawan di Ohio State University. Evaluasi ini menitikberatkan pada penilaian program dan penyajian informasi untuk pembuatan keputusan. Keempat model evaluasi tersebut merupakan satu rangkaian yang utuh, tetapi Stufflebeam mengatakan bahwa dalam pelaksanaannya seorang evaluator tidak harus menggunakan keseluruhannya. Keunikan pada model-model tersebut adalah, pada setiap tipe evaluasi terkait pada perangkat pengambilan keputusan dan operasi sebuah program. Dalam hal lain, keempat model evaluasi Stufflebeam tersebut dapat dipadukan dengan model-model evaluasi yang dikembangkan oleh beberapa ahli-ahli lain yang sudah dianggap baku dan standar, serta telah teruji kehandalannya dalam berbagai penerapan pendidikan.
Evaluasi Model CIPP memberikan suatu format evaluasi yang komprehensif pada setiap tahapan evaluasi yaitu: (1) Konteks, (2) Input, (3) Proses, dan (4) Output.  
Ditinjau dari pelaksanaan suatu program, evaluasi dapat dibedakan menjadi empat (4) jenis, yaitu:[2] Secara rinci dijelaskan sebagai berikut:
1.      Evaluasi komponen konteks, sebagai fokus institusi, yaitu mengidentifikasi target populasi dan menilai kebutuhan. Evaluasi konteks dilaksanakan sebagai need assessment atas suatu kebutuhan, memberikan informasi bagi pengambilan keputusan dalam perencanaan suatu program yang akan dijalankan. Menurut Stufflebeam, evaluasi konteks ini adalah evaluasi yang paling mendasar, yang mempunyai misi untuk menyediakan suatu rasional/landasan untuk penentuan tujuan pendidikan, evaluasi konteks berupaya untuk memisahkan masalah dengan kebutuhan yang tidak diinginkan di dalam setting pendidikan, konteks melibatkan analisis secara konseptual yang berhubungan dengan elemen-elemen lingkungan pendidikan yang lebih deskriptif dan komparatif.[3] Menurut Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar  menyatakan bahwa Evaluasi Konteks adalah upaya untuk menggambarkan dan merinci lingkungan, kebutuhan yang tidak terpenuhi, populasi dan sampel yang dilayani, dan tujuan proyek.[4] Sejalan dengan pendapat di atas Djuju Sudjana menyatakan bahwa Evaluasi Konteks program menyajikan data tentang alasan-alasan untuk menetapkan tujuan-tujuan program dan prioritas tujuan. Evaluasi ini menjelaskan mengenai konteks lingkungan yang relevan, menggambarkan kondisi yang ada dan yang diinginkan dalam lingkungan, dan mengidentifikasi kebutuhan-kebutuhan yang belum terpenuhi dan peluang yang belum dimanfaatkan[5]. Berdasarkan uraian di atas dapat disimpulkan bahwa evaluasi konteks meliputi analisis masalah yang berhubungan dengan lingkungan program, kebutuhan yang tidak terpenuhi, populasi dan sampel yang dilayani,   mengidentifikasi kebutuhan-kebutuhan yang belum terpenuhi dan peluang yang belum dimanfaatkan yang secara khusus mempunyai pengaruh terhadap konteks masalah yang menjadi komponen program. Dapat dikatakan pula bahwa evaluasi konteks adalah evaluasi terhadap kebutuhan, yaitu memperkecil kesenjangan antara kondisi faktual dengan kondisi yang diharapkan. Tujuan utama evaluasi konteks adalah mengidentifikasi kekuatan dan kelemahan dari sasaran dan memberikan arah perbaikan.
2.      Evaluasi komponen Input, digunakan sebagai bahan pertimbangan membuat keputusan, penentuan strategi evaluasi, meliputi analisis persoalan yang berhubungan dengan bagaimana penggunaan sumber-sumber yang tersedia, alternatif-alternatif dan strategi yang harus dipertimbangkan untuk mencapai suatu program, desain prosedur untuk strategi implementasi, pembiyaan dan penjualan.[6] Evaluasi input pada program pendidikan baik pendidikan formal maupun nonformal secara menyeluruh, lebih baku, selalu berhubungan dengan peserta didik, pendidik, kurikulum, sarana prasarana dan kelengkapan administrasi. Menurut Djuju Sudjana Evaluasi masukan (input) program menyediakan data untuk menentukan bagaimana penggunaan sumber-sumber yang dapat digunakan untuk mencapai tujuan program. Hal ini berkaitan dengan relevansi, kepraktisan, pembiyaan, efektifitas yang dihendaki, dan alternatif-alternatif yang dianggap unggul[7]. Sejalan dengan pendapat di atas Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar  menyatakan bahwa Evaluasi Input adalah kemampuan awal warga belajar dan sekolah dalam menunjang PMTAS, antara lain kemampuan sekolah dalam menyediakan petugas yang tepat, pengatur menu yang andal, ahli kesehatan yang berkualitas, dan sebagainya.[8] Evaluasi input pada program Paket C sama seperti pada sekolah regular lainnya yakni, warga belajar, guru, dan tenaga kependidikan, bahan ajar, kurikulum serta sarana belajar.
3.      Evaluasi komponen Proses, digunakan dalam program sebagai data untuk mengimplementasikan keputusan, merupakan evaluasi yang dirancang dan diaplikasikan dalam proses (pelaksanaan) atau membimbing dalam implementasi kegiatan, evaluasi program juga digunakan untuk mengidentifikasi kerusakan prosedur implementasi pada tata laksana kejadian dan aktifitas. Setiap aktifitas di monitor dan di catat perubahan-perubahan yang terjadi secara jujur dan cermat. Pentingnya pencatatan aktivitas keseharian sebagai pertimbangan pengambilan keputusan untuk menentukan tindak lanjut dan penyempurnaan program. Menurut Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar  menyatakan bahwa Evaluasi Proses diarahkan pada seberapa jauh kegiatan yang dilaksanakan di dalam program sudah terlaksana sesuai dengan rencana[9]. Sedangkan menurut Djuju Sudjana Evaluasi proses menyeediakan umpan balik yang berkenaan dengan efisiensi pelaksanaan program, termasuk di dalamnya pengaruh system dan keterlaksanaannya. Evaluasi ini mendeteksi atau memprediksi kekurangan dalam rancangan prosedur kegiatan program dan pelaksanaannya, menyediakan data untuk keputusan dalam implementasi program, dan memelihara doumentasi tentang prosuder yang dilakukan. Dalam program pendidikan, evaluasi inipun menyediakan informasi terhadap jenis keputusan yang mungkin dilakukan oleh pendidik[10].
Dengan demikian, dapat disimpulkan bahwa evaluasi proses adalah pengawasan secara terus menerus pada pelaksanaan program yang sangat berguna dan menentukan kelemahan/hambatan dan kekuatan/pendukung sehingga prosedur dapat dimonitor dan diperbaiki.
4.      Evaluasi komponen Produk/Output, digunakan sebagai bahan pertimbangan menolong keputusan selanjutnya, merupakan kumpulan deskripsi dan judgement dari outcomes, hubungan dengan konteks, masukan dan proses dan kemudian diinterpretasikan harga dan jasa yang diberikan.[11] Evaluasi produk adalah evaluasi yang dilakukan dalam mengukur keberhasilan pencapaian tujuan yang telah ditetapkan, merupakan catatan pencapaian hasil dan keputusan-keputusan untuk perbaikan pelaksanaan atau aktualisasi pengukuran dikembangkan dan diadministrasikan secara cermat dan teliti. Keakuratan analisis data akan menjadi acuan dalam penarikan kesimpulan dan pengajuan saran apakah program diteruskan, dimodifikasi atau dihentikan. Evaluasi produk merupakan tahap akhir, berfungsi untuk membantu penanggungjawab program dalam mengambil keputusan. Dalam analisis hasil ini, diperlukan pembanding antara tujuan yang ditetapkan dalam rancangan dengan hasil program yang dicapai. Pada dasarnya mempertanyakan apakah sasaran yang ingin dicapai pada suatu program telah tercapai. Hasil yang dinilai berupa grafik skor tes, presentasi, data observasi, diagram data , sosiometri dan sebagainya yang masing-masing dapat ditelusuri kaitannya dengan tujuan-tujuan yang lebih rinci. Evaluasi produk/output pada penelitian evaluasi ini adalah hasil belajar warga belajar pada ujian semester (ujian sumatif) dan persentase kelulusan warga belajar dalam mengikuti Ujian Akhir Nasional. Menurut Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar menyatakan bahwa Evaluasi Produk diarahkan pada hal-hal yang menunjukkan perubahan yang terjadi pada masukan mentah. Evaluasi produk merupakan tahap akhir dari serangkaian evaluasi program.[12] Sedangkan menurut Djuju Sudjana Evaluasi Produk mengukur dan menginterpretasi pencapaian program selama pelaksanaan program pada akhir program. Evaluasi ini berkaitan dengan pengaruh utama, pengaruh sampingan, biaya, dan keunggulan program, evaluasi produk melibatkan upaya penetapan criteria, melakukan pengukuran, membandingkan ukuran keberhasilan dengan standar absolut atau relative, dan melakukan interpretasi rasional tentang hasil dan pengaruh dengan menggunakan data tentang konteks, input dan proses[13].

2.      Model Riset Evaluasi UCLA
                                                         Dalam penelitian evaluasi ini digunakan model UCLA yang merupakan hasil pengembangan Alkin ketika beliau menjabat sebagai ketua pada The Centre for the Study of Evaluation di UCLA (University of Californiain at Los Angles). Alkin mengembangkan alur evaluasi yang mirip dengan model CIPP Stufflebeam. Alkin mengemukakan lima macam evaluasi, yakni: System Assessment, Program Planning, Program Implementation, Program Improvement, Program Certification.[14]
1.      System Assessment, yang memberikan informasi tentang keadaan, kondisi atau status sebuah sistem. Menurut Jody L. Fitzpatrick, et.al. tahap evaluasi ini serupa dengan tahapan Context Evaluation dalam Evaluasi model CIPP.[15] Hal yang sama juga diutarakan oleh Blaine R. Worthen dan James R. Sanders.[16] Pada tahapan ini menjelaskan mengenai kondisi lingkungan yang relevan, menggambarkan kondisi yang ada dan yang diinginkan dalam lingkungan.[17] Tahapan evaluasi ini menggambarkan hal-hal yang perlu dipertimbangkan dalam perencanaan program.
2.      Program Planning, membantu dalam pemilihan program tertentu yang mungkin akan berhasil memenuhi kebutuhan program. Menurut Jody L. Fitzpatrick, et.al. tahap evaluasi ini serupa dengan tahapan Input Evaluation dalam Evaluasi model CIPP.[18] Hal yang sama juga diutarakan oleh Blaine R. Worthen dan James R. Sanders.[19] Tahapan evaluasi ini menyediakan data untuk menentukan bagaimana penggunaan sumber-sumber yang dapat digunakan untuk mencapai tujuan program.[20]
3.      Program Implementation, menyiapkan informasi apakah program sudah diperkenalkan kepada kelompok tertentu yang tepat seperti yang direncanakan dalam rangka mempersiapkan pelaksanaan program.
4.      Program Improvement, memberikan informasi tentang bagaimana program berfungsi, bagaimana program bekerja. Apakah menuju pencapaian tujuan, adakah hal-hal atau masalah-masalah baru yang muncul tak terduga? Menurut Jody L. Fitzpatrick, et.al. tahap evaluasi ini serupa dengan tahapan Process Evaluation dalam Evaluasi model CIPP.[21] Hal yang sama juga diutarakan oleh Blaine R. Worthen dan James R. Sanders.[22]
5.      Program Certification, yang memberi informasi tentang nilai dan kegunaan program. Evaluasi ini mengukur dan menilai pencapaian program selama pelaksanaan program dan pada akhir program. Menurut Jody L. Fitzpatrick, et.al. tahap evaluasi ini serupa dengan tahapan Product Evaluation dalam Evaluasi model CIPP.[23] Hal yang sama juga diutarakan oleh Blaine R. Worthen dan James R. Sanders.[24]
                                                        




[1]  R. Kaufman & S. Thomas, Evaluations Without Fear (New York:  Viewpoints, 1980),  pp. 109-113.
[2] George F Madaus, Michael S Sriven dan Daniel L Stufflebeam, Evaluation Models,: Viewpoint on Educational and Human Services Educations (Boston: Kluwer-Nijhoff Publishing, 1983), p.128.
[3]  Popham, op.cit,. p.35.
[4] Suharsimi Arikunto dan Cepi Safruddin Abdul Jabar, Evaluasi Program Pendidikan Pedoman Teoritis Praktis Bagi Praktisi Pendidikan (Jakarta: Bumi Aksara, 2007), p. 29.
[5] Djuju Sudjana, Evaluasi Program Pendidikan Luar Sekolah, (Bandung: Remaja   Rosdakarya, 2006), pp. 54-55.
[6]  Daniel L Stufflebeam and Antony J Shinkfield, Sistematic Evaluation, A Self Instructional Guide to Theory and Practice (Boston: Kluwer Nijhoff Publissing, 1968), pp. 169-170.
[7] Djuju Sudjana, op.cit., p. 55.
[8] Arikunto dan Abdul Jabar, op.cit., p.30.
[9] Ibid, p.30.
[10] Sudjana, op.cit., p. 56.
[11]  Mardaus, Scriven dan Stufflebeam, op.cit., pp. 177-178.
[12] Arikunto dan Abdul Jabar, op.cit., p.30.
[13] Sudjana, op.cit., p. 56.
[14] Jody L. Fitzpatrick, et.al. Op.Cit., p. 92
[15] Ibid. p. 92
[16] Blaine R. Worthen, James R. Sanders. Educational Evaluation Alternative Approaches and
   Practical Guidelines. (New York: Longman), p. 81
[17] Djuju Sudjana, Op.Cit., pp. 54-55
[18] Jody L. Fitzpatrick, et.al. Op.Cit., p. 92
[19] Blaine R. Worthen, James R. Sanders. Op.Cit., p. 81
[20] Djuju Sudjana, Op.Cit., p. 55
[21] Jody L. Fitzpatrick, et.al. Op.Cit., p. 92
[22] Blaine R. Worthen, James R. Sanders. Op.Cit., p. 81
[23] Jody L. Fitzpatrick, et.al.. Op.Cit., p. 92
[24] Blaine R. Worthen, James R. Sanders. Op.Cit., p. 81