Automated essay scoring system: A reliability study

Abstract

New materials have continuously been added to the assessment instruments in ELT day by day. The question of whether writing assessment in ELT can be done via e-raters was first addressed in 1996, and this system, which is commonly called ?Automated Essay Scoring Systems? in especially America and Europe in recent years, has taken part in the field of assessment instruments of ELT with steady development. The purpose of this study is to find out whether AES can supercede the writing assessment system that is used at The School of Foreign Languages at Zirve University. It is performed at The School of Foreign Languages at Zirve University. The participants of the study were a group of 50 students in level C which is the equivalent of B1. The beginning of the quantitative study includes the assessment of essays written by C level students at The School of Foreign Languages at Zirve University by three human raters and e-rater. After the study it was found that the writing assessment has been currently used at The School of Foreign Languages at Zirve University costs more energy, more time and it is more expensive. Thus, AES was suggested for use at The School of Foreign Languages at Zirve University which has proven to be more practicable.

İngilizce öğretiminde ölçme ve değerlendirme materyallerine her geçen gün yeni materyaller ekleniyor. İngilizce öğretiminde makale ölçme ve değerlendirme bilgisayar üzerinden yapılabilir mi sorusu 1966 yılında yanıtlanmaya çalışılmış ve günümüze kadar düzenli bir gelişim grafiği göstererek son zamanlarda özellikle Amerika ve Avrupa?da yaygın olarak kullanılan `Automated Essay Scoring Systems (Bilgisayar üzerinden otomatik olarak makale ölçme ve değerlendirme sistemleri)? olarak İngilizce Öğretimi ölçme ve değerlendirme materyalleri arasında yerini almıştır. Bu çalışmanın amacı, Zirve Universitesi YDYO?da yazma becerileri ölçme ve değerlendirme sisteminin yerine bilgisayar üzerinden otomatik olarak makale ölçme ve değerlendirme sisteminin kullanılabilirliğini araştırmaktır. Bu çalışma Zirve Üniversitesi YDYO? nda yapılmıştır. Katılımcılar ingilizce öğreniminin B1 seviyesinde Zirve Üniversitesi YDYO? da C Kurunda öğrenimlerine devam eden 50 kişilik bir öğrenci grubudur. Çalışmaya Zirve Üniversitesi YDYO C kuru final sınavı cevap kağıtlarının üç yazma becerileri okutmanı ve bir bilgisayar sistemi tarafından değerlendirilmesi ile başlanmış, elde edilen notların analizleri yapılmıştır. Çalışma üç gün sürmüştür. Bu araştırmada sayısal analiz yapılmıştır. Çalışmanın sonunda, Zirve Üniversitesi YDYO? nda kullanılmakta olan makale ölçme ve değerlendirme sisteminin daha fazla enerji, daha fazla zaman ve daha masraflı olduğu görülmüş, bilgisayar üzerinden otomatik olarak makale ölçme ve değerlendirme sisteminin Zirve Üniversitesi YDYO? na kullanılabilir bir sistem olduğu tavsiye edilmiştir.