Dear friends,
<br>
<br>I have data from 13 high-stakes examinations ion English as a foreign language. I want to find a way to predict the performance of markers (i.e. raters/readers) on many aspects (e.g. fit statistics, harshness, restriction of range, etc) from their past performance, so as to be able to choose only the best markers. However, I am not sure if using data from one examination is a good predictor for the next. 
<br>For this purpose, and since there is no similar research in the literature, I was 'encouraged' to conduct a study for the organisation for which I work. Although it was a lot of work, I analyszed with Facets all the 13 datasets separately, using MFRM. I left the students float and centered the items and the markers. Each examination has from 10-25 markers. Some of the markers are the same for each exam. So, I have 2 markers who have participated in 10 exams, 4 markers who participated in 9 exams .... and around 40 who only participated in one exam.
<br> I now want to do the following: 
<br>(a)check if there is a trendline in the performance of the markers (it seems that there is none)
<br>(b) check if the markers (as a group) show a trend accross time. 
<br>
<br>It seems that the [observed average score] -[fair average score] follows a diminishing line. But these are not comparable from year to year, right? I mean, how can I make the marker statistics comparable? Note that the candidates and the tests are not the same from year to year.
<br>
<br>Thanks
<br>
<br>Jason
<br>
<br>
<br>Dr. Iasonas Lamprianou
<br>CFAS, School of Education
<br>The University of Manchester
<br>Oxford Road, Manchester M13 9PL, UK
<br>Tel. 0044 161 275 3485
<br>iasonas.lamprianou@man.ac.uk
<br>
<br>