<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns="http://www.w3.org/TR/REC-html40">

<head>
<meta http-equiv=Content-Type content="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 11 (filtered medium)">
<!--[if !mso]>
<style>
v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style>
<![endif]-->
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:SimSun;
        panose-1:2 1 6 0 3 1 1 1 1 1;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:"\@SimSun";
        panose-1:0 0 0 0 0 0 0 0 0 0;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman";}
a:link, span.MsoHyperlink
        {color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:Arial;
        color:blue;
        font-weight:normal;
        font-style:normal;
        text-decoration:none none;}
@page Section1
        {size:595.3pt 841.9pt;
        margin:72.0pt 90.0pt 72.0pt 90.0pt;}
div.Section1
        {page:Section1;}
-->
</style>

</head>

<body lang=EN-AU link=blue vlink=purple>

<div class=Section1>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>HI Jason<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>A little over 12 months ago a colleague of
mine in New Zealand presents data on stringency and leniency in assessors in a
medical assessment over a 5 (maybe 3) year period.&nbsp; He used z-scores above
and below the mean assessor score for a given station to categorise people as
hawks and doves.<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'><o:p>&nbsp;</o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Across time he was able to show that the
majority of people were consistency hawks or doves &#8211; however there was a
small but significant group that went from hawk to dove and back (or vice
versa).&nbsp; The swings in this group were quite wide.<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'><o:p>&nbsp;</o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>So for the majority the hawkishness or doveishness
were consistent across time.&nbsp; <o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'><o:p>&nbsp;</o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Regards,<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Ian<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'><o:p>&nbsp;</o:p></span></font></p>

<div>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Ian Wilson</span></font><font color=blue><span
style='color:blue'><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Professor of Medical Education</span></font><font
color=blue><span style='color:blue'><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>University of Western Sydney</span></font><font
color=blue><span style='color:blue'><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Locked Bag 1797</span></font><font
color=blue><span style='color:blue'><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>Penrith South DC NSW 1797</span></font><font
color=blue><span style='color:blue'><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=3 color=blue face="Times New Roman"><span
style='font-size:12.0pt;color:blue'>&nbsp;<o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>T: +61 2 9852 4642&nbsp; F:+61 9852 4701</span></font><font
color=blue><span style='color:blue'><o:p></o:p></span></font></p>

<p class=MsoNormal><font size=2 color=blue face=Arial><span style='font-size:
10.0pt;font-family:Arial;color:blue'>E: <a href="mailto:i.wilson@uws.edu.au">i.wilson@uws.edu.au</a></span></font><o:p></o:p></p>

</div>

<div>

<div class=MsoNormal align=center style='margin-left:36.0pt;text-align:center'><font
size=3 face="Times New Roman"><span lang=EN-US style='font-size:12.0pt'>

<hr size=2 width="100%" align=center tabindex=-1>

</span></font></div>

<p class=MsoNormal style='margin-left:36.0pt'><b><font size=2 face=Tahoma><span
lang=EN-US style='font-size:10.0pt;font-family:Tahoma;font-weight:bold'>From:</span></font></b><font
size=2 face=Tahoma><span lang=EN-US style='font-size:10.0pt;font-family:Tahoma'>
rasch-bounces@acer.edu.au [mailto:rasch-bounces@acer.edu.au] <b><span
style='font-weight:bold'>On Behalf Of </span></b>iasonas lambrianou<br>
<b><span style='font-weight:bold'>Sent:</span></b> Tuesday, July 22, 2008 3:46
PM<br>
<b><span style='font-weight:bold'>To:</span></b> rasch@acer.edu.au<br>
<b><span style='font-weight:bold'>Subject:</span></b> [Rasch] Re: consistency
of markers accross years</span></font><span lang=EN-US><o:p></o:p></span></p>

</div>

<p class=MsoNormal style='margin-left:36.0pt'><font size=3
face="Times New Roman"><span style='font-size:12.0pt'><o:p>&nbsp;</o:p></span></font></p>

<p class=MsoNormal style='mso-margin-top-alt:0cm;margin-right:0cm;margin-bottom:
12.0pt;margin-left:36.0pt'><font size=3 face="Times New Roman"><span
style='font-size:12.0pt'>Dear friends, <br>
<br>
I have data from 13 high-stakes examinations ion English as a foreign language.
I want to find a way to predict the performance of markers (i.e.
raters/readers) on many aspects (e.g. fit statistics, harshness, restriction of
range, etc) from their past performance, so as to be able to choose only the
best markers. However, I am not sure if using data from one examination is a
good predictor for the next. <br>
For this purpose, and since there is no similar research in the literature, I
was 'encouraged' to conduct a study for the organisation for which I work.
Although it was a lot of work, I analyszed with Facets all the 13 datasets
separately, using MFRM. I left the students float and centered the items and
the markers. Each examination has from 10-25 markers. Some of the markers are
the same for each exam. So, I have 2 markers who have participated in 10 exams,
4 markers who participated in 9 exams .... and around 40 who only participated
in one exam. <br>
I now want to do the following: <br>
(a)check if there is a trendline in the performance of the markers (it seems
that there is none) <br>
(b) check if the markers (as a group) show a trend accross time. <br>
<br>
It seems that the [observed average score] -[fair average score] follows a
diminishing line. But these are not comparable from year to year, right? I
mean, how can I make the marker statistics comparable? Note that the candidates
and the tests are not the same from year to year. <br>
<br>
Thanks <br>
<br>
Jason <br>
<br>
<br>
Dr. Iasonas Lamprianou <br>
CFAS, School of Education <br>
The University of Manchester <br>
Oxford Road, Manchester M13 9PL, UK <br>
Tel. 0044 161 275 3485 <br>
iasonas.lamprianou@man.ac.uk <o:p></o:p></span></font></p>

</div>

</body>

</html>