<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<META content="MSHTML 6.00.6000.16982" name=GENERATOR>
<STYLE></STYLE>
</HEAD>
<BODY bgColor=#ffffff>
<DIV><FONT face=Arial size=2>Hi modelers:&nbsp; please see the questions near 
the bottom of this email.&nbsp; I'd really like to get answers!</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>I have done some checking, so here is a 
clarification to my idea and my questions</FONT></DIV>
<DIV><FONT face=Arial size=2>Instead of using the Maximum Likelihood Estimate 
student scores, your student could instead use a software program that outputs 
the Bayesian estimates I described in my previous email, which are called 
"Expected a posteriori"&nbsp; (EAP) scores.&nbsp; I think this might solve her 
ptoblems.&nbsp; John Linacre wrote the WinSteps manual, and that manual notes 
that WinSteps does NOT produce EAP scores--but here is a website where John 
Linacre explains EAP:&nbsp; <A 
href="http://www.rasch.org/rmt/rmt163i.htm">http://www.rasch.org/rmt/rmt163i.htm</A></FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Here are my questions:</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2><STRONG>What is the downside to using EAP scores 
instead of the Maximum Likelihood scores?</STRONG>&nbsp; Is the issue merely "We 
don't&nbsp;want to make the assumption that the ability scores in this 
population are normally distributed if we don't have to"&nbsp;or&nbsp;are there 
other problems?&nbsp;</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2></FONT><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2><STRONG>Do the EAP estimates really produce 
reasonable&nbsp;ability estimates&nbsp;for the perfect scores?&nbsp; Or are the 
estimates still outlandishly high?</STRONG></FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>I'd love to do an empirical study that ran your 
student's study three ways, with three alternate dependant variables: one using 
the EAP estimates; one using the WinSteps MLE method that assigns scores to kids 
with perfect results by treating them as if they got a fractional number 
(usually 0.3) wrong; and one that uses the raw dependant scores&nbsp; <FONT 
face="Times New Roman" size=3>(e.g. A+B+B=5+4+4=13).&nbsp; Then, the analysis 
would investigate whether there was&nbsp; really any practical difference in the 
results.&nbsp;&nbsp;<STRONG>Has anyone out there done a study like this, using 
either real data or a Monte Carlo simulation?</STRONG></FONT></FONT></DIV>
<DIV><FONT face=Arial size=2><FONT face="Times New Roman" 
size=3></FONT></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2><FONT face="Times New Roman" size=3>Lastly, I 
believe a Tobit model assumes that scores are normally&nbsp;distributed, 
except&nbsp;for the&nbsp;top score, which has a censored "ceiling" score.&nbsp; 
<STRONG>Is there an advantage to using&nbsp;Tobit or some other some kind of 
"censored data" model to analyze the results?</STRONG>&nbsp;&nbsp;<STRONG>Does 
the&nbsp;Tobit make sense only in the raw score case (since the "perfect" scores 
are assumed to be at the ceiling, with the student's true score equal to the 
ceiling or higher) but not in the&nbsp;WinSteps or EAP cases (since&nbsp;the 
"perfect" scores are assumed to be somewhere near --above OR below--the 
estimated value output by the model)?</STRONG></FONT></FONT><FONT face=Arial 
size=2><FONT face="Times New Roman" size=3>&nbsp; </FONT></FONT></DIV>
<DIV>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Steve Kramer</FONT></DIV>
<BLOCKQUOTE 
style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
  <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
  <DIV 
  style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
  <A title=skramer1958@verizon.net href="mailto:skramer1958@verizon.net">Steven 
  L. Kramer</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>To:</B> <A title=rasch@acer.edu.au 
  href="mailto:rasch@acer.edu.au">rasch list</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>Sent:</B> Friday, April 29, 2011 12:13 
  PM</DIV>
  <DIV style="FONT: 10pt arial"><B>Subject:</B> Re: [Rasch] Estimating Rasch 
  Measures for Extreme Scores</DIV>
  <DIV><BR></DIV>
  <DIV><FONT face=Arial size=2>I hope these aren't a naive 
  questions.</FONT></DIV>
  <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
  <DIV><FONT face=Arial size=2>If I understand correctly, from an IRT 
  perspective one can compute for each student either a Maximum Likelihood 
  Estimate (MLE)&nbsp;score, or a Bayesian score.&nbsp; The Bayesian score 
  assumes that ability is normally distributed, and accounts for this 
  by&nbsp;shrinking estimated student scores towards the mean.&nbsp; For 
  students with perfectly correct scores the MLE predicts infinite ability, but 
  the Bayesian score predicts finite ability.&nbsp; (Similarly for students who 
  get perfectly "zero" scores.)&nbsp; </FONT></DIV>
  <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
  <DIV><FONT face=Arial size=2>My questions:</FONT></DIV>
  <DIV><FONT face=Arial size=2>Is&nbsp;the "Bayesian estimate" &nbsp;the way 
  WinSteps computes scores for extreme scores?</FONT></DIV>
  <DIV><FONT face=Arial size=2>If so, couldn't your student just use the 
  Bayesian estimate for everyone, thus incorporating a consistent measurement 
  theory?</FONT></DIV>
  <DIV><FONT face=Arial size=2>From a Rasch point of view, what would be the 
  downside of using a Baysian instead of a MLE approach?</FONT></DIV>
  <DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
  <DIV><FONT face=Arial size=2>Steve Kramer</FONT></DIV>
  <DIV><FONT face=Arial size=2>Arcadia University</FONT></DIV>
  <BLOCKQUOTE 
  style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
    <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
    <DIV 
    style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
    <A title=rense.lange@gmail.com href="mailto:rense.lange@gmail.com">Rense 
    Lange</A> </DIV>
    <DIV style="FONT: 10pt arial"><B>To:</B> <A title=liasonas@cytanet.com.cy 
    href="mailto:liasonas@cytanet.com.cy">Iasonas Lamprianou</A> </DIV>
    <DIV style="FONT: 10pt arial"><B>Cc:</B> <A title=rasch@acer.edu.au 
    href="mailto:rasch@acer.edu.au">rasch list</A> </DIV>
    <DIV style="FONT: 10pt arial"><B>Sent:</B> Friday, April 29, 2011 10:46 
    AM</DIV>
    <DIV style="FONT: 10pt arial"><B>Subject:</B> Re: [Rasch] Estimating Rasch 
    Measures for Extreme Scores</DIV>
    <DIV><BR></DIV>Since getting better faculty seems out of the question, would 
    this solve it? Re-run twice using Facets.&nbsp; 
    <DIV>
    <UL>
      <LI>Once use all items, including those giving "perfect" scores,&nbsp; 
      <LI>Once with the perfect items removed for each student/teacher getting 
      perfect ratings.&nbsp; </LI></UL></DIV>
    <DIV><BR></DIV>
    <DIV>Then plot the two sets of students/teachers? estimated parameters - 
    they should be very similar (Y = X). While you are at it, you could show the 
    probably non-trivial effects of differences in rater leniency/ severity on 
    the student/teacher evaluations.&nbsp;</DIV>
    <DIV><BR></DIV>
    <DIV>Rense Lange</DIV>
    <DIV><BR></DIV>
    <DIV><BR></DIV>
    <DIV><BR>
    <DIV class=gmail_quote>2011/4/29 Iasonas Lamprianou <SPAN dir=ltr>&lt;<A 
    href="mailto:liasonas@cytanet.com.cy">liasonas@cytanet.com.cy</A>&gt;</SPAN><BR>
    <BLOCKQUOTE class=gmail_quote 
    style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid"><BR>Dear 
      colleagues,<BR>I rarely submit requests in this list unless it is urgent 
      and important because I respect the time of the people who tend to reply 
      most often. I would like to thank them. This time, it is important and 
      that is why I politely request you to help me. The post is long, but it 
      has to do with the problems Rasch-users face in the harsh world of 
      academia. I think that the post concerns most of us.<BR><BR>I am trying to 
      help a student with her PhD thesis (so I am writing on her behalf). She 
      submitted her thesis and her examiners spotted some problems and she has 
      to address them.<BR><BR>The problem: The PhD thesis is about the 
      performance of students. &nbsp;For each student participating in the study 
      (N&gt;1000), the researcher has his/her score on four subjects: language, 
      science, maths and history. For each subject, each student has three 
      teacher assessments which were awarded in January, March and June. Each 
      score runs from E (Failure) to A (Excellent). So, overall, each student 
      has three ordinal teacher assessment measures for each of four subjects. 
      It is a typical repeated measures case for four variables/subjects with 
      three measures per variable/subject.<BR><BR>Design: Since the data are 
      ordinal (E=1=Failure to A=5=Excellent) the researcher used a Partial 
      Credit Rasch model with three &nbsp;items &nbsp;to build four Ability 
      scales, one for each subject (the Rating Scale did not have good fit). 
      Also, the student used all 12 scores (4 subjects X 3 measures) to produce 
      one overall Ability &nbsp;Academic Performance &nbsp;measure. Then, the 
      researcher used these Rasch ability measures as dependent variables to run 
      OLS regressions.<BR><BR>Issue 1:<BR>A serious problem spotted by the 
      examiners is that a large proportion of students (around 20%) has perfect 
      scores (three &nbsp;A s) on some of the four subjects. The researcher used 
      a Winsteps routine to find measures of ability for those students with 
      extreme scores. The examiner has major reservations about the validity of 
      this decision and asks whether these data (extreme scores) should be 
      dropped. The examiner says: &nbsp;If a Rasch analysis is to be used to 
      derive attainment scores, the final distribution must provide a realistic 
      representation of attainment. This means that the large group of 
      candidates who achieve perfect scores (on the extreme right of the 
      histograms) need to be properly represented. These scores need to be 
      appropriately dealt with by Rash (if this is possible), or they need to be 
      removed from the analysis (with an<BR>assessment made about the impact of 
      the resulting loss of data).<BR>To the defense of the researcher, the 
      distance between the &nbsp;perfect score &nbsp;and the &nbsp;perfect-1 
      &nbsp;estimate is neither huge nor unreasonable: it is around 1.4 logits 
      on a scale which extends from around -11 to 11 logits. When the researcher 
      draws the scatterplot between raw scores and logits, the sigma-curve looks 
      beautifully smooth and the estimates of the extreme scores look neither 
      &nbsp;too extreme &nbsp;nor out of tune with the rest data points on the 
      scatterplot. The distance between the &nbsp;perfect score &nbsp;and the 
      &nbsp;perfect-1 &nbsp;estimate is not grossly out of line compared to the 
      other distances between raw scores estimates (for example, the distance 
      between the &nbsp;perfect-1 &nbsp;and the &nbsp;perfect-2 &nbsp;scores is 
      only around 0.3 logits smaller).<BR>(a) The researcher needs strong 
      references to defend her decision NOT to drop the extreme data estimates. 
      Can anyone please provide strong peer-reviewed papers to support the 
      decision to keep the extreme score estimates as valid representations of 
      the ability of the participants?<BR><BR><BR>Issue 2:<BR>Stemming from the 
      previous comment, one of the suggestions of the examiners is that the 
      researcher could ditch the Rasch model and instead sum the three measures 
      in one subject (e.g. A+B+B=5+4+4=13) and then use this sum for an OLS 
      regression. The examiner says &nbsp;A serious discussion needs to be held 
      about the benefits, if any, the Rasch analysis provides over a more direct 
      analytical path (e.g. &nbsp; a linear regression of results averaged over 
      three &nbsp; [teacher assessments] . We all know that this is simply wrong 
      to do because we cannof average ordinal measures and the student already 
      explains this in her Methodology section, but she probably needs more 
      references.<BR>(b) Can anyone please provide a list of (recent, if 
      possible) papers in good peer-reviewed journals which explain that this is 
      not the right thing to do?<BR><BR><BR>Issue 3:<BR>Another suggestion of 
      the examiners is that the researcher could ditch the Rasch model and just 
      use the ordinal measure (E=1=Failure to A=5=Excellent) as a dependent 
      variable in a proportional odds models. This means that the researcher 
      should run three different models for each subject (for the Teacher 
      Assessment awarded in January, March and June).<BR>(c) Can anyone pleased 
      provide a list of (recent, if possible) papers in good peer-reviewed 
      journals which explain that this is NOT better than using the Rasch model 
      to get one linear measure instead of three ordinal?<BR><BR><BR>I feel that 
      the examiners did a very good job overall and were very fair and 
      consistent. They spent too much time to read every little detail in a long 
      thesis, they spotted some important issues and we need to credit them for 
      this. I feel that we may want to help the student address these 
      interesting issues to the full satisfaction of the examiners.<BR><BR>Thank 
      you for your time<BR><BR>In anticipation of your help<BR>Jason 
      Lamprianou<BR>University of 
      Cyprus<BR><BR><BR><BR>_______________________________________________<BR>Rasch 
      mailing list<BR><A 
      href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</A><BR>Unsubscribe: <A 
      href="https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com" 
      target=_blank>https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com</A></BLOCKQUOTE></DIV><BR><BR 
    clear=all><BR>-- <BR>Rense Lange, Ph.D.<BR>via gmail<BR></DIV>
    <P>
    <HR>

    <P></P>_______________________________________________<BR>Rasch mailing 
    list<BR>Rasch@acer.edu.au<BR>Unsubscribe: 
    https://mailinglist.acer.edu.au/mailman/options/rasch/skramer1958%40verizon.net<BR></BLOCKQUOTE>
  <P>
  <HR>

  <P></P>_______________________________________________<BR>Rasch mailing 
  list<BR>Rasch@acer.edu.au<BR>Unsubscribe: 
  https://mailinglist.acer.edu.au/mailman/options/rasch/skramer1958%40verizon.net<BR></BLOCKQUOTE></BODY></HTML>