<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
  <head>
    <meta content="text/html; charset=ISO-8859-1"
      http-equiv="Content-Type">
  </head>
  <body bgcolor="#ffffff" text="#000000">
    <font face="Arial">If I understand the original question Jason, it
      seems to me that you actually have a classic Facets set up. I
      don't call you specifying which program (Facets, Winsteps, RUMM,
      etc) your student used. It would appear to me that the data set is
      Teachers grading/rating Students on Subjects/classes/projects. If
      I remember correctly, the only way a student would have an extreme
      score in this instance is if all teachers always gave perfect
      scores to every student on every subject. So, as soon as a teacher
      gives less than a perfect score to one student, that teacher no
      longer represents an extreme rater and would keep 'perfect'
      students from being extreme. I think Facets solves the problem.<br>
      <br>
      Please forgive me if I've misunderstood something.<br>
      <br>
      Patrick Fisher </font><br>
    <br>
    On 4/30/2011 9:03 AM, Agustin Tristan wrote:
    <blockquote cite="mid:613909.20859.qm@web111504.mail.gq1.yahoo.com"
      type="cite">
      <table border="0" cellpadding="0" cellspacing="0">
        <tbody>
          <tr>
            <td style="font: inherit;" valign="top">
              <div>Dear Iasonas:</div>
              <div>I think you are facing some problems using the Rasch
                model, that would be the same using raw scores or IRT or
                any other model. I am certain that the problem does not
                concern the Rasch model but the origin of your data, I
                mean the validity of the scores that your student is
                using for the analysis, and hence the problem concerns
                the test design.</div>
              <div>&nbsp;</div>
              <div>I understand that a judge sets a score from A to E
                according to specific&nbsp;criterion (including technical,
                ethical and other elements), but&nbsp;you only have ONE score
                that may represent a set (big or small) of items. In
                cases like yours I think it is better to define an
                analytical criterion where every aspect&nbsp;or trait will be
                translated into one item and instead an A you may have
                5, 6, 10, 20 or more items. This eliminates the fact
                that&nbsp;several persons will have extreme scores&nbsp;without
                meaning&nbsp;because it is very improbable that all the As
                mean exactly the same ability, knowledge, competency,
                etc. among different persons.</div>
              <div>&nbsp;</div>
              <div>To give you an example, we proceeded with an
                analytical criterion to score performances of children
                (6 to 8 years old) in several activities at school. In
                this case&nbsp;where the teachers used to assign a letter i a
                competencey (say spatial competency, verbal competency,
                and so on), we got several items (position up-down, side
                left-right, size big-small, angle
                vertical-horizontal-inclined, selection of color, etc.).
              </div>
              <div>&nbsp;</div>
              <div>It is possible that you are not able to recode or
                translate the holistic values into analytical items, and
                your problem will still be there, nevertheless I am sure
                that you can be more than sure that it is not a Rasch
                model defect but a test design defect. I consider that
                statistics or CTT or Rasch model should not be used to
                solve the test design problem, nevertheless the other
                proposals by colleagues in this listserve are very wise.</div>
              <div>&nbsp;</div>
              <div>Regards</div>
              <div>Agustin</div>
              <div><br>
                <br>
                &nbsp;</div>
              <div><strong><font color="#0000bf" face="arial, helvetica,
                    sans-serif">INSTITUTO DE EVALUACION E INGENIERIA
                    AVANZADA.</font></strong></div>
              <strong><font color="#0000bf" face="arial, helvetica,
                  sans-serif">
                </font></strong>
              <div><strong><font color="#0000bf" face="arial, helvetica,
                    sans-serif"><br>
                  </font></strong>Ave. Cordillera Occidental No. 635</div>
              <div><br>
                Colonia Lomas 4&ordf; San Luis Potos&iacute;, San Luis Potos&iacute;.</div>
              <div><br>
                C.P. 78216 MEXICO</div>
              <div><br>
                (52) (444) 8 25 50 76 / (52) (444) 8 25 50 77 / (52)
                (444) 8 25 50 78</div>
              <div><br>
                P&aacute;gina Web (en espa&ntilde;ol): <a moz-do-not-send="true"
                  href="http://www.ieia.com.mx/" rel="nofollow"
                  target="_blank">http://www.ieia.com.mx</a></div>
              <div><br>
                Web page (in English):
                <a class="moz-txt-link-freetext" href="http://www.ieesa-kalt.com/English/Frames_sp_pro.html">http://www.ieesa-kalt.com/English/Frames_sp_pro.html</a><br>
              </div>
              <br>
              <br>
              --- On <b>Sat, 4/30/11, <a class="moz-txt-link-abbreviated" href="mailto:liasonas@cytanet.com.cy">liasonas@cytanet.com.cy</a> <i><a class="moz-txt-link-rfc2396E" href="mailto:liasonas@cytanet.com.cy">&lt;liasonas@cytanet.com.cy&gt;</a></i></b>
              wrote:<br>
              <blockquote style="border-left: 2px solid rgb(16, 16,
                255); padding-left: 5px; margin-left: 5px;"><br>
                From: <a class="moz-txt-link-abbreviated" href="mailto:liasonas@cytanet.com.cy">liasonas@cytanet.com.cy</a>
                <a class="moz-txt-link-rfc2396E" href="mailto:liasonas@cytanet.com.cy">&lt;liasonas@cytanet.com.cy&gt;</a><br>
                Subject: Re: [Rasch] Estimating Rasch Measures for
                Extreme Scores<br>
                To: "Luis Carlos Orozco" <a class="moz-txt-link-rfc2396E" href="mailto:lcorovar@gmail.com">&lt;lcorovar@gmail.com&gt;</a><br>
                Cc: "rasch list" <a class="moz-txt-link-rfc2396E" href="mailto:rasch@acer.edu.au">&lt;rasch@acer.edu.au&gt;</a><br>
                Date: Saturday, April 30, 2011, 12:17 AM<br>
                <br>
                <div id="yiv32756272">Thank you, <br>
                  <br>
                  indeed, it seems that there are too many people
                  reaching the ceiling effect with a 3x4x (1-5 scale)
                  design. Maybe this is one of the weak points of the
                  current system...but the point is that somebody argues
                  that the use of raw scores would solve the problem of
                  the raw scores, and we may need to see if there is a
                  published answer to this...
                  <div>Sent from my BlackBerry&reg; smartphone</div>
                  <hr>
                  <div><b>From: </b>Luis Carlos Orozco
                    <a class="moz-txt-link-rfc2396E" href="mailto:lcorovar@gmail.com">&lt;lcorovar@gmail.com&gt;</a> </div>
                  <div><b>Date: </b>Fri, 29 Apr 2011 19:17:34 -0500</div>
                  <div><b>To: </b>Iasonas
                    Lamprianou<a class="moz-txt-link-rfc2396E" href="mailto:liasonas@cytanet.com.cy">&lt;liasonas@cytanet.com.cy&gt;</a></div>
                  <div><b>Cc: </b>rasch list<a class="moz-txt-link-rfc2396E" href="mailto:rasch@acer.edu.au">&lt;rasch@acer.edu.au&gt;</a></div>
                  <div><b>Subject: </b>Re: [Rasch] Estimating Rasch
                    Measures for Extreme Scores</div>
                  <div><br>
                  </div>
                  <div>Maybe this from winsteps &nbsp;be of some "help".</div>
                  <div>There is no "correct" answer to the question:
                    "How large should ExtremeScoreAdjustment= be?" The
                    most conservative value, and that recommended by
                    Joseph Berkson, is 0.5. Some work by John Tukey
                    indicates that 0.167 is a reasonable value. The
                    smaller you set EXTRSC=, the further away measures
                    corresponding to extreme scores will be located from
                    the other measures. The technique used here is
                    Strategy 1 in <span style="font-style: italic;
                      font-size: 10pt;"><a moz-do-not-send="true"
                        class="yiv32756272weblink"
                        href="http://www.rasch.org/rmt/rmt122h.htm"
                        rel="nofollow" target="_blank">www.rasch.org/rmt/rmt122h.htm</a>.</span></div>
                  <div><span style="font-style: italic; font-size:
                      10pt;"><br>
                    </span></div>
                  <div>Another thing to say is that your measure
                    obtained from (4x3) is not good enough to measure
                    some people.</div>
                  <div><br>
                  </div>
                  Luis C. Orozco V.<br>
                  <br>
                  MD MSc Epidemiologia<br>
                  <br>
                  EScuela de Enfermer&iacute;a<br>
                  <br>
                  Universidad Industrial de Santander<br>
                  <br>
                  Colombia<br>
                  <div class="yiv32756272gmail_quote">2011/4/29 Iasonas
                    Lamprianou <span dir="ltr">&lt;<a
                        moz-do-not-send="true"
href="http://us.mc1115.mail.yahoo.com/mc/compose?to=liasonas@cytanet.com.cy"
                        rel="nofollow" target="_blank"
                        ymailto="mailto:liasonas@cytanet.com.cy">liasonas@cytanet.com.cy</a>&gt;</span><br>
                    <blockquote style="border-left: 1px solid rgb(204,
                      204, 204); margin: 0px 0px 0px 0.8ex;
                      padding-left: 1ex;" class="yiv32756272gmail_quote"><br>
                      Dear colleagues,<br>
                      I rarely submit requests in this list unless it is
                      urgent and important because I respect the time of
                      the people who tend to reply most often. I would
                      like to thank them. This time, it is important and
                      that is why I politely request you to help me. The
                      post is long, but it has to do with the problems
                      Rasch-users face in the harsh world of academia. I
                      think that the post concerns most of us.<br>
                      <br>
                      I am trying to help a student with her PhD thesis
                      (so I am writing on her behalf). She submitted her
                      thesis and her examiners spotted some problems and
                      she has to address them.<br>
                      <br>
                      The problem: The PhD thesis is about the
                      performance of students. &nbsp;For each student
                      participating in the study (N&gt;1000), the
                      researcher has his/her score on four subjects:
                      language, science, maths and history. For each
                      subject, each student has three teacher
                      assessments which were awarded in January, March
                      and June. Each score runs from E (Failure) to A
                      (Excellent). So, overall, each student has three
                      ordinal teacher assessment measures for each of
                      four subjects. It is a typical repeated measures
                      case for four variables/subjects with three
                      measures per variable/subject.<br>
                      <br>
                      Design: Since the data are ordinal (E=1=Failure to
                      A=5=Excellent) the researcher used a Partial
                      Credit Rasch model with three &nbsp;items &nbsp;to build
                      four Ability scales, one for each subject (the
                      Rating Scale did not have good fit). Also, the
                      student used all 12 scores (4 subjects X 3
                      measures) to produce one overall Ability &nbsp;Academic
                      Performance &nbsp;measure. Then, the researcher used
                      these Rasch ability measures as dependent
                      variables to run OLS regressions.<br>
                      <br>
                      Issue 1:<br>
                      A serious problem spotted by the examiners is that
                      a large proportion of students (around 20%) has
                      perfect scores (three &nbsp;A s) on some of the four
                      subjects. The researcher used a Winsteps routine
                      to find measures of ability for those students
                      with extreme scores. The examiner has major
                      reservations about the validity of this decision
                      and asks whether these data (extreme scores)
                      should be dropped. The examiner says: &nbsp;If a Rasch
                      analysis is to be used to derive attainment
                      scores, the final distribution must provide a
                      realistic representation of attainment. This means
                      that the large group of candidates who achieve
                      perfect scores (on the extreme right of the
                      histograms) need to be properly represented. These
                      scores need to be appropriately dealt with by Rash
                      (if this is possible), or they need to be removed
                      from the analysis (with an<br>
                      assessment made about the impact of the resulting
                      loss of data).<br>
                      To the defense of the researcher, the distance
                      between the &nbsp;perfect score &nbsp;and the &nbsp;perfect-1
                      &nbsp;estimate is neither huge nor unreasonable: it is
                      around 1.4 logits on a scale which extends from
                      around -11 to 11 logits. When the researcher draws
                      the scatterplot between raw scores and logits, the
                      sigma-curve looks beautifully smooth and the
                      estimates of the extreme scores look neither &nbsp;too
                      extreme &nbsp;nor out of tune with the rest data points
                      on the scatterplot. The distance between the
                      &nbsp;perfect score &nbsp;and the &nbsp;perfect-1 &nbsp;estimate is
                      not grossly out of line compared to the other
                      distances between raw scores estimates (for
                      example, the distance between the &nbsp;perfect-1 &nbsp;and
                      the &nbsp;perfect-2 &nbsp;scores is only around 0.3 logits
                      smaller).<br>
                      (a) The researcher needs strong references to
                      defend her decision NOT to drop the extreme data
                      estimates. Can anyone please provide strong
                      peer-reviewed papers to support the decision to
                      keep the extreme score estimates as valid
                      representations of the ability of the
                      participants?<br>
                      <br>
                      <br>
                      Issue 2:<br>
                      Stemming from the previous comment, one of the
                      suggestions of the examiners is that the
                      researcher could ditch the Rasch model and instead
                      sum the three measures in one subject (e.g.
                      A+B+B=5+4+4=13) and then use this sum for an OLS
                      regression. The examiner says &nbsp;A serious
                      discussion needs to be held about the benefits, if
                      any, the Rasch analysis provides over a more
                      direct analytical path (e.g. &nbsp; a linear regression
                      of results averaged over three &nbsp; [teacher
                      assessments] . We all know that this is simply
                      wrong to do because we cannof average ordinal
                      measures and the student already explains this in
                      her Methodology section, but she probably needs
                      more references.<br>
                      (b) Can anyone please provide a list of (recent,
                      if possible) papers in good peer-reviewed journals
                      which explain that this is not the right thing to
                      do?<br>
                      <br>
                      <br>
                      Issue 3:<br>
                      Another suggestion of the examiners is that the
                      researcher could ditch the Rasch model and just
                      use the ordinal measure (E=1=Failure to
                      A=5=Excellent) as a dependent variable in a
                      proportional odds models. This means that the
                      researcher should run three different models for
                      each subject (for the Teacher Assessment awarded
                      in January, March and June).<br>
                      (c) Can anyone pleased provide a list of (recent,
                      if possible) papers in good peer-reviewed journals
                      which explain that this is NOT better than using
                      the Rasch model to get one linear measure instead
                      of three ordinal?<br>
                      <br>
                      <br>
                      I feel that the examiners did a very good job
                      overall and were very fair and consistent. They
                      spent too much time to read every little detail in
                      a long thesis, they spotted some important issues
                      and we need to credit them for this. I feel that
                      we may want to help the student address these
                      interesting issues to the full satisfaction of the
                      examiners.<br>
                      <br>
                      Thank you for your time<br>
                      <br>
                      In anticipation of your help<br>
                      Jason Lamprianou<br>
                      University of Cyprus<br>
                      <br>
                      <br>
                      <br>
                      _______________________________________________<br>
                      Rasch mailing list<br>
                      <a moz-do-not-send="true"
                        href="http://us.mc1115.mail.yahoo.com/mc/compose?to=Rasch@acer.edu.au"
                        rel="nofollow" target="_blank"
                        ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>
                      Unsubscribe: <a moz-do-not-send="true"
href="https://mailinglist.acer.edu.au/mailman/options/rasch/lcorovar%40gmail.com"
                        rel="nofollow" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/lcorovar%40gmail.com</a></blockquote>
                  </div>
                  <br>
                </div>
                <br>
                -----Inline Attachment Follows-----<br>
                <br>
                <div class="plainMail">_______________________________________________<br>
                  Rasch mailing list<br>
                  <a moz-do-not-send="true"
                    href="http://us.mc1115.mail.yahoo.com/mc/compose?to=Rasch@acer.edu.au"
                    ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>
                  Unsubscribe: <a moz-do-not-send="true"
href="https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com"
                    target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com</a></div>
              </blockquote>
            </td>
          </tr>
        </tbody>
      </table>
      <pre wrap="">
<fieldset class="mimeAttachmentHeader"></fieldset>
_______________________________________________
Rasch mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a>
Unsubscribe: <a class="moz-txt-link-freetext" href="https://mailinglist.acer.edu.au/mailman/options/rasch/pfisher%40sportsmeasures.com">https://mailinglist.acer.edu.au/mailman/options/rasch/pfisher%40sportsmeasures.com</a></pre>
    </blockquote>
  </body>
</html>