<head><style>body{font-family: Geneva,Arial,Helvetica,sans-serif;font-size:9pt;background-color: #ffffff;color: black;}p{margin:0px}</style></head><body id="compText"><devium@mindspring.com><ici_kalt@yahoo.com><zzzbody id="compText"><div>Hello,</div><div><br></div>Just a thought, but if the test is timed, the items at the end of the test are likely attained only by the more capable students. &nbsp;The weaker students will tend to get "timed out" before reaching the last items. This means your ability estimates on these items are based on responses from a relatively few strong students, which may be depressing the difficutly measures. &nbsp;If these items are moved to an earlier position, you will get more responses from the weaker students, who will more often fail, pushing the difficulty upwards.&nbsp;<div><br></div><div>I work with practice TOEFL-iBT tests, which are timed. &nbsp;We see a significant fall-off in the number of candidate responses as we get deeper into the tests. &nbsp;For example, on one test over 1,000 students answered item number one, but less than 400 reached the last one. &nbsp;I'm quite sure that if we swapped the first and last items, the statistics would change. &nbsp;I would expect placing item number one at the end of the test would increase its difficulty estimate. &nbsp;<br><br></div><div>Cheers,</div><div><br></div><div>-Donald-<br></div></zzzbody></ici_kalt@yahoo.com></devium@mindspring.com><br><br><blockquote style="PADDING-LEFT: 5px; MARGIN-LEFT: 0px; BORDER-LEFT: #0000ff 2px solid">-----Original Message-----
<br>From: Agustin Tristan <ici_kalt@yahoo.com>
<br>Sent: Sep 12, 2009 9:38 AM
<br>To: Theo Dawson <theo@devtestservice.com>, -Rasch <rasch@acer.edu.au>
<br>Subject: Re: [Rasch] Item arrangement and measure invariance

<br><br><table cellspacing="0" cellpadding="0" border="0"><tbody><tr><td valign="top" style="font: inherit;"><div>Thank you Theo for your comments indicating&nbsp;different ways to teach for the test. </div>
<div>The point of my question is how can be shown (if there is&nbsp;a way to demonstrate it) that a new item arrangement will produce significantly different difficulties, and worse: always produce systematically higher difficulties. </div>
<div>If I have an item bank with previously calibrated items and I choose a set of items to produce&nbsp;two or more versions of the same test, arranged in different ways, the question is how can it be possible that I get systematically higher difficulties of the items? Bad calibration procedure? bad sample size during the pilot test? a version is administered systematically to the weakest students? Which of the versions contains the items with the "real" diifficulties? Item bank calibrations are useless?</div>
<div><br>Regards</div>
<div>Agustin<br></div>
<div><font color="#0000bf"><strong>FAMILIA DE PROGRAMAS KALT. </strong></font></div>
<div>Ave. Cordillera Occidental&nbsp; No. 635<br>Colonia&nbsp; Lomas 4ª San Luis Potosí, San Luis Potosí.<br>C.P.&nbsp; 78216&nbsp;&nbsp; MEXICO<br>&nbsp;(52) (444) 8 25 50 76<br>&nbsp;(52) (444) 8 25 50 77<br>&nbsp;(52) (444) 8 25 50 78<br>web page (in Spanish): <font color="#c00000"><strong><a href="http://www.ieia.com.mx/" target="_blank" rel="nofollow">http://www.ieia.com.mx</a></strong></font></div>
<div>web page (in English) <a href="http://www.ieesa-kalt.com/English/Frames_sp_pro.html" target="_blank" rel="nofollow">http://www.ieesa-kalt.com/English/Frames_sp_pro.html</a></div><br><br>--- On <b>Sat, 9/12/09, Theo Dawson <i>&lt;theo@devtestservice.com&gt;</i></b> wrote:<br>
<blockquote style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: rgb(16,16,255) 2px solid"><br>From: Theo Dawson &lt;theo@devtestservice.com&gt;<br>Subject: Re: [Rasch] Item arrangement and measure invariance<br>To: "Agustin Tristan" &lt;ici_kalt@yahoo.com&gt;<br>Date: Saturday, September 12, 2009, 8:09 AM<br><br>
<div id="yiv2113565576">There are many ways of teaching to the test. For example, specifically teaching people to game the items, focusing on content knowledge (drill &amp; kill) over understanding and real-world applications, "covering the material" rather than diving in deeper.
<div><br></div>
<div>Testing, especially high stakes testing, drives instruction in many ways. Those of us who make tests are accountable for their effects, many of which are harming our children's minds. Does anyone really think that 3rd graders should spend hours every day learning to fill in bubbles on standardized tests? (I work with teachers who are forced to engage in this practice.) Who is this good for? And who, in their right mind, thinks it is defensible to make major decisions about students' futures on the basis of a single test score? Anyone who really understands the concepts of validity and reliability knows this is an unethical practice. Yet testing services all over the country willingly make tests that are used in this way---and lobby for more.</div>
<div><br></div>
<div>During the last 10 years, I've watched more and more students learn to hate learning (because they are not part of the tiny minority that enjoys memorizing), taught too many undergraduates who have never learned to defend an answer, and encountered way too many people who haven't got a clue how to apply anything they have learned in school to a real-world problem. These students know how to memorize facts and use formulas. They know how to figure out what the teacher wants. These skills are not useful when they leave school. I have also watched good teachers lose heart because they are required to engage in teaching practices that they know are harmful to their students. Who can say this is progress?</div>
<div><br></div>
<div>As a cognitive developmental psychologist and test developer, I think we need to completely rethink testing—its meaning, purpose, methods, and use—if we are really interested in serving the needs of students and societies.&nbsp;</div>
<div><br></div>
<div>When I was conducting my dissertation research, one of my respondents said this, "Testing is part of the conversation between a teacher and a student that tells the teacher what the student is most likely to benefit from learning next." Today's tests have lost sight of this purpose. In fact, I would argue that they have undermined the conversation between students and teachers and helped to de-professionalize teaching. I know we can change this if we have the will.</div>
<div><br></div>
<div>Theo</div>
<div><br></div>
<div><a href="http://discotest.org/" target="_blank" rel="nofollow">discotest.org</a></div>
<div><a href="http://testingsurvey.us/" target="_blank" rel="nofollow">testingsurvey.us</a></div>
<div><br></div>
<div><br>
<div>
<div>On Sep 11, 2009, at 10:02 PM, Agustin Tristan wrote:</div><br class="Apple-interchange-newline">
<blockquote type="cite">
<table cellspacing="0" cellpadding="0" border="0">
<tbody>
<tr>
<td valign="top">
<div>Hello Mike, teaching to the test is out of question at this moment, as nobody knows the items and their distribution.</div>
<div>Regards</div>
<div>Agustin<br><br></div>
<div><font color="#0000bf"><strong>FAMILIA DE PROGRAMAS KALT. </strong></font></div>
<div>Ave. Cordillera Occidental&nbsp; No. 635<br>Colonia&nbsp; Lomas 4ª San Luis Potosí, San Luis Potosí.<br>C.P.&nbsp; 78216&nbsp;&nbsp; MEXICO<br>&nbsp;(52) (444) 8 25 50 76<br>&nbsp;(52) (444) 8 25 50 77<br>&nbsp;(52) (444) 8 25 50 78<br>web page (in Spanish): <font color="#c00000"><strong><a href="http://www.ieia.com.mx/" target="_blank" rel="nofollow">http://www.ieia.com.mx</a></strong></font></div>
<div>web page (in English) <a href="http://www.ieesa-kalt.com/English/Frames_sp_pro.html" target="_blank" rel="nofollow">http://www.ieesa-kalt.com/English/Frames_sp_pro.html</a></div><br><br>--- On <b>Fri, 9/11/09, Mike Linacre (RMT) <i>&lt;<a href="http://us.mc1115.mail.yahoo.com/mc/compose?to=rmt@rasch.org" target="_blank" rel="nofollow" ymailto="mailto:rmt@rasch.org">rmt@rasch.org</a>&gt;</i></b> wrote:<br>
<blockquote style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: rgb(16,16,255) 2px solid"><br>From: Mike Linacre (RMT) &lt;<a href="http://us.mc1115.mail.yahoo.com/mc/compose?to=rmt@rasch.org" target="_blank" rel="nofollow" ymailto="mailto:rmt@rasch.org">rmt@rasch.org</a>&gt;<br>Subject: Re: [Rasch] Item arrangement and measure invariance<br>To: <a href="http://us.mc1115.mail.yahoo.com/mc/compose?to=Rasch@acer.edu.au" target="_blank" rel="nofollow" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>Date: Friday, September 11, 2009, 6:20 PM<br><br>
<div class="plainMail"><br>Agustin:<br><br>Are teachers "teaching to the test", so that students are expecting a specific item ordering?<br><br>Could this be a "Hawthorne Effect" in reverse?<br><br>Mike L.<br><br>At 9/11/2009, you wrote:<br>&gt; A discussion here is that a new item arrangement will produce significantly different difficulties, and worse: always produce higher difficulties. I cannot find a reason to say that a different arrangement of the items will produce SYSTEMATICALLY HIGHER values of the difficulty.<br><br></div></blockquote></td></tr></tbody></table><br>_______________________________________________<br>Rasch mailing list<br><a href="http://us.mc1115.mail.yahoo.com/mc/compose?to=Rasch@acer.edu.au" target="_blank" rel="nofollow" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>https://mailinglist.acer.edu.au/mailman/listinfo/rasch<br></blockquote></div><br></div></div></blockquote></td></tr></tbody></table><br>



      </rasch@acer.edu.au></theo@devtestservice.com></ici_kalt@yahoo.com></blockquote>-------------------------------------------------<p></p>
Please consider the environment before you print
</body><pre>

___________________________________
Donald Van Metre
devium@mindspring.com
Tel: (303) 415-1752  Fax: (303) 415-1796</pre>