<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML xmlns:o = "urn:schemas-microsoft-com:office:office"><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<META content="MSHTML 6.00.2900.3199" name=GENERATOR>
<STYLE></STYLE>
</HEAD>
<BODY bgColor=#ffffff>
<DIV dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> Haans, A. [mailto:A.Haans@tue.nl] 
<BR><B>Sent:</B> Friday, 14 December 2007 2:41 AM<BR><B>To:</B> Steven L. 
Kramer; rasch<BR><B>Cc:</B> Robin Marcus<BR><B>Subject:</B> RE: [Rasch] Rasch 
applied rashly to quash innovation<BR></FONT><BR></DIV>
<DIV></DIV>
<DIV dir=ltr align=left><SPAN class=308132715-13122007><FONT face=Arial 
color=#0000ff size=2>
<P class=MsoNormal style="MARGIN: 0mm 0mm 0pt"><SPAN 
style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">Just some quick 
thoughts,</SPAN><o:p></o:p></P>
<P class=MsoNormal style="MARGIN: 0mm 0mm 0pt"><FONT size=3><FONT 
color=#000000><FONT 
face="Times New Roman">&nbsp;<o:p></o:p></FONT></FONT></FONT></P>
<P class=MsoNormal style="MARGIN: 0mm 0mm 0pt"><SPAN 
style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">In general, one should 
not blindly over-apply models (over-doing something seems wrong by definition), 
and certainly not when the model's predictions do not fit a person's response 
vector. Also: Core-plus students can solve a multiplication like 35 * 27 (if 
simply given a calculator). Conclusion: mathematics ability can only be truly 
unidimensional when the item difficulties are the same regardless of the 
technique used to solve an item (i.e., with or without a calculator). That is, 
the order of the&nbsp;item difficulties should be independent of the method used 
to solve a problem (cheating not allowed, of course). Interestingly, true math 
geniuses often use non-standard methods to solve a 
problem.</SPAN><o:p></o:p></P>
<P class=MsoNormal style="MARGIN: 0mm 0mm 0pt"><FONT size=3><FONT 
color=#000000><FONT 
face="Times New Roman">&nbsp;<o:p></o:p></FONT></FONT></FONT></P>
<P class=MsoNormal style="MARGIN: 0mm 0mm 0pt"><SPAN 
style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">Kind 
regards,</SPAN><o:p></o:p></P>
<P class=MsoNormal style="MARGIN: 0mm 0mm 0pt"><FONT size=3><FONT 
color=#000000><FONT 
face="Times New Roman">&nbsp;<o:p></o:p></FONT></FONT></FONT></P>
<P class=MsoNormal style="MARGIN: 0mm 0mm 0pt"><SPAN 
style="FONT-SIZE: 10pt; COLOR: blue; FONT-FAMILY: Arial">Antal</SPAN><FONT 
size=3><FONT color=#000000><FONT 
face="Times New Roman">&nbsp;<o:p></o:p></FONT></FONT></FONT></P></FONT></SPAN><BR></DIV>
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> rasch-bounces@acer.edu.au 
[mailto:rasch-bounces@acer.edu.au] <B>On Behalf Of </B>Steven L. 
Kramer<BR><B>Sent:</B> donderdag 13 december 2007 16:25<BR><B>To:</B> 
rasch@acer.edu.au<BR><B>Cc:</B> Robin Marcus<BR><B>Subject:</B> [Rasch] Rasch 
applied rashly to quash innovation<BR></FONT><BR></DIV>
<DIV></DIV>
<DIV><FONT face=Arial size=2>Dear Rasch community:</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>I am going to make a controversial and important 
claim, and provide evidence for it.&nbsp; I'd like your response, indicating 
</FONT></DIV>
<DIV><FONT face=Arial size=2>a. Am I wrong? and </FONT></DIV>
<DIV><FONT face=Arial size=2>b. If I'm correct, what can be done about 
it?</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Claim:</FONT></DIV>
<DIV><FONT face=Arial size=2>Adaptive testing in mathematics diagnosis and 
placement is punishing mathematics innovators and harming their students.&nbsp; 
Inappropriate application of Rasch modeling is largely to blame.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>The specific example I have in mind is the Core 
Plus mathematics curriculum and its interaction with the AccuPlacer college 
placement test--but the principle applies to other innovations and other 
tests.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Core Plus was one of the "integrated" high school 
mathematics curricula developed in the 1990s with U.S. National Science 
Foundation funding.&nbsp; It teaches concepts in what the developers believed 
was a superior and easier to learn order than is traditional.&nbsp; Compared to 
Traditional students, pilot testing indicated that first edition Core Plus 
students on average scored much higher on "pre-Calculus" and other advanced 
topics--but somewhat lower on fluent application of Algebra 1 procedures.&nbsp; 
</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Curriculum developers also consciously set out to 
reduce "barriers" denying students access to interesting mathematics they might 
learn.&nbsp; </FONT></DIV>
<DIV><FONT face=Arial size=2>So, a student unable to consistently multiply 35 x 
27 by hand might be given a pocket calculator, and might learn Algebra 1, 
Geometry, and Trigonometry quite well.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>The harm&nbsp;from Accuplacer and other adaptive 
tests resides in inappropriately assuming that mathematics skill is 
unidimensional.&nbsp; Mathematics items are ordered by difficulty on this 
uni-dimensional scale, and it is assumed that a student who is 75% likely to be 
able to solve a word problem that requires setting up simultaneous equations, or 
with a solid conceptual understanding of how multiplication by "i" can be 
conceived as a&nbsp;90 degree rotation in the coordinate plain, &nbsp;is almost 
certain to be able to multiply 35 x 27.&nbsp; But for Core Plus students this 
assumption is not true.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>At the extreme end, the&nbsp;result is this:&nbsp; 
if students are started at the "difficult" problems in an adaptive test like 
Accuplacer, they place into Calculus.&nbsp; If started on the "easy" problems, 
they fail enough so that they place into arithmetic.&nbsp; Most testers start 
with the easiest end of the test and work up--so the Core Plus students and 
teachers are punished.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Similar applications of adaptive testing, e.g. by 
the Northwest Education Association, have been used for formative 
assessment--but&nbsp;they diagnose&nbsp;Core Plus students 
incorrectly.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Bottom line:&nbsp; nothing in real life ever fits a 
model perfectly, and no test or learning construct is ever truly 
unidimensional.&nbsp; But often, tests and constructs are close enough to 
"unidimensional" so that a Rasch model can be applied fruitfully.&nbsp; Often, 
this uni-dimensionality is socially constructed, as when everyone has the same 
math concepts instructed in the same order, so that in typical situations with a 
typically instructed population something like "math skill" can be 
usefully&nbsp;treated as though it were uni-dimensional.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>But in context of an innovation, this 
uni-dimensionality assumption is shattered.&nbsp; And the "rebel" population is 
punished, because people are blindy over-applying the Rasch model--which in an 
adaptive testing environment that starts with typically 'easy' problems punishes 
non-conformists with low scores.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Am I correct?&nbsp; And what should be 
done?</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Steve Kramer</FONT></DIV>
<DIV><FONT face=Arial size=2>Arcadia&nbsp; University</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV></BODY></HTML>