<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<META content="MSHTML 6.00.6000.16587" name=GENERATOR>
<STYLE></STYLE>
</HEAD>
<BODY bgColor=#ffffff>
<DIV><FONT face=Arial size=2>Dear Rasch community:</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>I am going to make a controversial and important 
claim, and provide evidence for it.&nbsp; I'd like your response, indicating 
</FONT></DIV>
<DIV><FONT face=Arial size=2>a. Am I wrong? and </FONT></DIV>
<DIV><FONT face=Arial size=2>b. If I'm correct, what can be done about 
it?</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Claim:</FONT></DIV>
<DIV><FONT face=Arial size=2>Adaptive testing in mathematics diagnosis and 
placement is punishing mathematics innovators and harming their students.&nbsp; 
Inappropriate application of Rasch modeling is largely to blame.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>The specific example I have in mind is the Core 
Plus mathematics curriculum and its interaction with the AccuPlacer college 
placement test--but the principle applies to other innovations and other 
tests.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Core Plus was one of the "integrated" high school 
mathematics curricula developed in the 1990s with U.S. National Science 
Foundation funding.&nbsp; It teaches concepts in what the developers believed 
was a superior and easier to learn order than is traditional.&nbsp; Compared to 
Traditional students, pilot testing indicated that first edition Core Plus 
students on average scored much higher on "pre-Calculus" and other advanced 
topics--but somewhat lower on fluent application of Algebra 1 procedures.&nbsp; 
</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Curriculum developers also consciously set out to 
reduce "barriers" denying students access to interesting mathematics they might 
learn.&nbsp; </FONT></DIV>
<DIV><FONT face=Arial size=2>So, a student unable to consistently multiply 35 x 
27 by hand might be given a pocket calculator, and might learn Algebra 1, 
Geometry, and Trigonometry quite well.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>The harm&nbsp;from Accuplacer and other adaptive 
tests resides in inappropriately assuming that mathematics skill is 
unidimensional.&nbsp; Mathematics items are ordered by difficulty on this 
uni-dimensional scale, and it is assumed that a student who is 75% likely to be 
able to solve a word problem that requires setting up simultaneous equations, or 
with a solid conceptual understanding of how multiplication by "i" can be 
conceived as a&nbsp;90 degree rotation in the coordinate plain, &nbsp;is almost 
certain to be able to multiply 35 x 27.&nbsp; But for Core Plus students this 
assumption is not true.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>At the extreme end, the&nbsp;result is this:&nbsp; 
if students are started at the "difficult" problems in an adaptive test like 
Accuplacer, they place into Calculus.&nbsp; If started on the "easy" problems, 
they fail enough so that they place into arithmetic.&nbsp; Most testers start 
with the easiest end of the test and work up--so the Core Plus students and 
teachers are punished.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Similar applications of adaptive testing, e.g. by 
the Northwest Education Association, have been used for formative 
assessment--but&nbsp;they diagnose&nbsp;Core Plus students 
incorrectly.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Bottom line:&nbsp; nothing in real life ever fits a 
model perfectly, and no test or learning construct is ever truly 
unidimensional.&nbsp; But often, tests and constructs are close enough to 
"unidimensional" so that a Rasch model can be applied fruitfully.&nbsp; Often, 
this uni-dimensionality is socially constructed, as when everyone has the same 
math concepts instructed in the same order, so that in typical situations with a 
typically instructed population something like "math skill" can be 
usefully&nbsp;treated as though it were uni-dimensional.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>But in context of an innovation, this 
uni-dimensionality assumption is shattered.&nbsp; And the "rebel" population is 
punished, because people are blindy over-applying the Rasch model--which in an 
adaptive testing environment that starts with typically 'easy' problems punishes 
non-conformists with low scores.</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Am I correct?&nbsp; And what should be 
done?</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial size=2>Steve Kramer</FONT></DIV>
<DIV><FONT face=Arial size=2>Arcadia&nbsp; University</FONT></DIV>
<DIV><FONT face=Arial size=2></FONT>&nbsp;</DIV></BODY></HTML>