<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML xmlns:o = "urn:schemas-microsoft-com:office:office"><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<STYLE>body{font-family: Geneva,Arial,Helvetica,sans-serif;font-size:9pt;background-color: #ffffff;color: black;}</STYLE>

<META content="MSHTML 6.00.6000.16544" name=GENERATOR></HEAD>
<BODY id=compText onunload="">
<DIV dir=ltr align=left><FONT size=2>
<BLOCKQUOTE dir=ltr 
style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
  <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
  <HR tabIndex=-1>
  <FONT face=Tahoma size=2><B>From:</B> rasch-bounces@acer.edu.au 
  [mailto:rasch-bounces@acer.edu.au] <B>On Behalf Of 
  </B>renselange@earthlink.net<BR><B>Sent:</B> Tuesday, October 30, 2007 5:28 
  AM<BR><B>To:</B> Anthony James; rasch@acer.edu.au<BR><B>Subject:</B> Re: 
  [Rasch] Fan<BR></FONT><BR></DIV>
  <DIV></DIV>
  <P><FONT color=#0000ff>My take on this is "so what" as well. Getting "scores" 
  is hardly the main achievement of Rasch modeling.&nbsp;There simply&nbsp;is 
  little appreciable difference between raw score sums&nbsp;and the Rasch model, 
  as well as estimates obtained via one, two, or three-parameter logistic 
  models.</FONT> </P></BLOCKQUOTE></FONT></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>Hello 
Reese</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>There you 
have it in a nutshell, why many scientists&nbsp;(vs psychometricians) concerned 
with explaining substantive phenomena, sometimes using questionnaire data, are 
not concerned with itemmetric models. </FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>Edumetrics 
is frankly "technician work";&nbsp;the utility and benefits of probabilistic 
modeling of item&nbsp;response data&nbsp;seems&nbsp;to be irrelevant to 
explaining or predicting phenomenal outcomes more accurately.&nbsp;&nbsp;Whilst 
other benefits might accrue to those primarily concerned with examinations, 
licensing, or other such pragmatic ventures, </FONT></SPAN><SPAN 
class=087052720-29102007><FONT size=2>as&nbsp;a scientist, you are concerned 
with minimizing substantive error in any&nbsp;predictions you might make on the 
basis of theory or&nbsp;even "dustbowl" 
empiricism.&nbsp;&nbsp;</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>As you state 
Reese, there is no substantive difference between probabilistic (latent 
variable) &nbsp;or deterministic (raw score) scale scores. Which, by default, 
means all of the Metametrics Lexile and Quantile work could have been achieved 
using conventional&nbsp;deterministic/actuarial score algorithms (now there's a 
sobering thought).. </FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>Whether or 
not IRT is a more "efficient" method of going about these activities seems to be 
the issue - which is an important one neverthless. </FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT size=2><SPAN class=087052720-29102007>But what use 
is "efficiency" when the magnitudes obtained are equivalent to just summing up 
item responses? Person reliability can easily be computed without any fuss using 
conventional item difficulties and rank order response discrepancy (between item 
difficulty ranking and observed item responses). You don't need a "data model" 
for this simple heuristic. Cross-validation sorts out 
replicability.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT size=2><SPAN 
class=087052720-29102007></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT size=2><SPAN class=087052720-29102007>I'm not so 
sure IRT is any more efficient at all than a sensible and intelligent approach 
to construct assessment, except perhaps where edumetrics is concerned - but even 
here, where are the advantages to be seen, and by whom?</SPAN>&nbsp;<SPAN 
class=087052720-29102007>Are educational standards improving because of IRT 
methods being applied?</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT size=2><SPAN 
class=087052720-29102007></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>As far as I 
can see, the only reason IRT came into existence was because Rasch and others 
were&nbsp;fascinated with test theory, statistical data models, and fundamental 
measurement, instead of the actual phenomena of interest, and capturing these 
directly without the need for&nbsp;bucketloads of &nbsp;assumptions or 
practically incomprehensible algebra and math.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>Indeed, what 
is apparent (to me at least)&nbsp;is that&nbsp;the major source of 
explanatory/predictive&nbsp;error&nbsp;is&nbsp;not in the "measurement" metrics 
per se, but in the concepts we invoke to explain phenomena, and how we actually 
try to measure or assess "magnitudes" on them.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>And, I 
haven't forgotten my reply to Andrew or Moritz(!)&nbsp;- but I'm flat out on an 
interrater discrepancy/reliability program right now - for the next 5 days or so 
- but I couldn't resist replying to this as I've seen the same "even though 
there is no difference, this is still wonderful stuff" statements in a recent 
paper comparing Ideal Point unfolding models, dominance IRT, and simple raw 
score methods ...</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007></SPAN><SPAN 
class=087052720-29102007><FONT size=2><SPAN 
class=616551421-18102007></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left>
<DIV><FONT size=2><SPAN class=616551421-18102007>Cherneyshenko, O.S., Stark, S., 
Drasgow, F., &amp; Roberts, B.W. (2007) Constructing personality scales under 
the assumption of an Ideal Point response process: toward increasing the 
flexibility of personality measures. <EM>Psychological Assessment</EM>, 19, 1, 
88-106.&nbsp;</SPAN></FONT></DIV>
<DIV><FONT size=2></FONT>&nbsp;</DIV>
<DIV><FONT size=2><SPAN class=616551421-18102007>See page 103, Col 2, 2nd para 
beginning "Note also that examination&nbsp;of correlations .. " ... which 
contains the sentence ... "<FONT color=#000080>The use of ideal point methods, 
however, is unlikely to yield increases in criterion-related 
validities</FONT>"</SPAN></FONT></DIV>
<DIV><FONT size=2><SPAN class=616551421-18102007></SPAN></FONT>&nbsp;</DIV>
<DIV><FONT size=2><SPAN class=616551421-18102007>and then read the 1st para of 
the discussion .. </SPAN></FONT></DIV>
<DIV><FONT size=2><SPAN class=616551421-18102007></SPAN></FONT>&nbsp;</DIV>
<DIV><FONT size=2><SPAN class=616551421-18102007>Their argument, as far as I can 
see, is more about the technicalities/differential pragmatic benefits&nbsp;of 
test construction ...and the consequences on particular measurement ranges 
within a scale. </SPAN></FONT></DIV>
<DIV><FONT size=2><SPAN class=616551421-18102007></SPAN></FONT>&nbsp;</DIV>
<DIV><SPAN class=616551421-18102007><FONT size=2>But, if the criterion 
prediction remains the same - what is the achieved real-world&nbsp;<SPAN 
class=087052720-29102007>or scientific </SPAN>benefit? </FONT></SPAN></DIV>
<DIV><FONT size=2><SPAN class=616551421-18102007></SPAN></FONT>&nbsp;</DIV>
<DIV><FONT size=2><SPAN class=616551421-18102007>I have the feeling they are 
discovering that the real problem is not with the technology of assessment, but 
with the very nature of the constructs we try to 
assess.</SPAN></FONT></DIV></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>However, 
this is not a call to undo or dump IRT - as those like Metametrics, ACER, and 
others&nbsp;who have generated impressive measurement and assessment systems 
around IRT are testament to its functionality, utility, and 
profitability.&nbsp;</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>This is 
merely a statement which says that it is just another way of "modeling data" and 
constructing test scores which has proved to have no tangible advantages over 
any other "intelligent" method of analyzing data to make important 
decisions.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>If you think 
think this is unfair, consider the&nbsp;development of the 
"perceptron"&nbsp;(The perceptron is a type of artificial neural network 
invented in 1957 at the Cornell Aeronautical Laboratory by Frank Rosenblatt .. 
Wikipedia). In 50 years look at what&nbsp;this simple "algorithm" for a neural 
net has spawned .. an entire&nbsp;new area&nbsp;of psychological 
science&nbsp;investigation "connectionist cognitive psychology", a 
neurophysiological model for developmental brain networks and brain 
function,&nbsp;artificial intelligence, computational biology,&nbsp;and 
literally physical working models of the development of human intelligence, 
stock market trading algorithms, seriously accurate&nbsp;market research/brand 
analysis&nbsp;prediction models, security camera person-feature detection, 
biometric sensors, handwriting, and speech detection, etc, etc.. 
</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>And what has 
IRT spawned in the same period? A&nbsp;few tests which are almost 
indistinguishable from the old tests,&nbsp;hundreds of books and thousands of 
papers on test theory and tiny one-shot applications for which CTT would have 
done the same job just as well - and was probably doing so,&nbsp;and a few 
major-league companies who sell the technology and some of its results to 
others.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>If I am to 
do any work as a psychological scientist - I want to be the inventor of&nbsp; a 
"perceptron", and not the inventor of yet another "test theory" - which is why 
methods which predict or measure no better than simple "back of the matchbox" 
algorithms or heuristics&nbsp;are not given the "time of day" by those like 
myself who want to make big strides in our science.&nbsp;</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>So, in 
response to:"<FONT color=#0000ff>The main problem here is that non-IRT folks 
often do not (or cannot) even conceive of the possibilities afforded by test / 
form equating, item / person fit and bias testing, Hence, the advantages of all 
this appear rather "academic" ( read: useless).</FONT> " ..</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>You now have 
a better idea why&nbsp;some like me really don't bother with IRT at all anymore 
- it's virtually irrelevant to substantive progress in psychological science. 
And, if you need to make decisions using test scores, why bother when a simple 
sum score interpreted using representative population norms and other relevant 
and somewhat more obvious item and scale statistics does "the business" just as 
well as scores&nbsp;and indices associated with the "latent variable" work which 
only a "psychometric&nbsp; wizard" can seemingly convey!</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>What made 
the neural net so easy to "sell" was that it predicted valuable and substantive 
outcomes for which no other model came close. That's why it was grabbed with 
open arms by those "non-academics and academics" alike who looked at the results 
and thought " I've gotta have this ". Sheesh, even Shepard, Kruskal, Lingoes, 
and Guttman's non-metric Multidimensional Scaling algorithms had a bigger impact 
in 10 years from their inception than IRT.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>Until IRT, 
unfolding, or any test theory model can produce that "wow" effect - they 
will&nbsp;remain "niche"&nbsp;activities for a minority of individuals in a tiny 
sub-domain of the social and human sciences.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT 
size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007><FONT size=2>Regards ... 
Paul</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=087052720-29102007></SPAN><SPAN 
class=087052720-29102007></SPAN><SPAN class=087052720-29102007></SPAN><SPAN 
class=087052720-29102007></SPAN><SPAN class=087052720-29102007></SPAN><SPAN 
class=087052720-29102007></SPAN><SPAN class=087052720-29102007></SPAN><FONT 
size=2></FONT>&nbsp;</DIV>
<DIV><FONT size=2></FONT>&nbsp;</DIV><FONT color=#000000><FONT 
color=#000000><SPAN 
style="FONT-SIZE: 10pt; FONT-FAMILY: Arial; mso-no-proof: yes">
<DIV align=left>
<DIV align=left>
<DIV class=Section1>
<DIV align=left>
<TABLE class=MsoNormalTable id=table1 
style="WIDTH: 375pt; BORDER-COLLAPSE: collapse" cellSpacing=0 cellPadding=0 
width=500 align=left border=0>
  <TBODY>
  <TR style="HEIGHT: 49.5pt">
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 167.25pt; PADDING-TOP: 0in; HEIGHT: 49.5pt" 
    width=223>
      <P class=MsoNormal><IMG height=66 src="cid:087052720@29102007-1B7E" 
      width=150 border=0></P></TD>
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 207.75pt; PADDING-TOP: 0in; HEIGHT: 49.5pt" 
    width=277>
      <P class=MsoNormal>&nbsp;</P></TD></TR>
  <TR style="HEIGHT: 10.5pt">
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 167.25pt; PADDING-TOP: 0in; HEIGHT: 10.5pt" 
    width=223>
      <P class=MsoNormal style="LINE-HEIGHT: 10.5pt"><SPAN 
      style="FONT-SIZE: 8pt; COLOR: #808080"><B><SPAN 
      style="FONT-FAMILY: Arial">Paul Barrett, Ph.D.</SPAN></B></SPAN></P></TD>
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 207.75pt; PADDING-TOP: 0in; HEIGHT: 10.5pt" 
    width=277>
      <P class=MsoNormal style="LINE-HEIGHT: 10.5pt"><B><SPAN 
      style="FONT-SIZE: 8pt; COLOR: gray; FONT-FAMILY: Arial">2622 East 21st 
      Street | <!--StartFragment-->Tulsa, OK&nbsp; 74114</SPAN></B></P></TD></TR>
  <TR style="HEIGHT: 10.5pt">
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 167.25pt; PADDING-TOP: 0in; HEIGHT: 10.5pt" 
    width=223>
      <P class=MsoNormal style="LINE-HEIGHT: 10.5pt"><SPAN 
      style="FONT-SIZE: 8pt; COLOR: #808080"><B><SPAN 
      style="FONT-FAMILY: Arial">Chief Research 
    Scientist</SPAN></B></SPAN></P></TD>
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 207.75pt; PADDING-TOP: 0in; HEIGHT: 10.5pt" 
    width=277>
      <P class=MsoNormal style="LINE-HEIGHT: 10.5pt"><B><SPAN 
      style="FONT-SIZE: 8pt; COLOR: gray; FONT-FAMILY: Arial">Office | 
      918.749.0632&nbsp; Fax | 918.749.0635</SPAN></B></P></TD></TR>
  <TR style="HEIGHT: 10.5pt">
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 167.25pt; PADDING-TOP: 0in; HEIGHT: 10.5pt" 
    width=223>
      <P class=MsoNormal style="LINE-HEIGHT: 10.5pt"><B><SPAN 
      style="FONT-SIZE: 8pt; COLOR: gray; FONT-FAMILY: Arial">pbarrett@hoganassessments.com</SPAN></B></P></TD>
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 207.75pt; PADDING-TOP: 0in; HEIGHT: 10.5pt" 
    width=277>
      <P class=MsoNormal style="LINE-HEIGHT: 10.5pt"><B><SPAN 
      style="FONT-SIZE: 8pt; COLOR: gray; FONT-FAMILY: Arial">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      </SPAN></B></P></TD></TR>
  <TR style="HEIGHT: 14.25pt">
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 167.25pt; PADDING-TOP: 0in; HEIGHT: 14.25pt" 
    width=223>
      <P class=MsoNormal><B><SPAN style="FONT-FAMILY: Arial"><A 
      title=http://www.hoganassessments.com/ 
      href="http://www.hoganassessments.com/"><SPAN 
      title=http://www.hoganassessments.com/ 
      style="FONT-SIZE: 8pt; COLOR: gray; TEXT-DECORATION: none">hoganassessments.com</SPAN></A></SPAN></B></P></TD>
    <TD 
    style="PADDING-RIGHT: 0in; PADDING-LEFT: 0in; PADDING-BOTTOM: 0in; WIDTH: 207.75pt; PADDING-TOP: 0in; HEIGHT: 14.25pt" 
    width=277>
      <P class=MsoNormal><SPAN 
  style="FONT-FAMILY: Arial"></SPAN>&nbsp;</P></TD></TR></TBODY></TABLE></DIV>
<P class=MsoNormal style="MARGIN-LEFT: -5.25pt">&nbsp;</P></DIV>
<P>&nbsp;</P></DIV></DIV></SPAN><SPAN style="mso-no-proof: yes">
<P></P>
<P><FONT size=2></FONT>&nbsp;</P></SPAN></FONT></FONT>
<DIV>&nbsp;</DIV></BODY></HTML>