<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">
<HTML>
<HEAD>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<META NAME="Generator" CONTENT="MS Exchange Server version 6.5.7652.24">
<TITLE>RE: [Rasch] Noise in observations ...</TITLE>
</HEAD>
<BODY>
<!-- Converted from text/plain format -->

<P><FONT SIZE=2>Paul:<BR>
<BR>
It is most interesting to me that I have found Rasch provides an excellent model of affective responses (including apperception measures) such as teacher dispositions and complex behaviors, multiple observations, and focus group scoring.&nbsp; I suspect, since I don't know exactly what your applications are, that the key to my finding Rasch more useful would fall in this paragraph of your post:<BR>
<BR>
&quot;My own &quot;research&quot; work and thinking nowadays is exactly that, seeking<BR>
optimal ways of scoring &quot;assessments&quot; (whether questionanire items,<BR>
scales, behavioral indicators/observations, or whatever, in terms of<BR>
maximizing cross-validated predictive validity - and establishing a set<BR>
of clear empirical relations first between &quot;variables&quot; - before<BR>
attempting (if at all) to impose a more formal data model upon them.&quot;<BR>
<BR>
Establishing VALIDITY has also been my primary concern.&nbsp; I've found Rasch developed scales worked exceptionally well in circumstances similar to your description.&nbsp; I'm not sure if email is the way to get into details and we've already been referring to dissertation length documents.&nbsp; Regardless, I can't imagine any stronger arguments for using Rasch than researching validity. My &quot;optimal ways&quot; acknowledge issues of growth, rater errors, and systematic detection of bias.&nbsp; Rasch is robust for missing data, works well with &quot;acceptable&quot; connectivity, and is sensitive to finding the issues of interest in exactly the type of assessments you describe.&nbsp; This would include threshold analysis and disordered categories, estimates of the effects of interventions on measure changes, and all kinds of anchoring/equating options. My Rasch constructed instruments target validity (for example, at assessing affect in alternative assessment teacher candidates) and useful aggregation in a messy world.<BR>
<BR>
I admit this is not John Exner, but I probably would differ from you as I usually spend inordinate time visualizing and mapping (imposing a formal model?) on the construct of interest.&nbsp; I doubt there is a convergence of current classical analysis with the set of Rasch tools except under specific circumstances such as the ACT described in the earlier dissertation.&nbsp;<BR>
<BR>
If Rasch &quot;mathematics&quot; are not convincing, perhaps a serious attempt at your most pressing issues in the paragraph cited would empirically demonstrate if Rasch worked as part of a specific context.&nbsp;&nbsp; If you attempted a &quot;formal model&quot; of the construct, applied the Rasch model, and looked at fit analyses; I would be surprised if the validation research wasn't meaningful and practical for complex assessments and aggregations.&nbsp; I'll include some links below (not specifically aimed at explaining Rasch, but as examples that incorporate Rasch), because I think they target very similar applications to those you describe and are intended to be user friendly in case the economics of conveying the results to others is of interest.<BR>
<BR>
Steve Lang,<BR>
University of South Florida St. Petersburg<BR>
<BR>
(This is not meant as an advertisement; as Trevor points out, none of us are going to be confused with Steven King when the Amazon ranking hovers around one million!)<BR>
<BR>
<A HREF="http://www.corwinpress.com/booksProdDesc.nav?prodId=Book229866">http://www.corwinpress.com/booksProdDesc.nav?prodId=Book229866</A><BR>
<A HREF="http://www.corwinpress.com/booksProdDesc.nav?prodId=Book230703">http://www.corwinpress.com/booksProdDesc.nav?prodId=Book230703</A><BR>
<BR>
<BR>
<BR>
<BR>
-----Original Message-----<BR>
From: rasch-bounces@acer.edu.au on behalf of Paul Barrett<BR>
Sent: Sun 11/4/2007 4:24 PM<BR>
To: rasch@acer.edu.au<BR>
Subject: RE: [Rasch] Noise in observations ...<BR>
<BR>
<BR>
<BR>
<BR>
________________________________<BR>
<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; From: Denny Borsboom [<A HREF="mailto:d.borsboom@uva.nl">mailto:d.borsboom@uva.nl</A>]<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Sent: Monday, November 05, 2007 9:28 AM<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; To: Paul Barrett<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Subject: Re: [Rasch] Noise in observations ...<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Hi Paul,<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Thanks for your interesting post. I'm wondering why you would<BR>
use sumscores and not, say, product scores or any other of the millions<BR>
of alternative ways of aggregating items?<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Best<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Denny<BR>
<BR>
Ha!<BR>
<BR>
Hello Denny - funny you should ask that ..<BR>
<BR>
The answer has to be that intuitively, a simple sumscore is the most<BR>
basic way of representing something as crude as &quot;more of this = more or<BR>
less of that&quot; - with no more thought than this applied to such an<BR>
approach. It really is a kind of &quot;basic&quot; thinking that I'm sure is so<BR>
intuitive as it requires nothing more than simple addition of item<BR>
responses.<BR>
<BR>
The key here is how you treat that &quot;summation&quot;. i.e. whether you<BR>
continue to rely upon the additivity assumption and so end up with CTT<BR>
and and a whole host of &quot;data-model-presumptive&quot; indices - or keep<BR>
remembering that really these magnitudes might just as well be crude<BR>
orders and so use them as ordered classes and seek evidence for what<BR>
these classes might indicate in terms of some expected set of outcomes.<BR>
<BR>
My own &quot;research&quot; work and thinking nowadays is exactly that, seeking<BR>
optimal ways of scoring &quot;assessments&quot; (whether questionanire items,<BR>
scales, behavioral indicators/observations, or whatever, in terms of<BR>
maximizing cross-validated predictive validity - and establishing a set<BR>
of clear empirical relations first between &quot;variables&quot; - before<BR>
attempting (if at all) to impose a more formal data model upon them.<BR>
<BR>
Indeed, I have said in several presentations now that I think the next<BR>
big advances in psychology will be in how we combine &quot;variables&quot; to<BR>
predict outcomes, rather than concerning ourselves too much with the<BR>
task of trying to create ever more precise measurement of the variables<BR>
(because I've also adopted a view that psychology is more likely a<BR>
non-quantitative science).<BR>
<BR>
I know, this all looks very sloppy and &quot;informal&quot; against the precision<BR>
and elegance of Rasch and Latent Variable modeling in general, but I<BR>
really do think these methods require assumptions about the proposed<BR>
causality of such variables (i.e the biological/cognitive systems which<BR>
are proposed as maintaining the desired response precision in terms of<BR>
measured &quot;equal-interval&quot; magnitudes) which are not very plausible given<BR>
the current knowledge we have about neuroscience and cognitions (such as<BR>
Gigerenzer's work etc.)<BR>
<BR>
Of course, whether such arguments or reasoning apply to the area of<BR>
&quot;educational&quot; and &quot;medico-diagnostic&quot; variables to which many would<BR>
apply a Rasch model is a moot point.<BR>
<BR>
And, I suffer doubts every day about this ... as to move from a strong<BR>
quantitative &quot;imperative&quot; to one that says &quot;it's all a bit fuzzy&quot; but<BR>
that's how we humans actually are so deal with it accordingly - is a<BR>
huge step back in many onlooker's eyes (althouh I have said this is a<BR>
paradox in that one's predictions might well increase in accuracy<BR>
given that the criterion itself is reduced to a real-world degree of<BR>
precision). But this is another issue; I only mention it here to provide<BR>
some little background as to why I'm less convinced than some by &quot;test<BR>
theory&quot;, &quot;Rasch, and psychometrics in general. I may be quite wrong.<BR>
<BR>
If anybody is interested in my latest presentation papers surrounding<BR>
this issue - whizz over <A HREF="http://www.pbarrett.net/NZ_Psych_2007.htm">http://www.pbarrett.net/NZ_Psych_2007.htm</A> ...<BR>
and take a quick look ...<BR>
but I'm not sure if these really are relevant to the Rasch community -<BR>
as these do not address edumetrics or educational issues per se.<BR>
<BR>
Regards .. Paul<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
Paul Barrett, Ph.D.<BR>
<BR>
2622 East 21st Street | Tulsa, OK&nbsp; 74114<BR>
<BR>
Chief Research Scientist<BR>
<BR>
Office | 918.749.0632&nbsp; Fax | 918.749.0635<BR>
<BR>
pbarrett@hoganassessments.com<BR>
<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
<BR>
hoganassessments.com &lt;<A HREF="http://www.hoganassessments.com/">http://www.hoganassessments.com/</A>&gt;<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
</FONT>
</P>

</BODY>
</HTML>