<div dir="ltr"><div>Stephen,</div>
<div>&nbsp;</div>
<div>Great response, thank you.&nbsp; Yes, the difference between my desktop experiment with dots and what Rasch does is that in my experiment the logit locations of the items (cm increments) are being calculated without subtracting out the abilities of the persons.&nbsp; This is very important and accounts for why, in Rasch,&nbsp;items can be shown to spread out the same way regardless of the shape of the person distribution.&nbsp;&nbsp;</div>

<div>&nbsp;</div>
<div>Nonetheless, I think Paul&#39;s argument remains formidable&nbsp;and that logit measures do not necessarily reflect a fundamental unit, but rather a &quot;joint agreement&quot; between persons and items to erect a &quot;count-ratio&quot; space that models both optimally.&nbsp; Rash measures are thus invariant only when the objects being measured are forced to participate in the same space.</div>

<div>&nbsp;</div>
<div>I should note that my own uncertainties in this area,&nbsp;the measurement properties of ratios of counts, have led me increasingly to work in &quot;expected value&quot; metrics whose meanings are at least explicit, even if they have other issues.</div>

<div>&nbsp;</div>
<div>Mark</div>
<div>&nbsp;</div>
<div>&nbsp;</div>
<div>&nbsp;</div>
<div>&nbsp;</div>
<div class="gmail_quote">On Tue, Jul 22, 2008 at 1:21 PM, &lt;<a href="mailto:rasch-request@acer.edu.au">rasch-request@acer.edu.au</a>&gt; wrote:<br>
<blockquote class="gmail_quote" style="PADDING-LEFT: 1ex; MARGIN: 0px 0px 0px 0.8ex; BORDER-LEFT: #ccc 1px solid">Send Rasch mailing list submissions to<br>&nbsp; &nbsp; &nbsp; &nbsp;<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>
<br>To subscribe or unsubscribe via the World Wide Web, visit<br>&nbsp; &nbsp; &nbsp; &nbsp;<a href="http://mailinglist.acer.edu.au/mailman/listinfo/rasch" target="_blank">http://mailinglist.acer.edu.au/mailman/listinfo/rasch</a><br>or, via email, send a message with subject or body &#39;help&#39; to<br>
&nbsp; &nbsp; &nbsp; &nbsp;<a href="mailto:rasch-request@acer.edu.au">rasch-request@acer.edu.au</a><br><br>You can reach the person managing the list at<br>&nbsp; &nbsp; &nbsp; &nbsp;<a href="mailto:rasch-owner@acer.edu.au">rasch-owner@acer.edu.au</a><br><br>When replying, please edit your Subject line so it is more specific<br>
than &quot;Re: Contents of Rasch digest...&quot;<br><br><br>Today&#39;s Topics:<br><br>&nbsp; 1. Re: Rasch analysis of interval data (Stephen Humphry)<br>&nbsp; 2. RE: Rasch analysis of interval data (Stephen Humphry)<br><br><br>----------------------------------------------------------------------<br>
<br>Message: 1<br>Date: Wed, 23 Jul 2008 03:56:07 +0800<br>From: Stephen Humphry &lt;<a href="mailto:shumphry@cyllene.uwa.edu.au">shumphry@cyllene.uwa.edu.au</a>&gt;<br>Subject: Re: [Rasch] Rasch analysis of interval data<br>
To: <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>Message-ID: &lt;<a href="mailto:20080723035607.j0wpps5q8084c8sw@webmail-2.ucs.uwa.edu.au">20080723035607.j0wpps5q8084c8sw@webmail-2.ucs.uwa.edu.au</a>&gt;<br>
Content-Type: text/plain; &nbsp; &nbsp; &nbsp; charset=ISO-8859-1; &nbsp; &nbsp; DelSp=&quot;Yes&quot;;<br>&nbsp; &nbsp; &nbsp; &nbsp;format=&quot;flowed&quot;<br><br><br>Mark, you say:<br><br>&gt;<br>&gt; I think your point is amplified by a simple desktop experiment. &nbsp;Lay a ruler<br>
&gt; on a sheet of paper. &nbsp;Draw dots (representing persons, say) in various<br>&gt; distributions on the paper. &nbsp;For each centimeter increment on the ruler<br>&gt; (representing items), count the dots above and below that increment and<br>
&gt; calculate their log ratio. &nbsp;One finds that the logit spacings of the ruler<br>&gt; increments may be highly unequal (unlike the centimeters), depending on how<br>&gt; one distributes the dots. &nbsp;If one distributes the dots equally up and down<br>
&gt; the ruler, the logit lengths between increments appear to get fatter at the<br>&gt; extremes. &nbsp;If one clumps the dots in multiple modes, the logit lengths can<br>&gt; be distorted in all sorts of cool ways. &nbsp;Interestingly, as the distribution<br>
&gt; approaches normal, the logit lengths between increments seem to approach a<br>&gt; linear relationship with the centimeters, (I don&#39;t have a proof for why this<br>&gt; would be true, but presumably it has something to do with the relationship<br>
&gt; between the logistic and normal distributions and may account for the<br>&gt; similarity between independently calibrated scales).<br><br>The problem is that if the cm increments are taken to be analogous to<br>items the dots you describe do not represent person locations as<br>
modeled in the dichotomous Rasch model. The conditional expression of<br>the dichotomous Rasch model has no person parameters. Given the way<br>you are obtaining logits, the dots are analogous to the errors in<br>Thurstone&#39;s Case V of the law of comparative judgment, in which there<br>
is only one kind of parameter (for items or a stimulus). The law of<br>comparative judgment is the same as the Bradley-Terry-Luce model, when<br>the logistic applies not the cumulative normal. You are correct about<br>the reason the logits have apprxomiately a linear correspondence with<br>
cm when the distribution approaches normality. However, treating the<br>dots as persons in the case you describe is incompatible with the<br>dichotomous Rasch model; so the conclusions reached have nothing to do<br>with the dichotomous Rasch model.<br>
<br>Thining in terms of Thurstone&#39;s model, in your computation of logits<br>you are treating the dots as errors but in your analogy you are<br>treating the dots as person locations. A quick response but I&#39;m pretty<br>
sure that is the problem.<br><br>Steve<br><br>&gt;<br>&gt;<br>&gt;<br>&gt; 2008/7/21 Paul Barrett &lt;<a href="mailto:pbarrett@hoganassessments.com">pbarrett@hoganassessments.com</a>&gt;:<br>&gt;<br>&gt;&gt; &nbsp; *From:* <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>] *On<br>
&gt;&gt; Behalf Of *Anthony James<br>&gt;&gt; *Sent:* Wednesday, July 16, 2008 7:19 AM<br>&gt;&gt; *To:* <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>&gt;&gt; *Subject:* [Rasch] Rasch analysis of interval data<br>
&gt;&gt;<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; Hi all,<br>&gt;&gt;<br>&gt;&gt; Has anyone ever tried to Rasch analyse a variable for which there&#39;s<br>&gt;&gt; concatenation-based objective measurement? Suppose we make a height scale<br>
&gt;&gt; with 6 points:<br>&gt;&gt;<br>&gt;&gt; &nbsp;------------------------------<br>&gt;&gt; &nbsp;*From:* <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>] *On<br>
&gt;&gt; Behalf Of *Andrew Kyngdon<br>&gt;&gt; *Sent:* Wednesday, July 16, 2008 8:13 AM<br>&gt;&gt; *To:* <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>&gt;&gt; *Subject:* RE: [Rasch] Rasch analysis of interval data<br>
&gt;&gt; I think Paul Barrett did something like this once...<br>&gt;&gt;<br>&gt;&gt; &nbsp;------------------------------<br>&gt;&gt;<br>&gt;&gt; Yep - 10 years ago to be exact!<br>&gt;&gt;<br>&gt;&gt; Sorry I haven&#39;t replied until now ...<br>
&gt;&gt;<br>&gt;&gt; The presentation about the simulation can be downloaded at:<br>&gt;&gt;<br>&gt;&gt; <a href="http://www.pbarrett.net/presentations/BPS-rasch_98.pdf" target="_blank">http://www.pbarrett.net/presentations/BPS-rasch_98.pdf</a><br>
&gt;&gt;<br>&gt;&gt; From my web-page abstract ...<br>&gt;&gt; *Beyond Psychometrics: the recovery of a standard unit of length*: This<br>&gt;&gt; 50-slide presentation was given at the British Psychological Society&#39;s<br>
&gt;&gt; Division of Occupational Psychology conference: Assessment in the<br>&gt;&gt; Millennium: Beyond Psychometrics, November 1998, &nbsp;at Birkbeck (University of<br>&gt;&gt; London). The theme of this presentation was about Rasch scaling, and its<br>
&gt;&gt; capacity to construct a standard unit from observational data. This<br>&gt;&gt; presentation contained a data simulation that attempted to hide a true<br>&gt;&gt; quantitatively structured latent variable of length behind some poor ordinal<br>
&gt;&gt; observations. All the Rasch scaling did was to construct an equal-interval<br>&gt;&gt; latent variable of ordinal lengths! This simulation was heavily criticised<br>&gt;&gt; Ben Wright and others, and I have included these criticisms as an addendum<br>
&gt;&gt; to the presentation - along with my reply. However, recent papers seem to<br>&gt;&gt; have vindicated my conclusions in some respects.....The reality is that<br>&gt;&gt; these methods simply construct linear latent variables in complete isolation<br>
&gt;&gt; of any empirical evidence that such variables might indeed be quantitatively<br>&gt;&gt; structured.. In my opinion, from a scientific perspective, these scaling<br>&gt;&gt; methods are frankly of little utility, but they are ingenious from a<br>
&gt;&gt; psychometric perspective and do have great utility in a more pragmatic<br>&gt;&gt; sense. It all comes down to what the purpose is for using such scaling,<br>&gt;&gt; science or number scaling.<br>&gt;&gt;<br>&gt;&gt; 10 years on - with some better understanding of things (!) - the goal and<br>
&gt;&gt; conclusions of the presentation still make sense - but now I fully<br>&gt;&gt; understand why. Rasch scaling cannot &quot;uncover&quot; a linear latent variable from<br>&gt;&gt; ordinal measures. It simply scales counts and in effect, the numbers applied<br>
&gt;&gt; to its algorithms, without regard to whether those counts or numbers are<br>&gt;&gt; drawn from an ordinal or linear scale.<br>&gt;&gt;<br>&gt;&gt; The mistake made by many psychologists is to forget that latent variable<br>
&gt;&gt; theory implies nothing about the measurement properties of the variable of<br>&gt;&gt; interest - latent variables are simply constructed ad-hoc to possess linear<br>&gt;&gt; properties of measurement. That is not how normal science proceeds, it is as<br>
&gt;&gt; Michell states a &quot;pathology of science&quot; (2000).<br>&gt;&gt;<br>&gt;&gt; I propose that a key exemplar which shows how to properly model data<br>&gt;&gt; while invoking a latent variable, is the work done by Metametrics. It is no<br>
&gt;&gt; accident that the initial exploratory work was empirical and based upon much<br>&gt;&gt; cognitive psychological experimentation, PRIOR to the scaling/modeling<br>&gt;&gt; exercises. Andrew has already provided excellent explanations of the history<br>
&gt;&gt; of this work, along with another exposition recently in his peer response to<br>&gt;&gt; Michell&#39;s target article in the journal Measurement (references below).<br>&gt;&gt;<br>&gt;&gt; However, if we view edumetrics-psychometrics as largely pragmatic/technical<br>
&gt;&gt; work, which is concerned with the efficiencies to be gained in<br>&gt;&gt; standards-based testing/examination/cumulative risk-scale environments, then<br>&gt;&gt; IRT models in general, and the Rasch model make a great deal of sense. I<br>
&gt;&gt; think it is an illusion that the Rasch or any IRT/latent variable<br>&gt;&gt; model magically produces &nbsp;&quot;fundamental measurement&quot; in any sense of the<br>&gt;&gt; word. Michell (2004, and now 2008) has put paid to this notion.<br>
&gt;&gt;<br>&gt;&gt; I don&#39;t think this is a controversial point anymore - from the standpoint<br>&gt;&gt; of simple logic, the work by Robert Wood, and from my own small and almost<br>&gt;&gt; stupid simulation, the Rasch model cannot possibly &quot;uncover/discover&quot; the<br>
&gt;&gt; true metric for a &quot;statistically constructed latent variable&quot;. It just does<br>&gt;&gt; what it does given the data with which it is presented. Whether or not that<br>&gt;&gt; data is an accurate representation/set of observations of the phenomenon of<br>
&gt;&gt; interest (my &quot;bad ruler&quot;), the Rasch scaling will simple create a latent<br>&gt;&gt; variable anyway - given sufficient stochastic error in the observations (as<br>&gt;&gt; with Wood&#39;s coin-tosses). Which is why I think the Metametrics exemplar is<br>
&gt;&gt; so very important, the scaling is constructed around a wealth of empirical<br>&gt;&gt; phenomena and magnitude relationships - and not just banks of &quot;item<br>&gt;&gt; responses&quot;.<br>&gt;&gt;<br>&gt;&gt; Regards ... Paul<br>
&gt;&gt; __________________________________________________<br>&gt;&gt; Paul Barrett &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;918.749-0632 x<br>&gt;&gt; 326<br>&gt;&gt; Chief Research Scientist &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; Skype: pbar088<br>
&gt;&gt; Hogan Assessment Systems Inc.<br>&gt;&gt; 2622 East 21st St., Tulsa, OK 74114<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; *References*<br>&gt;&gt;<br>&gt;&gt; Kyngdon, A. (2008) Treating the Pathology of Psychometrics: An Example from<br>
&gt;&gt; the Comprehension of Continuous Prose Text. *Measurement:<br>&gt;&gt; Interdisciplinary Research &amp; Perspective*, 6, 1 &amp; 2, 108-113.<br>&gt;&gt;<br>&gt;&gt; Michell. J. (2000) Normal science, pathological Science, and psychometrics.<br>
&gt;&gt; Theory and Psychology, 10, 5, 639-667.<br>&gt;&gt;<br>&gt;&gt; Michell, J. (2004) Item Response Models, pathological science, and the<br>&gt;&gt; shape of error. *Theory and Psychology*, 14, 1, 121-129.<br>&gt;&gt;<br>
&gt;&gt; Michell, J. (2008) Is psychometrics pathological science? *Measurement:<br>&gt;&gt; Interdisciplinary Research &amp; Perspective*, 6, 1, 7-24<br>&gt;&gt;<br>&gt;&gt; Wood, R. (1978) Fitting the rasch model - a heady tale. *British Journal<br>
&gt;&gt; of Mathematical and Statistical Psychology*, 31, , 27-32.<br>&gt;&gt;<br>&gt;&gt; *An aside* &nbsp;The journal &quot;Measurement: Interdisciplinary Research and<br>&gt;&gt; Perspective&quot;published issues two issues simultaneously - three target<br>
&gt;&gt; articles and commenatries on the issue:<br>&gt;&gt; *The Conceptual Foundations of Psychological Measurement*<br>&gt;&gt;<br>&gt;&gt; The target papers by Denny Borsboom and Keith Markus are also excellent<br>&gt;&gt; expositions of their respective positions. Very nice position pieces.<br>
&gt;&gt;<br>&gt;&gt; I&#39;ve attached the journal link here so you can look at the paper titles<br>&gt;&gt; etc. <a href="http://www.informaworld.com/smpp/title~content=g794512699~db=all" target="_blank">http://www.informaworld.com/smpp/title~content=g794512699~db=all</a><br>
&gt;&gt;<br>&gt;&gt; _______________________________________________<br>&gt;&gt; Rasch mailing list<br>&gt;&gt; <a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>&gt;&gt; <a href="http://mailinglist.acer.edu.au/mailman/listinfo/rasch" target="_blank">http://mailinglist.acer.edu.au/mailman/listinfo/rasch</a><br>
&gt;&gt;<br>&gt;&gt;<br>&gt;<br><br><br><br><br><br>------------------------------<br><br>Message: 2<br>Date: Wed, 23 Jul 2008 04:21:35 +0800<br>From: Stephen Humphry &lt;<a href="mailto:shumphry@cyllene.uwa.edu.au">shumphry@cyllene.uwa.edu.au</a>&gt;<br>
Subject: RE: [Rasch] Rasch analysis of interval data<br>To: <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>Message-ID: &lt;<a href="mailto:20080723042135.8tdwphilhk44wokk@webmail-2.ucs.uwa.edu.au">20080723042135.8tdwphilhk44wokk@webmail-2.ucs.uwa.edu.au</a>&gt;<br>
Content-Type: text/plain; &nbsp; &nbsp; &nbsp; charset=ISO-8859-1; &nbsp; &nbsp; DelSp=&quot;Yes&quot;;<br>&nbsp; &nbsp; &nbsp; &nbsp;format=&quot;flowed&quot;<br><br><br>On the unit, I&#39;d like to point out that analytically a unit is<br>implicit in the parameters of the Rasch model and implies parallel<br>
ICCs within a given frame of reference (not necessarily across frames<br>though). So to be clear, the issue for me is not that there can be no<br>unit in the Rasch model, just that without making it explicit the<br>implications are not explicit. Following from that point, I strongly<br>
agree that well-defined and reproducible units are very unlikely to be<br>established without substantive theory underpinning measurement; in<br>many cases this may simply not be possible with the dichotomous Rasch<br>model. It may for example require the multiplicative Poisson model or<br>
another, and which is appropriate is very likely to depend on theory<br>and empirical evidence. It is correct that if one subscribes to the<br>classical definition of measurement, standard in physics, the<br>dichotomous Rasch model can only possibly produce so called<br>
interval-level scales; i.e with a unit but not absolute zero.<br><br>Steve<br><br>Quoting Andrew Kyngdon &lt;<a href="mailto:akyngdon@lexile.com">akyngdon@lexile.com</a>&gt;:<br><br>&gt; Michael,<br>&gt;<br>&gt; I&#39;m not familiar with your work at all, but I take it by &quot;absolute&quot;<br>
&gt; scale that you mean you have a continuous, quantitative attribute that<br>&gt; you can measure with a scale possessing a non-arbitrary zero point? If<br>&gt; so, that is quite a feat in the behavioural sciences, given the lack of<br>
&gt; natural concatenation operations.<br>&gt;<br>&gt; But you state that you can transform Rasch scores into this supposedly<br>&gt; &quot;absolute&quot; scale of &quot;Stage scores&quot;. Now, correct me if I am wrong, but<br>
&gt; Rasch logits are usually advanced as interval scale measurements<br>&gt; (leaving aside the obvious problem of a lack of a defined unit,<br>&gt; something Steve Humphry has been at pains to point out). Interval scale<br>
&gt; measurements cannot be meaningfully transformed into ratio or absolute<br>&gt; scales, unless your substantive theory is sufficiently understood to<br>&gt; enable this, such as in temperature with converting Celsius and<br>
&gt; Fahrenheit measurements into the &quot;absolute&quot; Kelvin scale. But if you can<br>&gt; measure something with an absolute scale in the first place, why would<br>&gt; you bother with an interval scale, unless there are historical reasons<br>
&gt; (as in temperature) for so doing?<br>&gt;<br>&gt;<br>&gt;<br>&gt; Andrew Kyngdon, PhD<br>&gt; Senior Research Scientist<br>&gt; MetaMetrics, Inc.<br>&gt; 1000 Park Forty Plaza Drive<br>&gt; Durham NC 27713 USA<br>&gt; Tel. 1 919 354 3473<br>
&gt; Fax. 1 919 547 3401<br>&gt;<br>&gt;<br>&gt;<br>&gt;<br>&gt; -----Original Message-----<br>&gt; From: Michael Lamport Commons [mailto:<a href="mailto:commons@tiac.net">commons@tiac.net</a>]<br>&gt; Sent: Tuesday, July 22, 2008 12:38 PM<br>
&gt; To: Andrew Kyngdon<br>&gt; Cc: Mark Moulton; Paul Barrett; <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>&gt; Subject: Re: [Rasch] Rasch analysis of interval data<br>&gt;<br>&gt; We have an absolute scale in order of hierarchical complexity. We<br>
&gt; transform the Rasch scores into Stage scores which are based on the<br>&gt; absolute scale.<br>&gt;<br>&gt; Michael Lamport Commons<br>&gt;<br>&gt; Andrew Kyngdon wrote:<br>&gt;&gt;<br>&gt;&gt; This is still not a guarantee that the lexile unit captures the &quot;true&quot;<br>
&gt;<br>&gt;&gt; spacing, but fortunately it does not seem to matter.<br>&gt;&gt;<br>&gt;&gt; The Lexile unit is best defined unit I have come across in the<br>&gt;&gt; behavioural sciences, so by what criteria one judges to be a &quot;true<br>
&gt;&gt; spacing&quot; (whatever that is) seems to be a mystery...<br>&gt;&gt;<br>&gt;&gt; Andrew Kyngdon, PhD<br>&gt;&gt;<br>&gt;&gt; Senior Research Scientist<br>&gt;&gt;<br>&gt;&gt; MetaMetrics, Inc.<br>&gt;&gt;<br>&gt;&gt; 1000 Park Forty Plaza Drive<br>
&gt;&gt;<br>&gt;&gt; Durham NC 27713 USA<br>&gt;&gt;<br>&gt;&gt; Tel. 1 919 354 3473<br>&gt;&gt;<br>&gt;&gt; Fax. 1 919 547 3401<br>&gt;&gt;<br>&gt;&gt;<br>&gt; ------------------------------------------------------------------------<br>
&gt;&gt;<br>&gt;&gt; *From:* <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>]<br>&gt;&gt; *On Behalf Of *Mark Moulton<br>
&gt;&gt; *Sent:* Monday, July 21, 2008 6:09 PM<br>&gt;&gt; *To:* Paul Barrett<br>&gt;&gt; *Cc:* <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>&gt;&gt; *Subject:* Re: [Rasch] Rasch analysis of interval data<br>
&gt;&gt;<br>&gt;&gt; Paul,<br>&gt;&gt;<br>&gt;&gt; Thank you for your explanations and for your presentation 10 years<br>&gt;&gt; ago, which are very helpful to me. You raise a fundamental issue,<br>&gt;&gt; still controversial, still worth visiting in my opinion. You make the<br>
&gt;&gt; case that Rasch measures are equal-interval representations of counts<br>&gt;&gt; (ratios of counts), and that is all, and that they do not necessarily<br>&gt;&gt; capture a fundamental unit of measurement in the underlying construct.<br>
&gt;&gt;<br>&gt;&gt; I think your point is amplified by a simple desktop experiment. Lay a<br>&gt;&gt; ruler on a sheet of paper. Draw dots (representing persons, say) in<br>&gt;&gt; various distributions on the paper. For each centimeter increment on<br>
&gt;&gt; the ruler (representing items), count the dots above and below that<br>&gt;&gt; increment and calculate their log ratio. One finds that the logit<br>&gt;&gt; spacings of the ruler increments may be highly unequal (unlike the<br>
&gt;&gt; centimeters), depending on how one distributes the dots. If one<br>&gt;&gt; distributes the dots equally up and down the ruler, the logit lengths<br>&gt;&gt; between increments appear to get fatter at the extremes. If one clumps<br>
&gt;<br>&gt;&gt; the dots in multiple modes, the logit lengths can be distorted in all<br>&gt;&gt; sorts of cool ways. Interestingly, as the distribution approaches<br>&gt;&gt; normal, the logit lengths between increments seem to approach a linear<br>
&gt;<br>&gt;&gt; relationship with the centimeters, (I don&#39;t have a proof for why this<br>&gt;&gt; would be true, but presumably it has something to do with the<br>&gt;&gt; relationship between the logistic and normal distributions and may<br>
&gt;&gt; account for the similarity between independently calibrated scales).<br>&gt;&gt;<br>&gt;&gt; So, I agree that Rasch logits do not capture fundamental units of<br>&gt;&gt; measurement, and are sample-dependent in this sense (and in several<br>
&gt;&gt; other senses, too). My question is: What does this do to Rasch claims<br>&gt;&gt; of &quot;invariance,&quot; aka &quot;special objectivity,&quot; the notion that the<br>&gt;&gt; relative logit spacings of persons will remain the same regardless of<br>
&gt;&gt; how the items are spaced? Strangely, I don&#39;t think it has any effect<br>&gt;&gt; at all. The disappearance of the item parameter when calculating the<br>&gt;&gt; person parameter, and vice versa, has the same force and implication<br>
&gt;&gt; that it always did. And due to how Rasch conjointly calculates persons<br>&gt;<br>&gt;&gt; and items, whatever distortions may occur affect the persons and items<br>&gt;<br>&gt;&gt; equally.<br>&gt;&gt;<br>&gt;&gt; I am left with a relativistic notion of psychometric spaces. Each<br>
&gt;&gt; Rasch analysis erects a unique space. That space bears no /necessary/<br>&gt;&gt; relationship to any other Rasch space (except perhaps in some<br>&gt;&gt; topographic one-to-one homeomorphic kind of way). However, objects<br>
&gt;&gt; within that space are distributed in a way that is reproducible, hence<br>&gt;<br>&gt;&gt; objective, with respect to other objects in that space. Two Rasch<br>&gt;&gt; spaces can be reconciled only by &quot;anchoring&quot; one space to the other<br>
&gt;&gt; via common persons or items. This forces the two spaces to share the<br>&gt;&gt; same &quot;distortions,&quot; and thus to become one space, and to preserve<br>&gt;&gt; invariance for all objects residing in that space.<br>
&gt;&gt;<br>&gt;&gt; Your point about the MetaMetrics lexile scale is well-taken. All texts<br>&gt;<br>&gt;&gt; and readers are forced into a common space anchored on the physical<br>&gt;&gt; properties represented by word frequency and sentence length (or log<br>
&gt;&gt; transformations thereof). This was facilitated by the fact that<br>&gt;&gt; MetaMetrics discovered and exploited a linear relationship between<br>&gt;&gt; textual empirical variables and item difficulties. But even without<br>
&gt;&gt; that relationship, the two types of variables could have been forced<br>&gt;&gt; (by a method MetaMetrics did not use, or need to use) into a common<br>&gt;&gt; space through an anchoring procedure. This is still not a guarantee<br>
&gt;&gt; that the lexile unit captures the &quot;true&quot; spacing, but fortunately it<br>&gt;&gt; does not seem to matter.<br>&gt;&gt;<br>&gt;&gt; One space is as good as another, so long as they are internally<br>&gt;&gt; consistent. Am I reading this right?<br>
&gt;&gt;<br>&gt;&gt; Mark H. Moulton<br>&gt;&gt;<br>&gt;&gt; Educational Data Systems<br>&gt;&gt;<br>&gt;&gt; 2008/7/21 Paul Barrett &lt;<a href="mailto:pbarrett@hoganassessments.com">pbarrett@hoganassessments.com</a><br>
&gt;&gt; &lt;mailto:<a href="mailto:pbarrett@hoganassessments.com">pbarrett@hoganassessments.com</a>&gt;&gt;:<br>&gt;&gt;<br>&gt;&gt; *From:* <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> &lt;mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>&gt;<br>
&gt;&gt; [mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> &lt;mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>&gt;]<br>&gt;&gt; *On Behalf Of *Anthony James<br>
&gt;&gt; *Sent:* Wednesday, July 16, 2008 7:19 AM<br>&gt;&gt; *To:* <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a> &lt;mailto:<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>&gt;<br>&gt;&gt; *Subject:* [Rasch] Rasch analysis of interval data<br>
&gt;&gt;<br>&gt;&gt; Hi all,<br>&gt;&gt;<br>&gt;&gt; Has anyone ever tried to Rasch analyse a variable for which there&#39;s<br>&gt;&gt; concatenation-based objective measurement? Suppose we make a height<br>&gt;&gt; scale with 6 points:<br>
&gt;&gt;<br>&gt;&gt;<br>&gt; ------------------------------------------------------------------------<br>&gt;&gt;<br>&gt;&gt; *From:* <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> &lt;mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>&gt;<br>
&gt;&gt; [mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> &lt;mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>&gt;]<br>&gt;&gt; *On Behalf Of *Andrew Kyngdon<br>
&gt;&gt; *Sent:* Wednesday, July 16, 2008 8:13 AM<br>&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; *To:* <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a> &lt;mailto:<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>&gt;<br>
&gt;&gt;<br>&gt;&gt; *Subject:* RE: [Rasch] Rasch analysis of interval data<br>&gt;&gt;<br>&gt;&gt; I think Paul Barrett did something like this once...<br>&gt;&gt;<br>&gt;&gt;<br>&gt; ------------------------------------------------------------------------<br>
&gt;&gt;<br>&gt;&gt; Yep - 10 years ago to be exact!<br>&gt;&gt;<br>&gt;&gt; Sorry I haven&#39;t replied until now ...<br>&gt;&gt;<br>&gt;&gt; The presentation about the simulation can be downloaded at:<br>&gt;&gt;<br>&gt;&gt; <a href="http://www.pbarrett.net/presentations/BPS-rasch_98.pdf" target="_blank">http://www.pbarrett.net/presentations/BPS-rasch_98.pdf</a><br>
&gt;&gt;<br>&gt;&gt; From my web-page abstract ...<br>&gt;&gt;<br>&gt;&gt; **Beyond Psychometrics: the recovery of a standard unit of length**:<br>&gt;&gt; This 50-slide presentation was given at the British Psychological<br>
&gt;&gt; Society&#39;s Division of Occupational Psychology conference: Assessment<br>&gt;&gt; in the Millennium: Beyond Psychometrics, November 1998, at Birkbeck<br>&gt;&gt; (University of London). The theme of this presentation was about Rasch<br>
&gt;<br>&gt;&gt; scaling, and its capacity to construct a standard unit from<br>&gt;&gt; observational data. This presentation contained a data simulation that<br>&gt;<br>&gt;&gt; attempted to hide a true quantitatively structured latent variable of<br>
&gt;&gt; length behind some poor ordinal observations. All the Rasch scaling<br>&gt;&gt; did was to construct an equal-interval latent variable of ordinal<br>&gt;&gt; lengths! This simulation was heavily criticised Ben Wright and others,<br>
&gt;<br>&gt;&gt; and I have included these criticisms as an addendum to the<br>&gt;&gt; presentation - along with my reply. However, recent papers seem to<br>&gt;&gt; have vindicated my conclusions in some respects.....The reality is<br>
&gt;&gt; that these methods simply construct linear latent variables in<br>&gt;&gt; complete isolation of any empirical evidence that such variables might<br>&gt;<br>&gt;&gt; indeed be quantitatively structured.. In my opinion, from a scientific<br>
&gt;<br>&gt;&gt; perspective, these scaling methods are frankly of little utility, but<br>&gt;&gt; they are ingenious from a psychometric perspective and do have great<br>&gt;&gt; utility in a more pragmatic sense. It all comes down to what the<br>
&gt;&gt; purpose is for using such scaling, science or number scaling.<br>&gt;&gt;<br>&gt;&gt; 10 years on - with some better understanding of things (!) - the goal<br>&gt;&gt; and conclusions of the presentation still make sense - but now I fully<br>
&gt;<br>&gt;&gt; understand why. Rasch scaling cannot &quot;uncover&quot; a linear latent<br>&gt;&gt; variable from ordinal measures. It simply scales counts and in effect,<br>&gt;<br>&gt;&gt; the numbers applied to its algorithms, without regard to whether those<br>
&gt;<br>&gt;&gt; counts or numbers are drawn from an ordinal or linear scale.<br>&gt;&gt;<br>&gt;&gt; The mistake made by many psychologists is to forget that latent<br>&gt;&gt; variable theory implies nothing about the measurement properties of<br>
&gt;&gt; the variable of interest - latent variables are simply constructed<br>&gt;&gt; ad-hoc to possess linear properties of measurement. That is not how<br>&gt;&gt; normal science proceeds, it is as Michell states a &quot;pathology of<br>
&gt;&gt; science&quot; (2000).<br>&gt;&gt;<br>&gt;&gt; I propose that a key exemplar which shows how to properly model data<br>&gt;&gt; while invoking a latent variable, is the work done by Metametrics. It<br>&gt;&gt; is no accident that the initial exploratory work was empirical and<br>
&gt;&gt; based upon much cognitive psychological experimentation, PRIOR to the<br>&gt;&gt; scaling/modeling exercises. Andrew has already provided excellent<br>&gt;&gt; explanations of the history of this work, along with another<br>
&gt;&gt; exposition recently in his peer response to Michell&#39;s target article<br>&gt;&gt; in the journal Measurement (references below).<br>&gt;&gt;<br>&gt;&gt; However, if we view edumetrics-psychometrics as largely<br>
&gt;&gt; pragmatic/technical work, which is concerned with the efficiencies to<br>&gt;&gt; be gained in standards-based testing/examination/cumulative risk-scale<br>&gt;<br>&gt;&gt; environments, then IRT models in general, and the Rasch model make a<br>
&gt;&gt; great deal of sense. I think it is an illusion that the Rasch or any<br>&gt;&gt; IRT/latent variable model magically produces &quot;fundamental measurement&quot;<br>&gt;<br>&gt;&gt; in any sense of the word. Michell (2004, and now 2008) has put paid to<br>
&gt;<br>&gt;&gt; this notion.<br>&gt;&gt;<br>&gt;&gt; I don&#39;t think this is a controversial point anymore - from the<br>&gt;&gt; standpoint of simple logic, the work by Robert Wood, and from my own<br>&gt;&gt; small and almost stupid simulation, the Rasch model cannot possibly<br>
&gt;&gt; &quot;uncover/discover&quot; the true metric for a &quot;statistically constructed<br>&gt;&gt; latent variable&quot;. It just does what it does given the data with which<br>&gt;&gt; it is presented. Whether or not that data is an accurate<br>
&gt;&gt; representation/set of observations of the phenomenon of interest (my<br>&gt;&gt; &quot;bad ruler&quot;), the Rasch scaling will simple create a latent variable<br>&gt;&gt; anyway - given sufficient stochastic error in the observations (as<br>
&gt;&gt; with Wood&#39;s coin-tosses). Which is why I think the Metametrics<br>&gt;&gt; exemplar is so very important, the scaling is constructed around a<br>&gt;&gt; wealth of empirical phenomena and magnitude relationships - and not<br>
&gt;&gt; just banks of &quot;item responses&quot;.<br>&gt;&gt;<br>&gt;&gt; Regards ... Paul<br>&gt;&gt;<br>&gt;&gt; __________________________________________________<br>&gt;&gt; Paul Barrett 918.749-0632 x 326<br>&gt;&gt; Chief Research Scientist Skype: pbar088<br>
&gt;&gt; Hogan Assessment Systems Inc.<br>&gt;&gt; 2622 East 21st St., Tulsa, OK 74114<br>&gt;&gt;<br>&gt;&gt; **References**<br>&gt;&gt;<br>&gt;&gt; Kyngdon, A. (2008) Treating the Pathology of Psychometrics: An Example<br>
&gt;<br>&gt;&gt; from the Comprehension of Continuous Prose Text. //Measurement:<br>&gt;&gt; Interdisciplinary Research &amp; Perspective//, 6, 1 &amp; 2, 108-113.<br>&gt;&gt;<br>&gt;&gt; Michell. J. (2000) Normal science, pathological Science, and<br>
&gt;&gt; psychometrics. Theory and Psychology, 10, 5, 639-667.<br>&gt;&gt;<br>&gt;&gt; Michell, J. (2004) Item Response Models, pathological science, and the<br>&gt;<br>&gt;&gt; shape of error. //Theory and Psychology//, 14, 1, 121-129.<br>
&gt;&gt;<br>&gt;&gt; Michell, J. (2008) Is psychometrics pathological science?<br>&gt;&gt; //Measurement: Interdisciplinary Research &amp; Perspective//, 6, 1, 7-24<br>&gt;&gt;<br>&gt;&gt; Wood, R. (1978) Fitting the rasch model - a heady tale. //British<br>
&gt;&gt; Journal of Mathematical and Statistical Psychology//, 31, , 27-32.<br>&gt;&gt;<br>&gt;&gt; **An aside**<br>&gt;&gt;<br>&gt;&gt; The journal &quot;Measurement: Interdisciplinary Research and<br>&gt;&gt; Perspective&quot;published issues two issues simultaneously - three target<br>
&gt;&gt; articles and commenatries on the issue:<br>&gt;&gt;<br>&gt;&gt; //The Conceptual Foundations of Psychological Measurement//<br>&gt;&gt;<br>&gt;&gt; The target papers by Denny Borsboom and Keith Markus are also<br>
&gt;&gt; excellent expositions of their respective positions. Very nice<br>&gt;&gt; position pieces.<br>&gt;&gt;<br>&gt;&gt; I&#39;ve attached the journal link here so you can look at the paper<br>&gt;&gt; titles etc.<br>
&gt;&gt;<br>&gt;&gt; <a href="http://www.informaworld.com/smpp/title~content=g794512699~db=all" target="_blank">http://www.informaworld.com/smpp/title~content=g794512699~db=all</a><br>&gt;&gt; &lt;<a href="http://www.informaworld.com/smpp/title~content=g794512699~db=all" target="_blank">http://www.informaworld.com/smpp/title%7Econtent=g794512699%7Edb=all</a>&gt;<br>
&gt;&gt;<br>&gt;&gt;<br>&gt;&gt; _______________________________________________<br>&gt;&gt; Rasch mailing list<br>&gt;&gt; <a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a> &lt;mailto:<a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a>&gt;<br>
&gt;&gt; <a href="http://mailinglist.acer.edu.au/mailman/listinfo/rasch" target="_blank">http://mailinglist.acer.edu.au/mailman/listinfo/rasch</a><br>&gt;&gt;<br>&gt;&gt;<br>&gt; ------------------------------------------------------------------------<br>
&gt;&gt;<br>&gt;&gt; _______________________________________________<br>&gt;&gt; Rasch mailing list<br>&gt;&gt; <a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>&gt;&gt; <a href="http://mailinglist.acer.edu.au/mailman/listinfo/rasch" target="_blank">http://mailinglist.acer.edu.au/mailman/listinfo/rasch</a><br>
&gt;&gt;<br>&gt;<br>&gt; _______________________________________________<br>&gt; Rasch mailing list<br>&gt; <a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>&gt; <a href="http://mailinglist.acer.edu.au/mailman/listinfo/rasch" target="_blank">http://mailinglist.acer.edu.au/mailman/listinfo/rasch</a><br>
&gt;<br>&gt;<br><br><br><br><br><br>------------------------------<br><br>_______________________________________________<br>Rasch mailing list<br><a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br><a href="http://mailinglist.acer.edu.au/mailman/listinfo/rasch" target="_blank">http://mailinglist.acer.edu.au/mailman/listinfo/rasch</a><br>
<br><br>End of Rasch Digest, Vol 36, Issue 28<br>*************************************<br></blockquote></div><br></div>