<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">
<HTML>
<HEAD>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<META NAME="Generator" CONTENT="MS Exchange Server version 6.5.7652.24">
<TITLE>RE: [Rasch] Fan: &gt;  Is replicating Fan's research worthwhile? I'm voting no for now...</TITLE>
</HEAD>
<BODY>
<!-- Converted from text/plain format -->

<P><FONT SIZE=2>Maybe Fan's research lacks some of the most important concepts that I consider in Rasch:<BR>
(I don't have the Fan original, but using the numbered description by Jim Sick below).<BR>
<BR>
1.) I would have to look at why I put the items together to start with and why some did not fit.&nbsp; Does that inform the construct or does it inform the item construction?&nbsp; I expect to write items to the construct, not explore for imaginary factors that might mean something.&nbsp; What was the original plan for the scale that was used for Fan's items?&nbsp; If you don't know your construct, you may not like the Rasch model or what it tells you.<BR>
<BR>
2.) What does the DPF explain?&nbsp; [Quote from Embretson, &quot;Other research, conducted on the power of person-fit statistics under 1PL, 2PL, or 3PL models does not strike us a very encouraging either(references).&quot;]&nbsp; Some of the most important observations in my uses of Rasch are the very interesting clues that are validated by investigation coming from person keyforms or similar person analysis patterns.&nbsp; If you don't care about person fit, you may not like the Rasch philosophy.&nbsp; (Personally, I wish Richard would &quot;re-publish&quot; IPARM.&nbsp; A very cool program.)<BR>
<BR>
3.) Does the instrument expect &quot;challenges&quot; such as missing data, bias detection, or rater errors?&nbsp; If so, the detection of misfitting items are only one of several reasons to use a particular model.&nbsp;&nbsp; Sometimes editing items or adding a few new ones is pretty minor compared to &quot;rater training&quot; or simply making the test work &quot;across 3 languages&quot;.&nbsp; If you have a perfect testing situation, you may not need the Rasch model.&nbsp; On the other hand, if you really understand your construct and you are interested in robust instruments; that's another issue.&nbsp; How about the &quot;split item&quot; function in RUMM 2020?&nbsp; Can you do that with classical analysis?<BR>
<BR>
4.) Were all the items the same item type?&nbsp; Again, many applications that I use in folio or performance applications require different item types or different levels of inference from the judges.&nbsp; Maybe Fan's items are a pretty simple example.&nbsp; If you are so consumed by the item types and you forget the fact that the measures are conjoint assessments of the underlying construct; and you don't realize that there's more than one way to skin the cat (is that &quot;multi-joint?), then you certainly don't want the Rasch model.&nbsp; Different &quot;levels of inference&quot; are deadly to &quot;discrimination&quot; most likely (my seat of the pants intuition).&nbsp; Do they make sense with Rasch?&nbsp; What does FACETS say (Thank you, Mike!)?&nbsp; Sometimes items make construct sense to me across item types.&nbsp; I like that...and I can't imagine the gyrations a 2PL or 3PL would do with it...unless you're a fan (pun intended) of string theory.<BR>
<BR>
5.) Why the hell would you rename something unless you didn't know what you were trying to measure in the first place?&nbsp; (See number 1 above).&nbsp;<BR>
<BR>
I suspect that this is a provocative enough email that exposes my ignorance, but it is one example of why the Rasch model might suggest as much a philosophy as a mathematical model.&nbsp; Fan may have a completely different view of &quot;measurement&quot; than I do.<BR>
<BR>
Steve Lang<BR>
University of South Florida<BR>
<BR>
<BR>
-----Original Message-----<BR>
From: rasch-bounces@acer.edu.au on behalf of Jim Sick<BR>
Sent: Fri 11/2/2007 4:19 AM<BR>
To: Rasch List<BR>
Subject: Re: [Rasch] Fan<BR>
<BR>
To get back to Anthony's original question:<BR>
<BR>
&gt;&nbsp; *Is replicating Fan's research worthwhile?<BR>
&gt; *<BR>
<BR>
As I recall, Fan found that 30% of the items did not fit the Rasch<BR>
model, which she interpreted as a weakness of the model in accounting<BR>
for the variance in the data. I think it would be quite interesting if<BR>
someone replicated this study and:<BR>
<BR>
1. Systematically deleted misfitting items until a set with acceptable<BR>
fit was derived<BR>
<BR>
2. Compared the Rasch measures constructed from the reduced item set<BR>
with raw, 2-PL, and 3-Pl scores of the original data set. And most<BR>
importantly,<BR>
<BR>
3. Conducted a thorough qualitative assessment of the deleted and<BR>
retained items in order to . .<BR>
<BR>
4. Discuss the implications for how we name or re-name this variable,<BR>
and/or revise our theoretical description of the &quot;new&quot; construct.<BR>
<BR>
Of course, the score comparisons then become fruits and oranges, but<BR>
that's the point. And would the new measures be appreciably different?<BR>
That is an interesting empirical question.<BR>
<BR>
<BR>
Jim Sick<BR>
J. F. Oberlin University<BR>
Tokyo, Japan<BR>
&gt; **<BR>
&gt;&nbsp;<BR>
<BR>
</FONT>
</P>

</BODY>
</HTML>