<html>
Thank you for more questions, Juanito.<br><br>
You wrote:<br>
<blockquote type=cite class=cite cite>We develop a 50-item instrument
anchored on a theory with 4 constructs. We piloted the instrument to 203
persons, then we subjected to Rasch analysis.&nbsp; After our Rasch
analysis we found that the 50 items are unidimentional and the 5-point
likert scale categories are logically functional, but while retaining the
4 constructs, five items misfit the model.&nbsp; Thus, we decided to
remove the 5 items and come up with a 45 item instrument.&nbsp; Our
questions to Rasch expert are:<br>
1. Shall we gather again another data (say n=200) to validate the
instrument?</blockquote><br>
Reply: In your original analysis of the 50-item instrument, you
discovered that 5 items were defective or off-dimensional in some way. So
you want to omit them from the revised 45-item instrument. Fine!<br>
Do you think that the responses to those 5 items have skewed the
responses of your 203 persons to the other 45 items in any way? For
instance, perhaps the 5 items were the first 5 items on the instrument
and so could have caused the sample to misunderstand how they were
supposed to respond to the remaining 45 items. If they would have
distorted the responses to the other 45 items, then you need to repeat
the data collection with a new sample on the 45 item instrument. If not,
then the current sample's data is valid for the 45 items. There is no
need to repeat the data collection.<br><br>
You wrote:<br>
<blockquote type=cite class=cite cite>2. How do Rasch validation is done?
Do we just repeat the rasch analysis?</blockquote><br>
Reply: Yes, you would repeat the Rasch analysis but now with only the 45
items. But remember that you have already excluded the 5 worst items, so
the sensitivity of the Rasch analysis to problems in the remaining 45
items has increased. You will now find another group of &quot;worst
items&quot;. Don't automatically reject them to make a 40-item
instrument, but examine the new set of worst items closely. Is their
misfit really bad enough to distort the person measures?<br><br>
You wrote:<br>
<blockquote type=cite class=cite cite>3. Is our sample big enough for
Rasch analysis?</blockquote><br>
Reply: This depends on your purpose for this instrument, and how you are
modeling the items. You have 45 items and each has a 5-point Likert
scale. So the possible range of raw scores is 0 to 225 (or 45 to 270). So
there are more possible raw scores (226) than your sample size (203).
Consequently it is likely that you have few of your sample with very high
or very low scores. If your instrument is intended to probe the full
range of person performance, then you may need to collect data from more
high or low performers to verify the operational range of the instrument.
But if your sample of 203 persons matches the intended use of the
instrument in all important respects, then your sample size is probably
large enough, see
<a href="http://www.rasch.org/rmt/rmt74m.htm" eudora="autourl">http://www.rasch.org/rmt/rmt74m.htm</a>
- There are additional concerns if you are using the &quot;Partial Credit&quot; model.<br><br>
OK?<br><br>
Cordially,<br>
Mike L.<br>
<x-sigsep><p></x-sigsep>
Mike Linacre<br>
Editor, Rasch Measurement Transactions<br>
rmt@rasch.org <a href="http://www.rasch.org/rmt/" eudora="autourl"><font color="#0000FF"><u>www.rasch.org/rmt/</a></u></font> Latest RMT:&nbsp; 21:4 Spring 2008</html>