<p class="MsoNormal"><span><span style="font-size: 10pt; line-height: 115%; color: black; background: none repeat scroll 0% 0% white;">Hello,<br></span></span></p><p class="MsoNormal"><span><span style="font-size: 10pt; line-height: 115%; color: black; background: none repeat scroll 0% 0% white;"><br>
</span></span></p><p class="MsoNormal"><span><span style="font-size: 10pt; line-height: 115%; color: black; background: none repeat scroll 0% 0% white;">The
Dare Institute has been running instruments that involve the rating of
vignettes, and we are uncertain as to whether Rasch analysis is appropriate for
this situation. Here is an outline of the instruments:</span></span></p><p class="MsoNormal"><span><span style="font-size:10.0pt;line-height:115%;color:black;background:white"><br></span></span></p>

<p class="MsoNormal"><span><span style="font-size:10.0pt;line-height:115%;color:black;background:white">In
each instrument, five or more vignettes are presented. Each vignette presents
different people in very similar situations acting in similar ways, but in ways
deemed to be at different developmental levels of hierarchical complexity. For
instance, one vignette will show someone solving a problem in a way indicative
of a very high stage of development, another will show someone solving the same
problem in a way deemed less hierarchically complex, etc. The participant is
then asked a number of questions regarding the vignettes, such as &quot;Rate
this person&#39;s method of solving this problem.&quot; The answers to these items
are always on a six-point scale, with 6 indicating the highest possible rating
and 1 indicating the lowest possible rating.</span></span><span style="font-size:10.0pt;line-height:115%;color:black;background:white"><br>
<br>
<span>Our goal in analyzing these vignettes is to
determine the stage of the participant (i.e. at what developmental stage he/she
is, as determined by the model of hierarchical complexity). We assume that the
participant will rate highly the vignette that corresponds to the stage he/she
is at, and that the participant will give lower ratings to the other vignettes.
We have been coding the responses into Winsteps to run Rasch analysis.</span><br>
<br>
<span>The problems we are considering are as follows:</span><br>
<br>
<span>1) The &quot;best&quot; a person could do on the
instrument is giving a 6 to the highest stage vignette and then progressively lower
ratings for the lower stage vignettes. However, Rasch generally determines that
the &quot;best&quot; someone can do is give 6&#39;s to every question, a response
that we would deem inconclusive (since it indicates that the person corresponds
to every stage).</span><br>
<br>
<span>2) The questions do not measure developmental
stage independently of one another. In this regard, these vignette instruments
do not parallel a standard test where Rasch analysis would be used. On a
standard instrument, how a person responds to a single question (i.e. a
right/wrong answer) tells us something clear about their ability or about
whatever is being measured. For instance, if one person answers a math question
correctly and another person answers it incorrectly, we would assume - albeit
with high uncertainty - that the former person was more mathematically
proficient than the latter. This method does not work on the vignette
instruments. If one person answers highly on one vignette and another person
answers low, we cannot say anything about their relative stages without the
other vignette questions, for many reasons (suppose the person who answered low
answered high on a higher stage vignette, etc.).</span><br>
<br>
<span>3) Although the vignettes do not rely on a single
corpus of text - and in this regard they are independent - how we analyze them
seems in ways to be interdependent. One response to a question is virtually
meaningless without other answers. Having more questions is important for more
than reducing uncertainty.</span><br>
<br>
<span>We are struggling to decide if Rasch analysis is
correct for these data.<span>  </span>We would really
appreciate any feedback you could give.</span></span></p>