<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body dir="auto">
Are you surprised about education DIF on items such as:
<div><span style="background-color: rgba(255, 255, 255, 0);"><span lang="FR">For example, ‘</span>Psoriasis’ would be ‘a disease leading to red dry spots on the skin’ and not ‘brown spots, especially on the face’. .?</span></div>
<div>T<br>
<br>
<div id="AppleMailSignature">Prof Trevor G BOND</div>
<div><br>
On 31 Oct 2017, at 7:27 pm, DIMA ALEXANDRA <<a href="mailto:alexandra.dima@univ-lyon1.fr">alexandra.dima@univ-lyon1.fr</a>> wrote:<br>
<br>
</div>
<blockquote type="cite">
<div>
<meta name="Title" content="">
<meta name="Keywords" content="">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:PMingLiU;
        panose-1:2 2 5 0 0 0 0 0 0 0;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p
        {mso-style-priority:99;
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
span.apple-converted-space
        {mso-style-name:apple-converted-space;}
span.EmailStyle18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.EmailStyle21
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.msoIns
        {mso-style-type:export-only;
        mso-style-name:"";
        text-decoration:underline;
        color:teal;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:595.0pt 842.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style>
<div class="WordSection1">
<p class="MsoNormal"><span lang="FR">We checked the item map at each step of the item selection to make sure we don’t create gaps along the latent variable. But I would not use this criterion alone if using the DIF criterion gives similar results and also gives
 a more objective reason for choosing which items to exclude among those with similar difficulty levels. To my mind, running separate maps on sub-groups and looking at where the items are is the visual equivalent of DIF testing. Maybe I am missing something…<o:p></o:p></span></p>
<p class="MsoNormal"><span lang="FR"><o:p> </o:p></span></p>
<p class="MsoNormal"><span lang="FR"><o:p> </o:p></span></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Rasch <<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>> on behalf of "Kulas, John T." <<a href="mailto:jtkulas@stcloudstate.edu">jtkulas@stcloudstate.edu</a>><br>
<b>Reply-To: </b>"<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>" <<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>><br>
<b>Date: </b>Monday 30 October 2017 at 17:58<br>
<b>To: </b>"<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>" <<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>><br>
<b>Subject: </b>Re: [Rasch] R: item selection based on DIF<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div id="divtagdefaultwrapper">
<p><span style="color:#212121">Have you tried deleting based on item map (e.g., Winsteps Table 1.2)? It would certainly be an easily-communicated criterion for your decision... you could also run separate maps for your sub-groups of interest and try to retain
 items in similar relative distributional positions...</span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
<p><span style="font-size:12.0pt;color:black"><o:p> </o:p></span></p>
<p><span style="color:#212121">Snipped: "We chose to select based on DIF because in principle we would like to be able to use this instrument to compare subgroups with different sociodemographic characteristics, and I understand that this would be a desirable
 item property to ensure that the meaning of the construct is the same in the subgroups we want to compare. Age, gender and education were the only such variables available in our sample.</span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
<p><span style="font-size:12.0pt;color:black"><o:p> </o:p></span></p>
<p><span style="color:#212121">But I still need to advise the clinicians which items they should include in a short form, preferably based on some objective criteria I can explain to them clearly without resorting to ‘it depends on what you mean’ – I tried
 these answers before and it did not go well :)"</span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
<p><span style="font-size:12.0pt;color:black"><o:p> </o:p></span></p>
<p><span style="font-size:12.0pt;color:black"><o:p> </o:p></span></p>
<div id="Signature">
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:black">John T. Kulas, Ph.D.</span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:black">Professor, I/O Psychology</span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:black">303 WH, Saint Cloud State University</span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:black">St. Cloud, Mn 56301</span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:black"><a href="mailto:jtkulas@stcloudstate.edu" id="LPNoLP">jtkulas@stcloudstate.edu</a></span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Tahoma",sans-serif;color:black">(320) 308-3234</span><span style="font-size:12.0pt;color:black"><o:p></o:p></span></p>
</div>
</div>
</div>
<div class="MsoNormal" align="center" style="text-align:center">
<hr size="2" width="98%" align="center">
</div>
<div id="divRplyFwdMsg">
<p class="MsoNormal"><b><span style="color:black">From:</span></b><span style="color:black"> Rasch <<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>> on behalf of DIMA ALEXANDRA <<a href="mailto:alexandra.dima@univ-lyon1.fr">alexandra.dima@univ-lyon1.fr</a>><br>
<b>Sent:</b> Monday, October 30, 2017 11:40:27 AM<br>
<b>To:</b> <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>
<b>Subject:</b> Re: [Rasch] R: item selection based on DIF</span> <o:p></o:p></p>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><span lang="FR">Dear All, </span><o:p></o:p></p>
<p class="MsoNormal"><span lang="FR"> </span><o:p></o:p></p>
<p class="MsoNormal"><span lang="FR">Many thanks for your responses. I will check the two papers recommended by Edward. I also found
</span><a href="https://doi.org/10.1186/s12955-017-0755-0">https://doi.org/10.1186/s12955-017-0755-0</a>, which seems to be a follow-up of these two papers. I have already had a close look at the winsteps instructions (I work with winsteps) but I did not come
 across an explanation to this particular situation (it is probably not very common?). Will check the archives for the review of DIF. I guess this is the paper by Richard Smith :
<a href="http://journals.sagepub.com/doi/abs/10.1177/0013164491513003">journals.sagepub.com/doi/abs/10.1177/0013164491513003</a> ?<o:p></o:p></p>
<p class="MsoNormal"><span lang="FR"> </span><o:p></o:p></p>
<p class="MsoNormal"><span lang="FR">Regarding the concept : it is health literacy, and the instrument is the SAHL (short assessment of health literacy). The items are 33 medical terms, and the respondents (N=1231) were required to choose a correct meaning.
 For example, ‘</span>Psoriasis’ would be ‘a disease leading to red dry spots on the skin’ and not ‘brown spots, especially on the face’. All items have good fit according to the (yes, arbitrary but) recommended thresholds – including in the winsteps manual.
 But 33 items take too much time to answer in busy clinical settings. We cannot use a CAT (yet), so we need some criteria to select a smaller item set. We chose to select based on DIF because in principle we would like to be able to use this instrument to compare
 subgroups with different sociodemographic characteristics, and I understand that this would be a desirable item property to ensure that the meaning of the construct is the same in the subgroups we want to compare. Age, gender and education were the only such
 variables available in our sample.<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">From a theoretical perspective, there are no differences between DIFFING and NON DIFFING items, and they are all equally relevant to the hypothesized trait. There are no particular reasons to believe that some medical terms are more familiar
 to females for example (no medical terms specific to women’s health). So we don’t really have an interpretation for any item that displays DIF (we could come up with hypotheses, but probably not very useful to do so).
<span lang="FR">I understand and totally agree with your approach of using both stats and theory in item selection, it was not my intention to use statistics blindly and mindlessly (not my style ;) ). My question was rather about
</span>how to figure out if a DIF that is noticeable and significant (according to the rules of thumb mentioned in the winsteps manual) is also a substantive difference, particularly in such situations were items that did not have noticeable and significant
 DIF in earlier steps of item selection now do show DIF according to these criteria. No matter how much discussion we generate about why a DIF happened, I need to arrive at a short form and exclude some items based on some objective criteria. ‘Substantive difference’
 seemed from the winsteps description like something I need to look into, hence my email.
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Regarding DIF by education, we have 3 education levels: low (level 0-2: early childhood; primary education, lower secondary education); intermediate (level 3-5: upper secondary, post secondary, short cycle tertiary) and high (level 6-8:
 bachelor, master, doctoral). We would expect differences in health literacy depending on education. But, if I understand DIF correctly, ideally we should not have differences in item difficulty because in this case we would not know whether the differences
 between respondents with low versus high education levels are differences in health literacy or we are comparing two different understandings of health literacy. To use the example with students and learning, if after a course the students only find 2 or 3
 items easier probably their learning did not work as planned? On the contrary, if they have advanced on their level of understanding overall, their positions will change on the latent but not the difficulty of the items? Moreover, there seem to be items that
 are easier for respondents with lower education levels (might be artificial DIF, but.. gotta figure out a way to tell if this is the case).
<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Another DIF-related issue in this analysis is that the sample combines several studies (same country, all adults, patient or community samples). Items do show DIFs between studies, which is consistent with reports on other health literacy
 measures in the literature. We did not add study-related DIF as a criterion for item selection in the short form (not a socio-demographic variable), but we would like to report this and point to the fact that it may suggest that health literacy may mean different
 things in different contexts. Suffering from a chronic condition may lead to learning selectively the medical terms specific to one’s condition. There are no ‘easy’ or ‘difficult’ medical terms in general. The difficulty order may be sensitive to various personal
 experiences of illness. From this analysis I can only propose this as a topic of further study and reflection – one which I think is quite important theoretically for health literacy. But I still need to advise the clinicians which items they should include
 in a short form, preferably based on some objective criteria I can explain to them clearly without resorting to ‘it depends on what you mean’ – I tried these answers before and it did not go well :)<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal">Many thanks, <o:p></o:p></p>
<p class="MsoNormal">Alex<o:p></o:p></p>
<p class="MsoNormal"> <o:p></o:p></p>
<p class="MsoNormal"><span lang="FR"> </span><o:p></o:p></p>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:12.0pt;color:black">From: </span></b><span style="font-size:12.0pt;color:black">Rasch <<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>> on behalf of "Stone, Gregory" <<a href="mailto:Gregory.Stone@UToledo.Edu">Gregory.Stone@UToledo.Edu</a>><br>
<b>Reply-To: </b>"<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>" <<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>><br>
<b>Date: </b>Monday 30 October 2017 at 15:43<br>
<b>To: </b>"<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>" <<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>><br>
<b>Subject: </b>Re: [Rasch] R: item selection based on DIF</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<p class="MsoNormal">I would point out a couple of things. <o:p></o:p></p>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">First, using .6-1.4 as a measure for fit is arbitrary.  A rule of thumb.  Richard Smith has a paper out on a proper calculation for understanding the boundaries appropriate based on sample sizes, number of items, etc.  While this range
 may be great for a a sample of 200, it’s significantly different for a sample of 1000.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Second, I would refer back to a very clear and simple review of DIF by Michael Linacre in a previous SIG newsletter and in the Winsteps instructions.  Beyond this we also look at balance and meaning.  I would never exclude an item based
 solely on a DIF statistic.  Measurement is a quantitative activity with deep roots in evaluation.  We cannot exclude an item just based on fit statistics, but based on our evaluation of
<i>why </i>after the fit statistics provide us with a clue.  There are and will always be items that evidence dif.  For example 2+2=? may be biased in favor of females.  Should we immediately delete it?  Heavens no.  We need to determine why it exhibits DIF.
  Is it simply random chance?  What is inherently biased in this item?  What could have made females do better?  Better preparation?  Finally consider balance.  Items balanced for and against females and males is a typical and acceptable event, depending on
 why.  <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Statistics are guideposts pointing you in certain directions.  They are not the destination.  We need, as Luigi has suggested, to explore the meaning before engaging in action.  <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">I would also do not understand “Education Dif”?  Level of education?  <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Gregory<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
<div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal">On Oct 30, 2017, at 5:25 AM, Bond, Trevor <<a href="mailto:trevor.bond@jcu.edu.au">trevor.bond@jcu.edu.au</a>> wrote:<o:p></o:p></p>
</div>
<p class="MsoNormal"> <o:p></o:p></p>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif">Education DIF?</span>
<o:p></o:p></p>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif">Surely this is the reason we teach? To make items easier for those who learn.</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif">T</span><o:p></o:p></p>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif">Prof Trevor G BOND</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif"><br>
On 30 Oct 2017, at 7:29 pm, prof. Luigi Tesio - AUXOLOGICO <<a href="mailto:l.tesio@auxologico.it"><span style="color:#954F72">l.tesio@auxologico.it</span></a>> wrote:</span><o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<div>
<p class="MsoNormal"><span style="color:#1F497D">Dear all,</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#1F497D">Please do not forget that Rasch analysis aims at measuring an existing (reflective) variable, not at  INVENTING (constructive) a latent trait. Add to the discussion outlined below some reasoning concerning the
 nature of the DIFFING/NON DIFFING items, the reason why they are or not relevant to the hypothesized trait, the potential CAUSES for DIF (not only p values) etc. The more Rasch is taken only as a statistical game, the more you will strive to adapt reality
 to fit indexes, not the reverse.</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#1F497D">Cheers</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#1F497D">Luigi</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#1F497D"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="color:#1F497D"> </span><o:p></o:p></p>
</div>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm">
<div>
<p class="MsoNormal"><b><span lang="IT">Da:</span></b><span class="apple-converted-space"><span lang="IT"> </span></span><span lang="IT">Rasch [<a href="mailto:rasch-bounces@acer.edu.au"><span style="color:#954F72">mailto:rasch-bounces@acer.edu.au</span></a>]<span class="apple-converted-space"> </span><b>Per
 conto di<span class="apple-converted-space"> </span></b>Edward Li<br>
<b>Inviato:</b><span class="apple-converted-space"> </span>lunedì 30 ottobre 2017 02:59</span><span lang="IT" style="font-family:"PMingLiU",serif"><br>
</span><b><span lang="IT">A:</span></b><span class="apple-converted-space"><span lang="IT"> </span></span><span lang="IT"><a href="mailto:rasch@acer.edu.au"><span style="color:#954F72">rasch@acer.edu.au</span></a><br>
<b>Oggetto:</b><span class="apple-converted-space"> </span>Re: [Rasch] item selection based on DIF</span><o:p></o:p></p>
</div>
</div>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt"> </span><o:p></o:p></p>
</div>
<div id="divtagdefaultwrapper">
<div>
<p class="MsoNormal"><span style="font-size:12.0pt">Hi Alex,</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt"> </span><o:p></o:p></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt">DIF analyses could induce artificial DIF which is an artefact of some items displaying real DIF. For example, when you find some items favouring one group, some other items will inevitably favour the other
 group. David Andrich and Curt Hagquist have a few papers discussing this topic which could be quite helpful in your case. Please see the reference below.</span><o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt"> </span><o:p></o:p></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt">Andrich, D., & Hagquist, C. (2012). Real and artificial differential item functioning. Journal of Educational and Behavioral Statistics, 37(3).</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt">Andrich,  D.,  &  Hagquist,  C.  (2015).  Real  and Artificial  Differential  Item  Functioning  in Polytomous  Items. Educational  and  Psychological  Measurement, 75(2).</span><o:p></o:p></p>
</div>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt">Cheers,</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt">Edward</span><o:p></o:p></p>
</div>
</div>
<div class="MsoNormal" align="center" style="text-align:center"><span style="font-size:12.0pt;font-family:"Times New Roman",serif">
<hr size="3" width="98%" align="center">
</span></div>
<div id="divRplyFwdMsg">
<div>
<p class="MsoNormal"><b>From:</b><span class="apple-converted-space"> </span>Rasch <<a href="mailto:rasch-bounces@acer.edu.au"><span style="color:#954F72">rasch-bounces@acer.edu.au</span></a>> on behalf of DIMA ALEXANDRA <<a href="mailto:alexandra.dima@univ-lyon1.fr"><span style="color:#954F72">alexandra.dima@univ-lyon1.fr</span></a>><br>
<b>Sent:</b><span class="apple-converted-space"> </span>Monday, 30 October 2017 1:19:17 AM<br>
<b>To:</b><span class="apple-converted-space"> </span><a href="mailto:rasch@acer.edu.au"><span style="color:#954F72">rasch@acer.edu.au</span></a><br>
<b>Subject:</b><span class="apple-converted-space"> </span>[Rasch] item selection based on DIF<o:p></o:p></p>
</div>
<div>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt;font-family:"Times New Roman",serif"> </span><o:p></o:p></p>
</div>
</div>
</div>
<div>
<div>
<p class="MsoNormal">Dear Rasch researchers,<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">I would like to ask for your advice in a DIF-related issue. We performed a Rasch analysis of a 33-item questionnaire to choose items for a short version, in two steps. First we examined items infit and outfit, and used the thresholds of
 mean squares outside the 0.6-1.4 range and standardized fit statistics outside the +/-2.0. No items were excluded at this step (all fitted this criterion). Then we examined DIF for gender, age, and education (in this order), and excluded items with DIF > 0.5
 logits. We excluded 3 items based on gender DIF, 4 items based on age DIF, and 12 based on education DIF. We thus arrived at a 14-item version, for which we examined again DIF for all 3 variables. We noticed that there appeared DIFs for age > 0.5 logits (e.g.
 .60, p<.000), even if in the earlier steps of the selection process these items had no problems. This is a noticeable and significant difference according to the winsteps manual (<a href="http://www.winsteps.com/winman/table30_1.htm"><span style="color:#954F72">http://www.winsteps.com/winman/table30_1.htm</span></a><span class="apple-converted-space"> </span>):
 « [DIF CONTRAST] should be at least 0.5 logits for DIF to be noticeable. "Prob." shows the probability of observing this amount of contrast by chance, when there is no systematic item bias effect. For statistically significance DIF on an item, Prob. ≤ .05. ».
 But I do not know how to figure out if this is also a substantive difference and if I should exclude those items as well, in other words continue item selection until all items show DIF <.05 for all variables (age, gender, education). This is particularly
 puzzling since these items showed acceptable DIF in previous runs. I understand in principle that this can happen, but what does it mean: are this items good enough or not? Should they be kept or excluded? Are there other criteria and tests that I should consider?<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Any suggestions or references for further reading would be much appreciated!<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Many thanks,<span class="apple-converted-space"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal">Alex<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt">  </span><o:p></o:p></p>
</div>
<table class="MsoNormalTable" border="0" cellspacing="0" cellpadding="0" style="margin-left:-5.4pt;border-collapse:collapse">
<tbody>
<tr>
<td width="341" valign="top" style="width:256.0pt;background:white;padding:0cm 5.4pt 0cm 5.4pt;background-position:initial initial;background-repeat:initial initial">
<div>
<p class="MsoNormal"><b><span style="font-size:10.5pt">Alexandra DIMA<span class="apple-converted-space"> </span></span></b><span style="font-size:10.5pt">PhD, AFBPsS</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt">Marie Curie Research Fellow</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><b><span style="font-size:10.5pt"> </span></b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><b><span style="font-size:10.5pt">EA 7425 HESPER</span></b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><b><span style="font-size:10.5pt">Health Services and Performance Research</span></b><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt">Université Claude Bernard Lyon 1</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt">Domaine Rockefeller- 2eme étage (aile CD)</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt">8 avenue Rockefeller</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt">69373 Lyon 8</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt">W: +33 (0) 4 26 68 82 23</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt">M: +33 (0) 6 32 86 82 37</span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt"><a href="mailto:Alexandra.dima@univ-lyon1.fr"><span style="color:#954F72">alexandra.dima@univ-lyon1.fr</span></a></span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:10.5pt"><a href="http://www.hesper.fr/"><span style="color:#954F72">www.hesper.fr</span></a></span><o:p></o:p></p>
</div>
</td>
</tr>
</tbody>
</table>
<div>
<p class="MsoNormal"><span style="font-size:12.0pt"> </span><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><span lang="FR"> </span><o:p></o:p></p>
</div>
</div>
<p class="MsoNormal" style="margin-bottom:12.0pt"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif"> </span><o:p></o:p></p>
<div>
<div style="margin-right:21.6pt">
<p class="MsoNormal"><i><span style="font-size:10.0pt;font-family:"Times New Roman",serif">Le informazioni contenute nella presente comunicazione sono di carattere strettamente confidenziale e sono riservate alla sola persona o società identificata come destinataria.
 Nel caso non siate la persona destinataria Vi informiamo che ogni divulgazione, copia o azione intrapresa sulla base delle informazioni contenute nella presente mail è proibita e sarà perseguita nei termini di legge. Qualora riceveste questa mail per errore,
 del quale ci scusiamo, Vi preghiamo di darcene immediata comunicazione rispondendo a questo stesso indirizzo e-mail e di cancellarlo definitivamente dal vostro computer.</span></i><o:p></o:p></p>
</div>
<div style="margin-right:21.6pt">
<p class="MsoNormal"><i><span style="font-size:12.0pt;font-family:"Times New Roman",serif"> </span></i><o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><i><span style="font-size:10.0pt;font-family:"Times New Roman",serif">This communication is for use by the intended recipient and contains information that may be privileged, confidential or copyrighted under applicable law. If you are
 not the intended recipient, you are hereby formally notified that any use, copying or distribution of this e-mail, in whole or in part, is strictly prohibited. Please notify the sender by return e-mail and delete this e-mail from your system. Unless explicitly
 and conspicuously designated as "E-Contract Intended”, this e-mail does not constitute a contract offer, a contract amendment, or an acceptance of a contract offer. This e-mail does not constitute a consent to the use of sender's contact information for direct
 marketing purposes or for transfers of data to third parties.</span></i><o:p></o:p></p>
</div>
<p class="MsoNormal"><span style="font-size:10.0pt;font-family:"Times New Roman",serif"> </span><o:p></o:p></p>
</div>
</div>
</blockquote>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif">________________________________________<br>
Rasch mailing list<br>
email:<span class="apple-converted-space"> </span><a href="mailto:Rasch@acer.edu.au"><span style="color:#954F72">Rasch@acer.edu.au</span></a><br>
web:<span class="apple-converted-space"> </span><a href="https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au"><span style="color:#954F72">https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au</span></a></span><o:p></o:p></p>
</div>
</blockquote>
</div>
<p class="MsoNormal"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif">________________________________________<br>
Rasch mailing list<br>
email:<span class="apple-converted-space"> </span></span><a href="mailto:Rasch@acer.edu.au"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif;color:#954F72">Rasch@acer.edu.au</span></a><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif"><br>
web:<span class="apple-converted-space"> </span></span><a href="https://mailinglist.acer.edu.au/mailman/options/rasch/gregory.stone%40utoledo.edu"><span style="font-size:10.5pt;font-family:"Helvetica",sans-serif;color:#954F72">https://mailinglist.acer.edu.au/mailman/options/rasch/gregory.stone%40utoledo.edu</span></a><o:p></o:p></p>
</div>
</blockquote>
</div>
<p class="MsoNormal"> <o:p></o:p></p>
</div>
</div>
</div>
</div>
</blockquote>
<blockquote type="cite">
<div><span>________________________________________</span><br>
<span>Rasch mailing list</span><br>
<span>email: <a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a></span><br>
<span>web: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au">
https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au</a></span></div>
</blockquote>
</div>
</body>
</html>