<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 15 (filtered medium)"><!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]--><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:#0563C1;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:#954F72;
        text-decoration:underline;}
p
        {mso-style-priority:99;
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
span.StileMessaggioDiPostaElettronica18
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.StileMessaggioDiPostaElettronica19
        {mso-style-type:personal;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
span.StileMessaggioDiPostaElettronica21
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:595.0pt 842.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body bgcolor=white lang=EN-GB link="#0563C1" vlink="#954F72"><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;color:#1F497D;mso-fareast-language:EN-US'>Dear all,<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;color:#1F497D;mso-fareast-language:EN-US'>Please do not forget that Rasch analysis aims at measuring an existing (reflective) variable, not at  INVENTING (constructive) a latent trait. Add to the discussion outlined below some reasoning concerning the nature of the DIFFING/NON DIFFING items, the reason why they are or not relevant to the hypothesized trait, the potential CAUSES for DIF (not only p values) etc. The more Rasch is taken only as a statistical game, the more you will strive to adapt reality to fit indexes, not the reverse.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;color:#1F497D;mso-fareast-language:EN-US'> Cheers<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;color:#1F497D;mso-fareast-language:EN-US'>Luigi<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;color:#1F497D;mso-fareast-language:EN-US'><o:p> </o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;color:#1F497D;mso-fareast-language:EN-US'><o:p> </o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span lang=IT style='font-size:11.0pt'>Da:</span></b><span lang=IT style='font-size:11.0pt'> Rasch [mailto:rasch-bounces@acer.edu.au] <b>Per conto di </b>Edward Li<br><b>Inviato:</b> lunedì 30 ottobre 2017 02:59<br><b>A:</b> rasch@acer.edu.au<br><b>Oggetto:</b> Re: [Rasch] item selection based on DIF<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p> </o:p></p><div id=divtagdefaultwrapper><p><span lang=EN-US style='font-family:"Calibri",sans-serif;color:black'>Hi Alex,<o:p></o:p></span></p><p><span lang=EN-US style='font-family:"Calibri",sans-serif;color:black'><o:p> </o:p></span></p><div><p class=MsoNormal><span lang=EN-US style='color:black'>DIF analyses could induce artificial DIF which is an artefact of some items displaying real DIF. For example, when you find some items favouring one group, some other items will inevitably favour the other group. David Andrich and Curt Hagquist have a few papers discussing this topic which could be quite helpful in your case. Please see the reference below.<o:p></o:p></span></p></div><p><span lang=EN-US style='font-family:"Calibri",sans-serif;color:black'><o:p> </o:p></span></p><div><p class=MsoNormal><span lang=EN-US style='color:black'>Andrich, D., & Hagquist, C. (2012). Real and artificial differential item functioning. Journal of Educational and Behavioral Statistics, 37(3). <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:black'>Andrich,  D.,  &  Hagquist,  C.  (2015).  Real  and Artificial  Differential  Item  Functioning  in Polytomous  Items. Educational  and  Psychological  Measurement, 75(2).<o:p></o:p></span></p></div><p class=MsoNormal><span lang=EN-US style='color:black'><o:p> </o:p></span></p><p><span lang=EN-US style='font-family:"Calibri",sans-serif;color:black'><o:p> </o:p></span></p><p><span lang=EN-US style='font-family:"Calibri",sans-serif;color:black'>Cheers,<o:p></o:p></span></p><p><span lang=EN-US style='font-family:"Calibri",sans-serif;color:black'>Edward<o:p></o:p></span></p></div><div class=MsoNormal align=center style='text-align:center'><span lang=EN-US style='font-family:"Times New Roman",serif'><hr size=3 width="98%" align=center></span></div><div id=divRplyFwdMsg><p class=MsoNormal><b><span lang=EN-US style='font-size:11.0pt;color:black'>From:</span></b><span lang=EN-US style='font-size:11.0pt;color:black'> Rasch <<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>> on behalf of DIMA ALEXANDRA <<a href="mailto:alexandra.dima@univ-lyon1.fr">alexandra.dima@univ-lyon1.fr</a>><br><b>Sent:</b> Monday, 30 October 2017 1:19:17 AM<br><b>To:</b> <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br><b>Subject:</b> [Rasch] item selection based on DIF</span><span lang=EN-US style='font-family:"Times New Roman",serif'> <o:p></o:p></span></p><div><p class=MsoNormal><span lang=EN-US style='font-family:"Times New Roman",serif'> <o:p></o:p></span></p></div></div><div><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt'>Dear Rasch researchers, </span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt'> </span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt'>I would like to ask for your advice in a DIF-related issue. We performed a Rasch analysis of a 33-item questionnaire to choose items for a short version, in two steps. First we examined items infit and outfit, and used the thresholds of mean squares outside the 0.6-1.4 range and standardized fit statistics outside the +/-2.0. No items were excluded at this step (all fitted this criterion). Then we examined DIF for gender, age, and education (in this order), and excluded items with DIF > 0.5 logits. We excluded 3 items based on gender DIF, 4 items based on age DIF, and 12 based on education DIF. We thus arrived at a 14-item version, for which we examined again DIF for all 3 variables. We noticed that there appeared DIFs for age > 0.5 logits (e.g. .60, p<.000), even if in the earlier steps of the selection process these items had no problems. This is a noticeable and significant difference according to the winsteps manual (<a href="http://www.winsteps.com/winman/table30_1.htm">http://www.winsteps.com/winman/table30_1.htm</a> ): « [DIF CONTRAST] should be at least 0.5 logits for DIF to be noticeable. "Prob." shows the probability of observing this amount of contrast by chance, when there is no systematic item bias effect. For statistically significance DIF on an item, Prob. ≤ .05. ». But I do not know how to figure out if this is also a substantive difference and if I should exclude those items as well, in other words continue item selection until all items show DIF <.05 for all variables (age, gender, education). This is particularly puzzling since these items showed acceptable DIF in previous runs. I understand in principle that this can happen, but what does it mean: are this items good enough or not? Should they be kept or excluded? Are there other criteria and tests that I should consider?</span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt'> </span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt'>Any suggestions or references for further reading would be much appreciated!</span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt'> </span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt'>Many thanks, </span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:11.0pt'>Alex</span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=FR style='font-size:11.0pt'> </span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=FR style='font-size:11.0pt'> </span><span lang=EN-US><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-size:10.5pt;color:black'>  </span><span lang=EN-US><o:p></o:p></span></p><table class=MsoNormalTable border=0 cellspacing=0 cellpadding=0 style='margin-left:-5.4pt;border-collapse:collapse'><tr><td width=341 valign=top style='width:256.0pt;background:white;padding:0cm 5.4pt 0cm 5.4pt'><p class=MsoNormal><b><span style='font-size:10.5pt;color:black'>Alexandra DIMA </span></b><span style='font-size:10.5pt;color:black'>PhD, AFBPsS</span><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'>Marie Curie Research Fellow</span><o:p></o:p></p><p class=MsoNormal><b><span style='font-size:10.5pt;color:black'> </span></b><o:p></o:p></p><p class=MsoNormal><b><span style='font-size:10.5pt;color:black'>EA 7425 HESPER</span></b><o:p></o:p></p><p class=MsoNormal><b><span style='font-size:10.5pt;color:black'>Health Services and Performance Research</span></b><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'>Université Claude Bernard Lyon 1</span><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'>Domaine Rockefeller- 2eme étage (aile CD)</span><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'>8 avenue Rockefeller</span><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'>69373 Lyon 8</span><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'>W: +33 (0) 4 26 68 82 23</span><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'>M: +33 (0) 6 32 86 82 37 </span><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'><a href="mailto:Alexandra.dima@univ-lyon1.fr">alexandra.dima@univ-lyon1.fr</a> </span><o:p></o:p></p><p class=MsoNormal><span style='font-size:10.5pt;color:black'><a href="http://www.hesper.fr/">www.hesper.fr</a></span><o:p></o:p></p></td></tr></table><p class=MsoNormal><span lang=EN-US><o:p> </o:p></span></p><p class=MsoNormal><span lang=FR style='font-size:11.0pt'> </span><span lang=EN-US><o:p></o:p></span></p></div></div></body></html>
<br>
<br><div><p style="text-align:left;font-size:1.3em;margin:0px 21.6pt 0px 0px"><i style="text-align:justify"><font size="2">Le informazioni contenute nella presente comunicazione sono di carattere strettamente confidenziale e sono riservate alla sola persona o società identificata come destinataria. Nel caso non siate la persona destinataria Vi informiamo che ogni divulgazione, copia o azione intrapresa sulla base delle informazioni contenute nella presente mail è proibita e sarà perseguita nei termini di legge. Qualora riceveste questa mail per errore, del quale ci scusiamo, Vi preghiamo di darcene immediata comunicazione rispondendo a questo stesso indirizzo e-mail e di cancellarlo definitivamente dal vostro computer.</font></i></p><p style="text-align:left;font-size:1.3em;margin:0px 21.6pt 0px 0px"><i><font size="3"> </font></i></p><p style="margin:0px"><i><font size="2">This communication is for use by the intended recipient and contains information that may be privileged, confidential or copyrighted under applicable law. If you are not the intended recipient, you are hereby formally notified that any use, copying or distribution of this e-mail, in whole or in part, is strictly prohibited. Please notify the sender by return e-mail and delete this e-mail from your system. Unless explicitly and conspicuously designated as "E-Contract Intended”, this e-mail does not constitute a contract offer, a contract amendment, or an acceptance of a contract offer. This e-mail does not constitute a consent to the use of sender's contact information for direct marketing purposes or for transfers of data to third parties.</font></i></p><p style="margin:0px"><font size="2"> </font></p></div>