<html><body><div style="color:#000; background-color:#fff; font-family:HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif;font-size:10pt"><div><span>Hello. You will need reliability in any test as well as you first need validity and objectivity. But what I understand about this discussion is that you are working in a learning process with steps such as those:</span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span>1) you apply a "diagnostic test" before the instruction, it is supposed that you get low measures from the students and you want to improve their competencies or knowledge.</span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent;
 font-style: normal;"><span>2) you propose some activities and a learning intervention, hoping that you will increase the competencies of the students</span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span>3) once you finish the activities, you administer a "formative test" to measure if the learning intervention works</span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span>4) you analyze the results:</span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span>4.1)&nbsp;</span><span
 style="background-color: transparent;">if the results of (3) are low, then your intervention did not work as you expected. Then, you should make a new approach and repeat steps 2 and 3 until you have better results from your students</span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span>4.2) if results of (3) are satisfactory, you pass to a new topic (or subject or goal) and repeat steps 1 to 4.</span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span style="font-size: 10pt;"><br></span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif;
 background-color: transparent; font-style: normal;"><span style="font-size: 10pt;">If this is the case, it is evident that:</span></div><div style="color: rgb(0, 0, 0); font-size: 10pt; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span style="font-size: 10pt;">4.1 needs that you have repeatability, because students get low measures before and after your intervention.&nbsp;</span><span style="font-size: 10pt;">In such case, it has no sense that I design an intervention hoping to get repeatability of measures in the pretest and the posttest, maybe it makes sense to try another thing.</span></div><div style="color: rgb(0, 0, 0); font-size: 10pt; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span style="font-size: 10pt;">BUT 4.2 needs that you do not have
 reliability in the sense of repeatability, because you need that the learning intervention works, students get low measures before and high measures after your intervention.</span></div><div style="color: rgb(0, 0, 0); font-size: 10pt; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><br></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span style="font-size: 10pt;">Nevertheless you will need internal consistency in both cases, that means that the internal consistency must be acceptable in the pretest and in the posttest, separately.&nbsp;</span></div><div style="color: rgb(0, 0, 0); font-size: 10pt; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color:
 transparent; font-style: normal;"><span style="font-size: 10pt; background-color: transparent;">&nbsp;</span><br></div><div style="color: rgb(0, 0, 0); font-size: 10pt; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span style="font-size: 10pt;">did I get the point?</span></div><div style="color: rgb(0, 0, 0); font-size: 10pt; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span style="font-size: 10pt;">regards</span></div><div style="color: rgb(0, 0, 0); font-size: 10pt; font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span style="font-size: 10pt;">agustin</span></div><div style="color: rgb(0, 0, 0); font-size: 13px; font-family: HelveticaNeue, 'Helvetica Neue',
 Helvetica, Arial, 'Lucida Grande', sans-serif; background-color: transparent; font-style: normal;"><span style="font-size: 10pt;">&nbsp;</span><br></div><div>INSTITUTO DE EVALUACION E INGENIERIA AVANZADA.<br>Ave. Cordillera Occidental No. 635<br>Colonia Lomas 4ª San Luis Potosí, San Luis Potosí.<br>C.P. 78216 MEXICO<br>(52) (444) 8 25 50 76 / (52) (444) 8 25 50 77 / (52) (444) 8 25 50 78<br>Página Web (en español): http://www.ieia.com.mx<br>Web page (in English): http://www.ieesa-kalt.com/English/Frames_sp_pro.html</div><div class="yahoo_quoted" style="display: block;"> <br> <br> <div style="font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; font-size: 10pt;"> <div style="font-family: HelveticaNeue, 'Helvetica Neue', Helvetica, Arial, 'Lucida Grande', sans-serif; font-size: 12pt;"> <div dir="ltr"> <font size="2" face="Arial"> On Sunday, October 27, 2013 12:55 PM, Paul Barrett &lt;paul@pbarrett.net&gt;
 wrote:<br> </font> </div>  <div class="y_msg_container"><div id="yiv0048826045"><style>#yiv0048826045 #yiv0048826045 --
 
 _filtered #yiv0048826045 {panose-1:2 4 5 3 5 4 6 3 2 4;}
 _filtered #yiv0048826045 {font-family:Calibri;panose-1:2 15 5 2 2 2 4 3 2 4;}
 _filtered #yiv0048826045 {font-family:Consolas;panose-1:2 11 6 9 2 2 4 3 2 4;}
 _filtered #yiv0048826045 {font-family:Verdana;panose-1:2 11 6 4 3 5 4 4 2 4;}
 _filtered #yiv0048826045 {font-family:Tahoma;panose-1:2 11 6 4 3 5 4 4 2 4;}
#yiv0048826045  
#yiv0048826045 p.yiv0048826045MsoNormal, #yiv0048826045 li.yiv0048826045MsoNormal, #yiv0048826045 div.yiv0048826045MsoNormal
        {margin:0cm;margin-bottom:.0001pt;font-size:12.0pt;}
#yiv0048826045 a:link, #yiv0048826045 span.yiv0048826045MsoHyperlink
        {color:blue;text-decoration:underline;}
#yiv0048826045 a:visited, #yiv0048826045 span.yiv0048826045MsoHyperlinkFollowed
        {color:purple;text-decoration:underline;}
#yiv0048826045 pre
        {margin:0cm;margin-bottom:.0001pt;font-size:10.0pt;}
#yiv0048826045 p.yiv0048826045MsoAcetate, #yiv0048826045 li.yiv0048826045MsoAcetate, #yiv0048826045 div.yiv0048826045MsoAcetate
        {margin:0cm;margin-bottom:.0001pt;font-size:8.0pt;}
#yiv0048826045 span.yiv0048826045HTMLPreformattedChar
        {font-family:Consolas;}
#yiv0048826045 span.yiv0048826045BalloonTextChar
        {}
#yiv0048826045 span.yiv0048826045apple-style-span
        {}
#yiv0048826045 span.yiv0048826045EmailStyle22
        {color:#1F497D;}
#yiv0048826045 span.yiv0048826045EmailStyle24
        {color:windowtext;font-weight:normal;font-style:normal;text-decoration:none none;}
#yiv0048826045 .yiv0048826045MsoChpDefault
        {font-size:10.0pt;}
 _filtered #yiv0048826045 {margin:72.0pt 72.0pt 72.0pt 72.0pt;}
#yiv0048826045 div.yiv0048826045WordSection1
        {}
#yiv0048826045 </style><div><div class="yiv0048826045WordSection1"><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;">Donald, I don’t believe this …</span></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">My associate dean has argued that we don’t need reliability on a test that we’re working on because we’re using formative measurement</span></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;">If you claim to make measurement, any kind of measurement, you have no choice but to evaluate its reliability (as repeatability).</span></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;">No psychometrics test-theory, assumption-laden hoopla needed, just a straightforward answer to a
 very simple question: </span></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;">“If I make a measure X of this person again, will I obtain the same magnitude, order, or class-category?” If you can’t answer that question, quantifying the accuracy/outcome discrepancy, your ‘measure’ is immediately rendered of ‘uncertain’ utility.</span></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;">And yes, time matters (duration between assessment occasions); &nbsp;you may not be able to gain such a repeatability measure because the attribute you seek to measure changes in relation to influences beyond your control and/or memory of prior responses becomes a significant factor. So, ‘reliability’ under these conditions then has to be sought indirectly via a process of gaining criterion validity (which is tricky as you
 are now also testing your understanding of the meaning a phenomenon/attribute in addition to the measurement device itself).</span></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;"> &nbsp;</span></div><div><div class="yiv0048826045MsoNormal"><span lang="DE-AT" style="font-size:11.0pt;">Regards .. Paul</span></div><div class="yiv0048826045MsoNormal"><span lang="DE-AT" style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><i><span lang="EN-US" style="font-size:9.0pt;">Chief Research Scientist</span></i></div><div class="yiv0048826045MsoNormal"><b><span lang="EN-US" style="font-size:9.0pt;">Cognadev.com</span></b></div><div class="yiv0048826045MsoNormal"><b><span lang="DE-AT" style="font-size:4.0pt;">__________________________________________________________________________________</span></b></div><div class="yiv0048826045MsoNormal"><b><span lang="DE-AT" style="font-size: 10pt; font-family: Consolas;
 color: rgb(247, 21, 75);">W</span></b><span lang="DE-AT" style="font-size: 10pt; font-family: Consolas; color: black;">:</span><span lang="DE-AT" style="font-size:10.0pt;"> </span><span style="font-size:11.0pt;"><a rel="nofollow" shape="rect" target="_blank" href="http://www.pbarrett.net/"><span lang="DE-AT" style="font-size:8.0pt;">www.cognadev.com</span></a></span><span style="font-size:8.0pt;"> <span lang="DE-AT"></span></span></div><div class="yiv0048826045MsoNormal"><b><span lang="DE-AT" style="font-size: 10pt; font-family: Consolas; color: rgb(247, 21, 75);">W</span></b><span lang="DE-AT" style="font-size: 10pt; font-family: Consolas; color: black;">:</span><span lang="DE-AT" style="font-size:10.0pt;"> </span><span style="font-size:11.0pt;"><a rel="nofollow" shape="rect" target="_blank" href="http://www.pbarrett.net/"><span lang="DE-AT" style="font-size:8.0pt;">www.pbarrett.net</span></a></span><span style="font-size:8.0pt;"> </span><span
 lang="DE-AT" style="font-size:10.0pt;"></span></div><div class="yiv0048826045MsoNormal"><b><span lang="DE-AT" style="font-size: 10pt; font-family: Consolas; color: rgb(247, 21, 75);">E</span></b><span lang="DE-AT" style="font-size: 10pt; font-family: Consolas; color: black;">:</span><span lang="DE-AT" style="font-size:10.0pt;"> </span><span style="font-size:11.0pt;"><a rel="nofollow" shape="rect" ymailto="mailto:paul@pbarrett.net" target="_blank" href="mailto:paul@pbarrett.net"><span lang="DE-AT" style="font-size:8.0pt;">paul@pbarrett.net</span></a></span><span style="font-size:8.0pt;"> <span lang="DE-AT"></span></span></div><div class="yiv0048826045MsoNormal"><b><span lang="DE-AT" style="font-size: 10pt; font-family: Consolas; color: rgb(247, 21, 75);">M</span></b><span lang="DE-AT" style="font-size: 10pt; font-family: Consolas; color: black;">:</span><span lang="DE-AT" style="font-size:10.0pt;"> </span><span lang="DE-AT"
 style="font-size:8.0pt;">+64-(0)21-415625</span><span lang="DE-AT" style="font-size:10.0pt;"></span></div></div><div class="yiv0048826045MsoNormal"><span style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045yqt9349235657" id="yiv0048826045yqt97878"><div><div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm;"><div class="yiv0048826045MsoNormal"><b><span lang="EN-US" style="font-size:11.0pt;">From:</span></b><span lang="EN-US" style="font-size:11.0pt;"> rasch-bounces@acer.edu.au [mailto:rasch-bounces@acer.edu.au] <b>On Behalf Of </b>Donald Bacon<br clear="none"><b>Sent:</b> Monday, October 28, 2013 7:03 AM<br clear="none"><b>To:</b> rasch@acer.edu.au<br clear="none"><b>Subject:</b> Re: [Rasch] formative v. reflective measures in assessment research</span></div></div></div><div class="yiv0048826045MsoNormal"> &nbsp;</div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">Thanks all
 for your thoughtful responses.&nbsp; I found the Edwards (2011) cite that Thomas Salzberger mentioned to be particularly helpful. (Edwards: The fallacy of formative measurement, Organizational Research Methods 2011 vol. 14 no. 2 370-38).&nbsp; For those interested, Edwards offers several examples.</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">My associate dean has argued that we don’t need reliability on a test that we’re working on because we’re using formative measurement.&nbsp; Now I’ve got a great article to send him.&nbsp; I don’t think that he will also argue that multiple-choice items have no measurement error, or that a census of all possible items will be more convenient than a sample.</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">
 &nbsp;</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">Thanks again – this group is a great help!</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">Don</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">Donald R. Bacon, Ph.D.</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">Professor of Marketing</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">Editor, Journal of Marketing Education</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">Daniels College of Business</span></div><div
 class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;">University of Denver</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:11.0pt;"> &nbsp;</span></div><div class="yiv0048826045MsoNormal"><b><span lang="EN-US" style="font-size:10.0pt;">From:</span></b><span lang="EN-US" style="font-size:10.0pt;"> <a rel="nofollow" shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" target="_blank" href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [<a rel="nofollow" shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" target="_blank" href="mailto:rasch-bounces@acer.edu.au">mailto:rasch-bounces@acer.edu.au</a>] <b>On Behalf Of </b>Luis Carlos Orozco<br clear="none"><b>Sent:</b> Sunday, October 27, 2013 8:22 AM<br clear="none"><b>To:</b> <a rel="nofollow" shape="rect"
 ymailto="mailto:Rasch@acer.edu.au" target="_blank" href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br clear="none"><b>Subject:</b> Re: [Rasch] formative v. reflective measures in assessment research</span></div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Dear all, one of the problems that I see in most of the papers talking of "cause" in the context we are talking, is the absence of time. For instance all the figures in the article mentioned by Thomas: "The fallacy of..." the arrows go in one direction, and one may think that the "something cause" precedes &nbsp;the items somebody is using to measure the "something cause", or the other way around. &nbsp;I think that in most of the cases the arrow should go in both directions, if there is not an empirical evidence of the precedence (time) of the cause.</span></div><div><div
 class="yiv0048826045MsoNormal"><span lang="EN-US">In the article "Cause in Rasch models" there is a clear "intervention" that precedes (time) the change observed in Rasch measures. This is what is being done in RCT, mostly in Psychiatry and Rehabilitation.</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Please forgive my english, I am quite good in spanish.&nbsp;</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div><div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:10.0pt;">Luis C. Orozco V. MD MSc</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"
 style="font-size:10.0pt;">Profesor Asociado</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:10.0pt;">Escuela de Enfermería</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:10.0pt;">Universidad Industrial de Santander</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:10.0pt;">Colombia</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US" style="font-size:10.0pt;"> &nbsp;</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">&nbsp;</span></div></div></div></div></div></div><div><div class="yiv0048826045yqt9349235657" id="yiv0048826045yqt37000"><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US"> &nbsp;</span></div><div><div class="yiv0048826045MsoNormal"><span
 lang="EN-US">2013/10/27 <a rel="nofollow" shape="rect" ymailto="mailto:l.tesio@auxologico.it" target="_blank" href="mailto:l.tesio@auxologico.it">l.tesio@auxologico.it</a> &lt;<a rel="nofollow" shape="rect" ymailto="mailto:l.tesio@auxologico.it" target="_blank" href="mailto:l.tesio@auxologico.it">l.tesio@auxologico.it</a>&gt;</span></div><div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Thomas,<br clear="none">very good comments.<br clear="none">Luigi Tesio<br clear="none"><br clear="none">Il 26/10/13 18:34, Thomas Salzberger ha scritto:</span></div></div><blockquote style="margin-top:5.0pt;margin-bottom:5.0pt;"><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">Don &amp; Luis,</span></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">I fear Jack et al.'s paper on causal Rasch
 models is not exactly what Don looks for. The idea of a Causal RM is that one should identify the mechanism that drives measurement and experimentally manipulate item difficulty and person ability.</span></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">Formative "measurement", or "formative indicators",&nbsp; is something else. But Jack has also commented on this (<a rel="nofollow" shape="rect" target="_blank" href="http://www.rasch.org/rmt/rmt221d.htm">http://www.rasch.org/rmt/rmt221d.htm</a>).</span></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">It does not surprise me that many Rasch advocates know very little or nothing about "formative measurement". And for a good reason. <br clear="none">In my mind, formative measurement is a misconception, a fallacy (see Edwards: The fallacy of formative measurement, Organizational Research Methods 2011 vol. 14 no. 2
 370-38), and seriously misleading.</span></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">Borsboom (2003 The <i>Theoretical Status of Latent Variables</i>. Denny Borsboom, Gideon J. Mellenbergh, and Jaap van Heerden in Psychological Review; 2005 book Measuring the mind) has convincingly demonstrated that the idea of a latent variable (and thus, a unidimensional construct) and formative "measurement" are incompatible provided you are in the realist camp. </span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US">If you critically question Jarvis et al's rules for deciding whether something has to be measured with reflective indicators (-&gt; factor analysis in CTT, IRT, Rasch) or formative indicators (-&gt; ? what "model" would you actually use?), then you notice that the criteria follow from what you assume (reflective or formative) in the first place. Yes, there sometimes is indeed a
 misspecification, but it is not a misspecification in terms of reflective measurement vs formative measurement. Rather, it is a misspecification with respect to measurement vs the summary of measurements. The latter essentially is a structural model. </span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">The reason why many people have no problems accepting formative measurement as measurement is probably due to Stevens' definition of measurement. If assigning numerals and interpreting them as numbers is measurement, then of course formative indicators also give you measurement. But then anything goes.</span></div></div><div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US"> &nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">I was contacted by my agent to make changes in my policy</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">I was
 contacted by my agent to sell me more life insurance</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">I was contacted by my agent to describe new insurance offerings</span></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">I was contacted by my agent to keep my policy in place</span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US">This does not make any sense to me. If you are interested in the intensity of contact, why not just ask whether one was contacted?</span></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">You may add reasons and that gives you additional information. But these items do not form a scale, and the sum score cannot lead to measurement.</span></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">If I wanted to measure "subjective warmth", I would not use the
 following items, would I:</span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US">I feel warm because it is hot outside.</span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US">I feel warm because the heating is on.</span></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">I feel warm because I have a fever.</span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Best</span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Thomas</span></div><div><div><div><div><div><div><div><div><div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div><div><div><div><div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">
 &nbsp;</span></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">2013/10/26 Luis Carlos Orozco &lt;<a rel="nofollow" shape="rect" ymailto="mailto:lcorovar@gmail.com" target="_blank" href="mailto:lcorovar@gmail.com">lcorovar@gmail.com</a>&gt;</span></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">There is a recent article in Frontiers in Psychology august 2013 volume 4 by Stenner, Fisher, Stone , Burdick &nbsp;"Causal Rasch models". That could help you. </span></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Luis C. Orozco V. MD MSc</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Profesor Asociado</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Escuela de Enfermería</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Universidad
 Industrial de Santander</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">Colombia</span></div></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div></div><div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US"> &nbsp;</span></div><div><div class="yiv0048826045MsoNormal"><span lang="EN-US">2013/10/26 Donald Bacon &lt;<a rel="nofollow" shape="rect" ymailto="mailto:dbacon@du.edu" target="_blank" href="mailto:dbacon@du.edu">dbacon@du.edu</a>&gt;</span></div><div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Hi all --</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">To offer more explanation on my reflective v. formative question, in reflective measurement models, the construct/latent trait causes the measures/indicators/items,
 whereas in formative models, the measures cause the latent trait.&nbsp; Jarvis, MacKenzie and Podsakoff (J Consumer Research, 2003) offer a thorough description of this difference.&nbsp; They cite Bollen and Lennox (Psych Bull, 1991) as identifying the same distinction, except that Bollen and Lennox call reflective indicators ‘effects indicators’ in a principal component model, and formative indicators ‘causal indicators’ in a composite latent construct model.</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Jarvis et al. cite a formative example from Crosby and Stephens (1987) that I will paraphrase here.&nbsp; In measuring the construct “personal contact with life insurance agents”, suppose the following measures are used:</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">I was contacted by my agent to
 make changes in my policy</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">I was contacted by my agent to sell me more life insurance</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">I was contacted by my agent to describe new insurance offerings</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">I was contacted by my agent to keep my policy in place</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">In these items, the agent would not suggest keeping the policy and changing the policy, so the inter-item correlations here should be low or perhaps even negative, yet all of these statements indicate personal contact.&nbsp; Internal consistency is not necessary for formative measures; to assess the quality of formative measures we need to look at criterion-related
 validity.&nbsp; Thus, formative models are a bit more like regression models, where the many independent variables are assumed to have no error and may have low intercorrrelations but the one dependent variable does have error.</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Jarvis et al. go on to report how measurement models have often been misspecified, even in top marketing journals, as formative measures have been treated as reflective and vice versa.&nbsp; They show how such misspecification can bias structural path estimates.&nbsp; </span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Getting back to Rasch measurement, it seems to me that Rasch assumes a reflective/effects/principal components model.&nbsp; However, Rasch may
 occasionally be misapplied to formative indicators.&nbsp; In the latter case, model fit and internal consistency would probably be low, but this is due mainly to fundamental model misspecification.&nbsp; Or can Rasch be used with formative indicators?</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Has this type of model misspecification been discussed in the Rasch literature?&nbsp; More specifically, are all tests of ability or knowledge generally reflective models?&nbsp; Is there a good cite that someone can point me too? </span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Thanks for any insights you may be able to provide.</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US"
 style="color:#1F497D;">&nbsp;</span><span lang="EN-US"></span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Don</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US" style="color:#1F497D;">&nbsp;</span><span lang="EN-US"></span></div><div><div style="border:none;border-top:solid windowtext 1.0pt;padding:3.0pt 0cm 0cm 0cm;"><div class="yiv0048826045MsoNormal" style=""><b><span lang="EN-US" style="font-size:10.0pt;">From:</span></b><span lang="EN-US" style="font-size:10.0pt;"> <a rel="nofollow" shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" target="_blank" href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [mailto:<a rel="nofollow" shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" target="_blank" href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>] <b>On Behalf Of </b>Bond, Trevor<br clear="none"><b>Sent:</b> Saturday, October 26, 2013 1:17 AM<br
 clear="none"><b>To:</b> <a rel="nofollow" shape="rect" ymailto="mailto:rasch@acer.edu.au" target="_blank" href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br clear="none"><b>Subject:</b> Re: [Rasch] formative v. reflective measures in assessment research</span><span lang="EN-US"></span></div></div></div><div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US" style="font-size:10.5pt;">Dear Donald,</span><span lang="EN-US"></span></div></div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US" style="font-size:10.5pt;">Perhaps you could share what you mean by formative and reflective, so we might be able better to answer your question.</span><span lang="EN-US"></span></div></div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US" style="font-size:10.5pt;">Collegially</span><span
 lang="EN-US"></span></div></div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US" style="font-size:10.5pt;">TGB</span><span lang="EN-US"></span></div></div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US" style="font-size:10.5pt;">&nbsp;</span><span lang="EN-US"></span></div></div><div style="border:none;border-top:solid windowtext 1.0pt;padding:3.0pt 0cm 0cm 0cm;"><div class="yiv0048826045MsoNormal" style=""><b><span lang="EN-US">From: </span></b><span lang="EN-US">Donald Bacon &lt;<a rel="nofollow" shape="rect" ymailto="mailto:dbacon@du.edu" target="_blank" href="mailto:dbacon@du.edu">dbacon@du.edu</a>&gt;<br clear="none"><b>Reply-To: </b>"<a rel="nofollow" shape="rect" ymailto="mailto:rasch@acer.edu.au" target="_blank" href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>" &lt;<a rel="nofollow" shape="rect" ymailto="mailto:rasch@acer.edu.au" target="_blank"
 href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>&gt;<br clear="none"><b>Date: </b>Saturday, 26 October 2013 3:57 AM<br clear="none"><b>To: </b>"<a rel="nofollow" shape="rect" ymailto="mailto:rasch@acer.edu.au" target="_blank" href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>" &lt;<a rel="nofollow" shape="rect" ymailto="mailto:rasch@acer.edu.au" target="_blank" href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>&gt;<br clear="none"><b>Subject: </b>[Rasch] formative v. reflective measures in assessment research</span></div></div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US" style="font-size:10.5pt;">&nbsp;</span><span lang="EN-US"></span></div></div><div><div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Hi all –</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;&nbsp; The Rasch model assumes that each measure in a scale reflects the same underlying trait, and so it
 seems that a reflective measurement model is appropriate, and internal consistency is a desirable quality.&nbsp; But what about the case of a long comprehensive exam, such as one we might use for assessment.&nbsp; In my experience, these exams often behave as if they were close to unidimensional, even though many different learning outcomes are captured. &nbsp;If well designed, these tests often exhibit high internal consistency. &nbsp;Because the models fit well, I’ve always thought of the measures as reflective, but perhaps my theory is wrong even though the fit is good; maybe the measures are formative.&nbsp; Is there any way to use the Rasch model with formative indicators?</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Thanks for any insights you might have –</span></div><div class="yiv0048826045MsoNormal" style=""><span
 lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Don </span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Donald R. Bacon, Ph.D.</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Professor of Marketing</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Editor, Journal of Marketing Education</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">Daniels College of Business</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">University of Denver</span></div><div class="yiv0048826045MsoNormal" style=""><span lang="EN-US">&nbsp;</span></div></div></div></div></div></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US"><br clear="none">_______________________________________________<br
 clear="none">Rasch mailing list<br clear="none"><a rel="nofollow" shape="rect" ymailto="mailto:Rasch@acer.edu.au" target="_blank" href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br clear="none">Unsubscribe: <a rel="nofollow" shape="rect" target="_blank" href="https://mailinglist.acer.edu.au/mailman/options/rasch/lcorovar%40gmail.com">https://mailinglist.acer.edu.au/mailman/options/rasch/lcorovar%40gmail.com</a></span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div><div class="yiv0048826045MsoNormal"><span lang="EN-US"><br clear="none">_______________________________________________<br clear="none">Rasch mailing list<br clear="none"><a rel="nofollow" shape="rect" ymailto="mailto:Rasch@acer.edu.au" target="_blank" href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br clear="none">Unsubscribe: <a rel="nofollow" shape="rect" target="_blank"
 href="https://mailinglist.acer.edu.au/mailman/options/rasch/thomas.salzberger%40gmail.com">https://mailinglist.acer.edu.au/mailman/options/rasch/thomas.salzberger%40gmail.com</a></span></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US"><br clear="none"><br clear="all"><br clear="none">-- <br clear="none">___________________________________<br clear="none"><a rel="nofollow" shape="rect" ymailto="mailto:Thomas.Salzberger@gmail.com" target="_blank" href="mailto:Thomas.Salzberger@gmail.com">Thomas.Salzberger@gmail.com</a><br clear="none"><a rel="nofollow" shape="rect" ymailto="mailto:Thomas.Salzberger@wu.ac.at" target="_blank" href="mailto:Thomas.Salzberger@wu.ac.at">Thomas.Salzberger@wu.ac.at</a></span></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US">
 &nbsp;</span></div></div></div><div><div><pre><span lang="EN-US">_______________________________________________</span></pre><pre><span lang="EN-US">Rasch mailing list</span></pre><pre><span lang="EN-US"><a rel="nofollow" shape="rect" ymailto="mailto:Rasch@acer.edu.au" target="_blank" href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a></span></pre></div></div><pre><span lang="EN-US"> &nbsp;</span></pre><pre><span lang="EN-US">Unsubscribe: <a rel="nofollow" shape="rect" target="_blank" href="https://mailinglist.acer.edu.au/mailman/options/rasch/l.tesio%40auxologico.it">https://mailinglist.acer.edu.au/mailman/options/rasch/l.tesio%40auxologico.it</a></span></pre></blockquote><div class="yiv0048826045MsoNormal" style="margin-bottom:12.0pt;"><span lang="EN-US"><br clear="none"><br clear="none"></span></div><pre><span lang="EN-US">-- </span></pre><pre><span lang="EN-US">Luigi Tesio, Professore Ordinario</span></pre><pre><span lang="EN-US">Cattedra di
 Medicina Fisica e Riabilitativa</span></pre><pre><span lang="EN-US">Università degli Studi di Milano</span></pre><pre><span lang="EN-US">Direttore, </span></pre><pre><span lang="EN-US">Unità Clinica e Laboratorio di Ricerche di Riabilitazione Neuromotoria</span></pre><pre><span lang="EN-US">Ospedale San Luca, Istituto Auxologico Italiano-IRCCS</span></pre><pre><span lang="EN-US">via Mercalli,32</span></pre><pre><span lang="EN-US">20122 Milano, Italy</span></pre><pre><span lang="EN-US">tel <a rel="nofollow" shape="rect" href="">+390258218154</a></span></pre><pre><span lang="EN-US">fax <a rel="nofollow" shape="rect" href="">+390259218152</a></span></pre><pre><span lang="EN-US">e.mail : <a rel="nofollow" shape="rect" ymailto="mailto:luigi.tesio@unimi.it" target="_blank" href="mailto:luigi.tesio@unimi.it">luigi.tesio@unimi.it</a></span></pre><pre><span lang="EN-US"><a rel="nofollow" shape="rect" target="_blank"
 href="http://www.unimi.it/">www.unimi.it</a></span></pre><pre><span lang="EN-US">e-mail : <a rel="nofollow" shape="rect" ymailto="mailto:l.tesio@auxologico.it" target="_blank" href="mailto:l.tesio@auxologico.it">l.tesio@auxologico.it</a></span></pre><pre><span lang="EN-US"><a rel="nofollow" shape="rect" target="_blank" href="http://www.auxologico.it/">www.auxologico.it</a></span></pre></div><div class="yiv0048826045MsoNormal"><span lang="EN-US"><br clear="none">_______________________________________________<br clear="none">Rasch mailing list<br clear="none"><a rel="nofollow" shape="rect" ymailto="mailto:Rasch@acer.edu.au" target="_blank" href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br clear="none">Unsubscribe: <a rel="nofollow" shape="rect" target="_blank" href="https://mailinglist.acer.edu.au/mailman/options/rasch/lcorovar%40gmail.com">https://mailinglist.acer.edu.au/mailman/options/rasch/lcorovar%40gmail.com</a></span></div></div></div><div
 class="yiv0048826045MsoNormal"><span lang="EN-US"> &nbsp;</span></div></div></div></div></div><br><div class="yqt9349235657" id="yqt90541">_______________________________________________<br clear="none">Rasch mailing list<br clear="none"><a shape="rect" ymailto="mailto:Rasch@acer.edu.au" href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br clear="none">Unsubscribe: <a shape="rect" href="https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com</a></div><br><br></div>  </div> </div>  </div> </div></body></html>