<table cellspacing="0" cellpadding="0" border="0" ><tr><td valign="top" style="font: inherit;"><DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Hello Anthony, </SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt"><?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /><o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Concerning your first question: what can say about the test? Many things indeed.</SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US></SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt"><o:p></o:p></SPAN>&nbsp;</DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>This is an old discussion because the theoreticians&nbsp;try to produce a set if hierarchical categories, following a classification order, according to the specific theoretical criterion but sometimes&nbsp;without an empirical proof. The measurement approach tries&nbsp;to confirm their hierarchical ordering and it is quite common to see that theory is not confirmed by measurement. <o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>This topic has been discussed during the last ICOM because in English learning as a 2nd language the theoreticians provide an ordered set of categories, but the item difficulties follow a different order. You may also find a comment about this in Daftarifard, P. and Lange Rense (2009) Rasch Measurement Transactions, 23, 2, autumn.</SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt"><o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt">&nbsp;</SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt">The first approach regards theory. </SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>I've discussed this&nbsp;topic&nbsp;with Dr. Massof during the ICOM. He has the same idea&nbsp;as many others we can have, coming&nbsp;directly from measurement: if measure cannot confirm the theory probably it is a good moment to define a new theory or to modify the existing one.<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Following the experimental&nbsp;approach you may probably see the SOLO taxonomies (SOLO means </SPAN><SPAN style="COLOR: black; FONT-SIZE: 11pt; mso-ansi-language: EN-US; mso-fareast-language: ES" lang=EN-US><FONT face="Times New Roman">Structure of the Observed Learning Outcome) by Biggs&nbsp;&amp; Collis (1982)&nbsp;and many other followers (Biggs, J.B., &amp; Collis, R.E. (1982) <I style="mso-bidi-font-style: normal">Evaluating the quality of learning: The SOLO taxonomy.</I> New York: Academic Press) you may find more SOLO taxonomies including Rasch approach if you make a search in the ERIC data base (</FONT></SPAN><A href="http://www.eric.ed.gov/"><SPAN style="FONT-SIZE: 11pt; mso-ansi-language: EN-US; mso-fareast-language: ES" lang=EN-US><FONT color=#0000ff face="Times New Roman">http://www.eric.ed.gov/</FONT></SPAN></A><FONT face="Times New
 Roman"><SPAN style="COLOR: black; FONT-SIZE: 11pt; mso-ansi-language: EN-US; mso-fareast-language: ES" lang=EN-US>). This approach is focused on the categories that can be&nbsp;measured and ordered in a sequence from easy to hard categories. It is possible to define the categories using a partitioning at reasonable distances involving a difference or distinction among them. If you have a test with difficulties from -3 to +3 logits, you may anchor your items in&nbsp;6 intervals of 1 logit wide (-3 to -2, -1.99 to 1, -0.99 to 0, 0.01 to 1, 1.01 to 2, 2.01 to 3), and have some judges or experts helping you to identify which is the definition of the 6 constructs or categories you're measuring from -3 to&nbsp;+3; this method is similar to bookmark&nbsp;but has been proposed by Beaton and Allen ( See Beaton and Allen, 1982, Interpreting scales through scale anchoring, Journal of Educational Statistics, 17, 191-204), there are&nbsp;more papers by Beaton and
 others. This approach has been used in projects like the NAEP.</SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US><o:p></o:p></SPAN></FONT></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>&nbsp;</SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>The second approach regards another methodological concept.&nbsp;I have another idea that is based on an old approach by Guilford (</SPAN><SPAN style="COLOR: black; FONT-SIZE: 11pt; mso-ansi-language: EN-US; mso-fareast-language: ES" lang=EN-US><FONT face="Times New Roman">Guilford, J.P. (1959) <I style="mso-bidi-font-style: normal">Three faces of intellect</I>. American Psychologist, 14, 469-457).&nbsp;The&nbsp;idea is based on Guilford's but it&nbsp;is not presented as such in the original paper: a 3D model, where we can&nbsp;identify that we have a content</FONT></SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>&nbsp;(mathematics or history competencies), related to a taxonomy classifying complexity&nbsp;levels&nbsp;of the mental operations (or abilities of competencies...)&nbsp;needed to
 learn and develop the content, measured&nbsp;using a test with items of different difficulty. &nbsp;With this idea it should be clear that difficulty is a different thing than taxonomical complexity. Difficulty&nbsp;has to be&nbsp;measured while the complexity&nbsp;categories are theoretically defined according to a theory that explains some aspects of mental abilities (&nbsp;or learning or competencies). <o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Let's look at the Bloom taxonomy, it defines 6 categories from simple to complex mental performances; Bloom&nbsp; et al didn´t say from easy to hard, but from simple to complex.&nbsp;To be clear: You may begin with the simplest category: knowledge (or memory competencies), you can measure memory using a set of items from easy to hard. And the last category: evaluation, you may measure it with&nbsp;items from easy to hard.&nbsp;Once you have measured you may identify persons having low or&nbsp;high memory, and also you may&nbsp;identify persons having&nbsp;low&nbsp;or high decision ability.&nbsp;In fact, memory is not&nbsp;always easy&nbsp;and decision is not hard for ever:&nbsp;persons able to take decisions don't&nbsp;have necessarily a good memory, and persons having low memory may take good decisions.&nbsp;A person can be good in one of the
 Bloom's categories, poor in other and medium in other.<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>&nbsp;<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Suppose&nbsp;a test of memory of capital cities of the world, items may concern France, England, Peru, Somalia, Honduras, Burkina Faso, Oriental Timor, Borneo, Mali, those items may&nbsp;go from easy to hard. In all cases it is just Geography (the content), memory is what we're looking for (one of the categories of Bloom) and the test has a set of items from easy to hard according to the number of correct responses of the persons (difficulty).<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>&nbsp;<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Complexity concerns the mental operations involved in a task (from simple to complex),&nbsp;it is defined according to a theory; it is defined a priori by a set of judges or theoreticians, it is not necessarily able to be measured and there is no objective criterion to define the hierarchy. Difficulty concerns the frequency of incorrect responses of a group of persons in the focal group to an item, it is defined by a measure a posteriori, i.e. after the test has been administered, the measure can be calculated following a&nbsp;procedure or formula.<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>&nbsp;<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>If the definitions of difficulty and complexity are different, why not treat them as two&nbsp;variables instead to consider as a single one? <o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Once we can accept thy are&nbsp;two variables, we can define&nbsp;a cubic model (similar to Guilford's), where you have the three dimensions: Content-complexity-difficulty.</SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US><o:p></o:p></SPAN>&nbsp;</DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>In any case an item of the&nbsp;test measures one dimension: the complexity level of a specific content.&nbsp;I am not thinking of a single item measuring two different contents (English and Math) or measuring two different complexity levels (it has no sense from the theory), and of course an item has only one measure or difficulty for&nbsp;the focal group or persons.</SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt"><o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt">&nbsp;<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt">&nbsp;<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Concerning your second question:</SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt"><o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Does this invalidate the additivity of the scores, even if we have perfect fit?</SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt"><o:p></o:p></SPAN></DIV>
<P style="MARGIN-BOTTOM: 12pt"><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>No. additivity has to do with the measurement dimension, not with content, not with complexity. The problem is ours when we try to collapse the 3 dimensions of this cube in a single one.</SPAN><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt"><o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>I&nbsp;wish my paper on this 3D model will be accepted soon to be published.<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>&nbsp;<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>I hope this helps.<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt; mso-ansi-language: EN-US" lang=EN-US>Agustin<o:p></o:p></SPAN></DIV>
<DIV><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt">&nbsp;<o:p></o:p></SPAN></DIV>
<P style="MARGIN: 0cm 0cm 10pt" class=MsoNormal><o:p><FONT size=3 face=Calibri>&nbsp;</FONT></o:p></DIV><BR><BR>
<DIV><FONT color=#0000bf><STRONG>FAMILIA DE PROGRAMAS KALT. </STRONG></FONT></DIV>
<DIV>Ave. Cordillera Occidental&nbsp; No. 635<BR>Colonia&nbsp; Lomas 4ª San Luis Potosí, San Luis Potosí.<BR>C.P.&nbsp; 78216&nbsp;&nbsp; MEXICO<BR>&nbsp;(52) (444) 8 25 50 76<BR>&nbsp;(52) (444) 8 25 50 77<BR>&nbsp;(52) (444) 8 25 50 78<BR>web page (in Spanish): <FONT color=#c00000><STRONG><A href="http://www.ieia.com.mx/" rel=nofollow target=_blank>http://www.ieia.com.mx</A></STRONG></FONT></DIV>
<DIV>web page (in English) <A href="http://www.ieesa-kalt.com/English/Frames_sp_pro.html" rel=nofollow target=_blank>http://www.ieesa-kalt.com/English/Frames_sp_pro.html</A></DIV><BR><BR>--- On <B>Sun, 10/31/10, Anthony James <I>&lt;luckyantonio2003@yahoo.com&gt;</I></B> wrote:<BR>
<BLOCKQUOTE style="BORDER-LEFT: rgb(16,16,255) 2px solid; PADDING-LEFT: 5px; MARGIN-LEFT: 5px"><BR>From: Anthony James &lt;luckyantonio2003@yahoo.com&gt;<BR>Subject: [Rasch] Empirical order &amp; Theoretical order<BR>To: rasch@acer.edu.au<BR>Date: Sunday, October 31, 2010, 6:44 AM<BR><BR>
<DIV class=plainMail>Dear colleagues,<BR>If the empirical difficulty order of items does not corresponde with the theoretical difficulty in terms of coginitive demand of the items, what can we conclude about the test?<BR>Does this invalidate the additivity of the scores, even if we have perfect fit?<BR><BR>Cheers<BR>Anthony<BR><BR><BR><BR>&nbsp; &nbsp; &nbsp; <BR>_______________________________________________<BR>Rasch mailing list<BR><A href="http://us.mc1115.mail.yahoo.com/mc/compose?to=Rasch@acer.edu.au" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</A><BR>Unsubscribe: <A href="https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com" target=_blank>https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com</A><BR></DIV></BLOCKQUOTE></td></tr></table><br>