<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 14 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri","sans-serif";
        mso-fareast-language:EN-US;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-AU link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Nicely said Thomas.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Steve<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> rasch-bounces@acer.edu.au [mailto:rasch-bounces@acer.edu.au] <b>On Behalf Of </b>Thomas Salzberger<br><b>Sent:</b> Tuesday, 30 September 2014 6:55 PM<br><b>To:</b> rasch@acer.edu.au<br><b>Subject:</b> Re: [Rasch] PISA critique in TES - a competition? - from a distance<o:p></o:p></span></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><div><div><div><div><div><div><div><div><div><div><div><div><p class=MsoNormal style='margin-bottom:12.0pt'>Dear all,<o:p></o:p></p></div><p class=MsoNormal>I have been watching the discussion from a distance since education is not my field of expertise.<o:p></o:p></p></div><div><p class=MsoNormal>Consequently, I refrain from making specific comments about the content.<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><p class=MsoNormal style='margin-bottom:12.0pt'>Anyhow, in my mind, it is unfortunate that the controversy divides people who are all, by and large, building upon the same premises and sharing more or less the same understanding of what measurement is or what it should be. It is an all to frequent phenomenon that the Rasch-community/ies get(s) roped into discussions on issues we actually should not assume responsibility for.<br>I, personally, do believe that PISA is first and foremost a political issue.<o:p></o:p></p></div><p class=MsoNormal>Isn't there an obsession with comparing everything, everybody, and every country? <o:p></o:p></p></div><p class=MsoNormal style='margin-bottom:12.0pt'>Admittedly, I do see the point. It is interesting to compare the outcome of educational systems of all sorts across all possible countries and derive conclusions. The ones lagging behind can learn from the vanguard. All fine. The objectives are commendable.<o:p></o:p></p></div><p class=MsoNormal>On the other hand, when does it come done to comparing apples and oranges?<o:p></o:p></p></div><p class=MsoNormal>Aren't there different curricula? Different emphasis from one country to another?<o:p></o:p></p></div><p class=MsoNormal>Different people? Culture?<br>Again, I am not an expert in the field, but I would think all of the above matters. <o:p></o:p></p></div><p class=MsoNormal>Or should all be the same all over the world? Globalization, same goals, one system?<o:p></o:p></p></div><div><p class=MsoNormal>Should we all teach to the PISA-test?<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><p class=MsoNormal>Rasch is a wonderful tool. Providing us with very useful properties if requirements are met. <o:p></o:p></p></div><p class=MsoNormal style='margin-bottom:12.0pt'>But isn't the frame of reference key? How far can we stretch the frame of reference when it comes to PISA? Apples and oranges, important? All fruits, after all.<o:p></o:p></p></div><div><p class=MsoNormal>However, what if one country tops the list in terms of apples but performs poorly in terms of oranges?<o:p></o:p></p></div><div><p class=MsoNormal>Whisk the thing and it is all the same?<o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'>I assume that multiple rankings (or a range of rankings) provide a much more valid representation, if one wants to apply Rasch. And I further assume everybody familiar with Rasch and measurement openly or secretly agrees. (Maybe I am wrong.)<o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'>The problem is, there is a political agenda. No politician (and the public) would have a clue what these fuzzy rankings would mean. They want an unambiguous answer. Simplicity rather than complexity. Damn thing that we live in a complex world.<o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'>In fact, I do understand politicians. If they want to derive clear conclusions, one equivocal ranking is much more useful. So, I do understand all who are behind PISA when they desperately try to achieve this.<o:p></o:p></p></div><div><p class=MsoNormal>The question remains what conclusions politicians actually draw anyway?<o:p></o:p></p></div><div><p class=MsoNormal>This is not a rhetorical question, I really do not know the answer.<o:p></o:p></p></div><div><p class=MsoNormal><br>In my own country (Austria), I observed that<o:p></o:p></p></div><div><p class=MsoNormal>- politicians refer to the gap between Austria and the top (mostly the Finns) whenever they want to emphasise that something needs to be done and the thing that needs to be done is what they have always said needs to be done (Pisa as the justification that action is required, but nobody really thinks about how the apparently successful procedures followed in Finland could be implemented in Austria; when asked about that politicians say &quot;Ah that wouldn't work here&quot; or &quot;That's too expensive, we cannot afford it&quot;).<o:p></o:p></p></div><div><p class=MsoNormal>- ruling parties acclaim any change to the better (even if it may only be a result of random fluctuation, it's different cohorts, after all), and claim that this is a sign that their policy is the right one<o:p></o:p></p></div><div><p class=MsoNormal>- whenever there is decline, ruling parties take this is evidence that there policy is still the right one but that we need more of that policy (we are on the right track, but it takes time, etc).<o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'>- the opposition claims the reverse.<o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'>No wonder that, as a citizen, I have doubts as to the usefulness of PISA once the results are in the hand of politicians. I guess experts in education might learn more from PISA results and they would know how to interpret ambiguity. Alas, it is not experts who rule this world (perhabs this is a good thing).<o:p></o:p></p></div><div><div><div><div><div><div><div><div><div><div><div><div><div><p class=MsoNormal>My fear is that the controversy about PISA will not be understood as a controversy primarily about PISA but more as one about the Rasch model. <o:p></o:p></p></div><div><p class=MsoNormal>People will say &quot;PISA? Isn't that this test where this obscure Rasch model is applied?&quot;<o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'>Or &quot;No wonder that they are in a mess. Rasch just doesn't work.&quot;<o:p></o:p></p></div><div><p class=MsoNormal>This is not to say that we should not discuss the issue. It is one of the great scientific assets of Rasch measurement that we do not shy away from such debates. But we need to emphasise that problems, if any, are not due to the Rasch model but due to the immense complexity of the task. <o:p></o:p></p></div><div><p class=MsoNormal>How this can be done? I don't know.<br><br>In any case, the purpose of Rasch is exposing problems, not necessarily solving them. <o:p></o:p></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'>This brings us back to politics. Politicians don't fancy problems, they want solutions ...<o:p></o:p></p></div><div><p class=MsoNormal>Best<o:p></o:p></p></div><div><p class=MsoNormal>Thomas<o:p></o:p></p></div><div><p class=MsoNormal><o:p>&nbsp;</o:p></p></div><div><p class=MsoNormal>-- <o:p></o:p></p><div><p class=MsoNormal style='margin-bottom:12.0pt'>___________________________________<br><a href="mailto:Thomas.Salzberger@gmail.com" target="_blank">Thomas.Salzberger@gmail.com</a><br><a href="mailto:Thomas.Salzberger@wu.ac.at" target="_blank">Thomas.Salzberger@wu.ac.at</a><o:p></o:p></p></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></body></html>