<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=utf-8"><meta name=Generator content="Microsoft Word 15 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
@font-face
        {font-family:Verdana;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p
        {mso-style-priority:99;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
        {mso-style-priority:99;
        mso-style-link:"Balloon Text Char";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:8.0pt;
        font-family:"Tahoma","sans-serif";}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:Consolas;}
span.BalloonTextChar
        {mso-style-name:"Balloon Text Char";
        mso-style-priority:99;
        mso-style-link:"Balloon Text";
        font-family:"Tahoma","sans-serif";}
span.EmailStyle21
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:windowtext;
        font-weight:normal;
        font-style:normal;
        text-decoration:none none;}
span.EmailStyle22
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
span.EmailStyle23
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:windowtext;
        font-weight:normal;
        font-style:normal;
        text-decoration:none none;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=EN-NZ link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'>Margaret, all very well explained, but of no consequence in the face of these two paragraphs from the TES story:<o:p></o:p></span></p><p><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'>“</span><span style='color:#00008D;mso-style-textfill-fill-color:#00008D;mso-style-textfill-fill-alpha:100.0%'>But Kreiner responded with a new paper this summer that broke the 2006 reading questions down in the same groupings used by Pisa. It did not include the eight questions that the OECD admits were “dodgy” for some countries, but it still found huge variations in countries’ rankings depending on which groups of questions were used.<o:p></o:p></span></p><p><span style='color:#00008D;mso-style-textfill-fill-color:#00008D;mso-style-textfill-fill-alpha:100.0%'>In addition to the UK and Denmark variations already mentioned, the different questions meant that Canada could have finished anywhere between second and 25th and Japan between eighth and 40th. It is, Kreiner says, more evidence that the Rasch model is not suitable for Pisa and that “the best we can say about Pisa rankings is that they are useless”.</span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#00008D;mso-style-textfill-fill-color:#00008D;mso-style-textfill-fill-alpha:100.0%;mso-fareast-language:EN-US'>”</span><span style='color:#00008D;mso-style-textfill-fill-color:#00008D;mso-style-textfill-fill-alpha:100.0%'><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'>The issue which seems to remain unresolved is the ability of multiple imputation to recover accurate population estimates for a country’s student reading ability where presumably none of the students in a particular country have undertaken a test for reading ability.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'>Surely someone has done the hard yards on this, using PISA data - other than Kreiner? This is not about whether multiple imputation works or not - that is a done deal. What is of concern is whether Kreiner’s analyses of actual PISA data (and the subsequent country rankings) are fundamentally correct.<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'>I don’t understand why the necessary evidence to show Kreiner is wrong has not been forthcoming from those responsible for the methodology within PISA; and I mean evidence of such clarity that it would have rendered the TES article as ‘not even worth writing’. <o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'><o:p>&nbsp;</o:p></span></p><div><p class=MsoNormal><span lang=DE-AT style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:black'>Regards .. Paul<o:p></o:p></span></p><p class=MsoNormal><span lang=DE-AT style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:black'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><i><span lang=EN-US style='font-size:9.0pt;font-family:"Verdana","sans-serif";color:black'>Chief Research Scientist<o:p></o:p></span></i></p><p class=MsoNormal><b><span lang=EN-US style='font-size:9.0pt;font-family:"Verdana","sans-serif";color:black'>Cognadev.com<o:p></o:p></span></b></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:4.0pt;font-family:"Calibri","sans-serif"'>__________________________________________________________________________________<o:p></o:p></span></b></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:#F7154B'>W</span></b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:black'>:</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'> </span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'><a href="http://www.pbarrett.net/"><span lang=DE-AT style='font-size:8.0pt;font-family:"Verdana","sans-serif"'>www.cognadev.com</span></a></span><span style='font-size:8.0pt;font-family:"Verdana","sans-serif";color:black'> <span lang=DE-AT><o:p></o:p></span></span></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:#F7154B'>W</span></b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:black'>:</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'> </span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'><a href="http://www.pbarrett.net/"><span lang=DE-AT style='font-size:8.0pt;font-family:"Verdana","sans-serif"'>www.pbarrett.net</span></a></span><span style='font-size:8.0pt;font-family:"Verdana","sans-serif";color:black'> </span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'><o:p></o:p></span></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:#F7154B'>E</span></b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:black'>:</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'> </span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'><a href="mailto:paul@pbarrett.net"><span lang=DE-AT style='font-size:8.0pt;font-family:"Verdana","sans-serif"'>paul@pbarrett.net</span></a></span><span style='font-size:8.0pt;font-family:"Verdana","sans-serif";color:black'> <span lang=DE-AT><o:p></o:p></span></span></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:#F7154B'>M</span></b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:black'>:</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'> </span><span lang=DE-AT style='font-size:8.0pt;font-family:"Verdana","sans-serif";color:black'>+64-(0)21-415625</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'><o:p></o:p></span></p></div><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";mso-fareast-language:EN-US'><o:p>&nbsp;</o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>From:</span></b><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif"'> rasch-bounces@acer.edu.au [mailto:rasch-bounces@acer.edu.au] <b>On Behalf Of </b>Margaret Wu<br><b>Sent:</b> Sunday, September 28, 2014 3:08 PM<br><b>To:</b> rasch@acer.edu.au<br><b>Subject:</b> Re: [Rasch] PISA critique in TES<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal><span lang=EN-AU>I think there appears to be some misunderstanding about imputation. Imputation never creates new data. Of course we cannot invent data. Here is a simple example about imputation. Suppose we have a data set with people’s height and weight measures, with some data records missing either height or weight measures. We carry out a regression with only complete data records (respondents with both height and weight measures). We obtain estimates of regression coefficients from this analysis (Analysis A). For the data records with missing responses, we can impute a value in the following way. Suppose person n has a weight of 65kg, but his/her height measure is missing. We look up the regression model from Analysis A, and look at the distribution of heights of people with a weight of 65kg. This (conditional) distribution represents the likely heights of people with a weight of 65 kg. We randomly draw an observation from this conditional distribution and produce an imputed height for person n. If we now re-analyse the data with the imputed height included, we first observe that the regression estimates should not change, since we imputed from the regression model obtained in Analysis A. However, the standard errors for the regression coefficients will now be smaller than those from Analysis A, because our second analysis assumes the imputed values are actually observed (so we have more data than actually observed). To make sure that we don’t have increased precision when imputed data are added, we make multiple imputations. For each imputed data set, we carry out a regression analysis. The results from these regressions will vary, because the imputed values are not the same each time, since we impute from a distribution. (Note that we do not use the mean of the conditional distribution as our imputed value. Instead we do a random draw). The variations between the multiple regression runs will reflect the uncertainty introduced by the imputations. We then have a formula for combining the multiple regression runs to add the uncertainty back into our regression parameters, so that the data sets with imputed values will produce just the same estimates and standard errors as for Analysis A.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-AU>&nbsp;<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-AU>So you may ask why bother to do imputation if the results of the imputed data sets produce the same results as the complete data set. Sometimes we have many variables of interest. If we have lots of missing values among different variables, and we do list-wise deletion of records, we may throw away a lot of records. Using imputation, we can have complete data sets for carrying out many statistical analyses, using all the data we have collected, and at the same time take into account that some data are missing.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-AU>&nbsp;<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-AU>There has been a lot of literature on imputation. See Rubin, Little, Graham, Schafer,…<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-AU>&nbsp;<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-AU>Using plausible values (PV) is one method of imputation. I should mention that the methodology of PV was not invented by PISA. The work of Bock, Mislevy, among others, in the 1980s has greatly contributed to large-scale assessment methodologies. I think one misconception of people who are not familiar with Bayesian IRT is that you need to estimate individuals well before you can measure the population parameters well. Actually, in Bayesian IRT (or the MML method), individual person abilities are not parameters in the model to be estimated. Bayesian IRT models overcome a lot of issues relating to forming population estimates from individual ability estimates which contain measurement errors. A lot of work has been done in showing how the (so-called) PISA model works well for large-scale surveys. Of course, for PISA, there are always issues with real-life applications of mathematical models, but these issues are not those raised in the articles recently mentioned such as in this thread of discussion. It appears that there are “suspicions”, but there is a lack of a full understanding of the actual models, so some explanations about the methodologies may help.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-AU style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span lang=EN-AU style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>Margaret</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><a name="_MailEndCompose"><span lang=EN-AU style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#1F497D'>&nbsp;</span></a><span lang=EN-AU><o:p></o:p></span></p><div><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>From:</span></b><span lang=EN-US style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>] <b>On Behalf Of </b>Paul Barrett<br><b>Sent:</b> Sunday, 28 September 2014 7:46 AM<br><b>To:</b> <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br><b>Subject:</b> Re: [Rasch] PISA critique in TES</span><span lang=EN-AU><o:p></o:p></span></p></div></div><p class=MsoNormal><span lang=EN-AU>&nbsp;<o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>I came across this paragraph in an ‘explanatory’ article in:</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'><a href="http://understandinguncertainty.org/about">http://understandinguncertainty.org/about</a></span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><i><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>What is this site?</span></i><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><i><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>This site is produced by the Winton programme for the public understanding of risk based in the Statistical Laboratory in the University of Cambridge</span></i><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>. </span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>The article is at:</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'><a href="http://understandinguncertainty.org/pisa-statistical-methods-more-detailed-comments">http://understandinguncertainty.org/pisa-statistical-methods-more-detailed-comments</a></span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>The paragraph which caught my interest was:</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#000057'>A simple Rasch model (PISA Technical Report , Chapter 9) is assumed, and five values for each student are generated at random from the 'posterior' distribution given the information available on that student. </span><u><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#5A0323'>So for the half of students in 2006 who did not answer any reading questions</span></u><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#5A0323'>, five 'plausible' reading scores are generated on the basis of their responses on other subjects</span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:#000057'>.</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>Look at that last sentence, and the bit I’ve underlined. Ordinarily, as a scientist rather than statistician, I’d burst out laughing at such an idiotic research design which ended up with this state of affairs as a purposeful ‘design’ feature. </span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>But maybe the “imputation” prediction model really does work as claimed on such data? My laughing is foolish after all. I’m not interested in simple monte-carlo &nbsp;expositions, but with what happens with real data, messy sampling, and items which don’t all fit the Rasch model. </span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>And, indeed, empirical evidence using such PISA appears to exist, detailing the accuracy of the plausible value procedure to correctly estimate the population scores for students who answer no items at all on reading ability, from scores on other variables (Svend Kreiner). The result seems to indicate that it is substantively <u>inaccurate</u>. </span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>The validity or otherwise of such ‘plausible values’ claims are matters for empirically-determined quantified predictive accuracy, where actual observational data are used, doing exactly what PISA does on say several groups of students who have undertaken several ‘same-item’ tests on two or more attributes, Then re-estimating the population parameters for each group based upon half of that group not answering any questions for a particular attribute. This is not rocket science.&nbsp; I’m assuming it has been done and published, and replicated by independent research groups? (Anyone have a reference or two)?</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>If this is so, it is puzzling how Kriener’s analyses could have revealed contrasting results.</span><span lang=EN-AU><o:p></o:p></span></p><div><p class=MsoNormal><span lang=DE-AT style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:black'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span lang=DE-AT style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:black'>Regards .. Paul</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><span lang=DE-AT style='font-size:11.0pt;font-family:"Calibri","sans-serif";color:black'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><i><span lang=EN-US style='font-size:9.0pt;font-family:"Verdana","sans-serif";color:black'>Chief Research Scientist</span></i><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><b><span lang=EN-US style='font-size:9.0pt;font-family:"Verdana","sans-serif";color:black'>Cognadev.com</span></b><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:4.0pt;font-family:"Calibri","sans-serif"'>__________________________________________________________________________________</span></b><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:#F7154B'>W</span></b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:black'>:</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'> </span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'><a href="http://www.pbarrett.net/"><span lang=DE-AT style='font-size:8.0pt;font-family:"Verdana","sans-serif"'>www.cognadev.com</span></a></span><span style='font-size:8.0pt;font-family:"Verdana","sans-serif";color:black'> </span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:#F7154B'>W</span></b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:black'>:</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'> </span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'><a href="http://www.pbarrett.net/"><span lang=DE-AT style='font-size:8.0pt;font-family:"Verdana","sans-serif"'>www.pbarrett.net</span></a></span><span style='font-size:8.0pt;font-family:"Verdana","sans-serif";color:black'> </span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:#F7154B'>E</span></b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:black'>:</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'> </span><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'><a href="mailto:paul@pbarrett.net"><span lang=DE-AT style='font-size:8.0pt;font-family:"Verdana","sans-serif"'>paul@pbarrett.net</span></a></span><span style='font-size:8.0pt;font-family:"Verdana","sans-serif";color:black'> </span><span lang=EN-AU><o:p></o:p></span></p><p class=MsoNormal><b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:#F7154B'>M</span></b><span lang=DE-AT style='font-size:10.0pt;font-family:Consolas;color:black'>:</span><span lang=DE-AT style='font-size:10.0pt;font-family:"Calibri","sans-serif";color:black'> </span><span lang=DE-AT style='font-size:8.0pt;font-family:"Verdana","sans-serif";color:black'>+64-(0)21-415625</span><span lang=EN-AU><o:p></o:p></span></p></div><p class=MsoNormal><span style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>&nbsp;</span><span lang=EN-AU><o:p></o:p></span></p><div><div style='border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif"'>From:</span></b><span lang=EN-US style='font-size:11.0pt;font-family:"Calibri","sans-serif"'> <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [<a href="mailto:rasch-bounces@acer.edu.au">mailto:rasch-bounces@acer.edu.au</a>] <b>On Behalf Of </b>Adams, Ray<br><b>Sent:</b> Saturday, September 27, 2014 2:08 PM<br><b>To:</b> rasch<br><b>Subject:</b> Re: [Rasch] PISA critique in TES</span><span lang=EN-AU><o:p></o:p></span></p></div></div><p class=MsoNormal>&nbsp;<span lang=EN-AU><o:p></o:p></span></p><div><p class=MsoNormal>Mike,<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>&nbsp;<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>We have always shown things like range of possible ranks, standard errors and so on. We've also reported the effects of item selection and all data collected is publicly accessible for others to scrutinise.<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>&nbsp;<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>Morrison dismisses all latent variable models kreiner says throw away everything that doesn't fit rasch perfectly and Goldstein says we throw away too much<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>&nbsp;<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>Oh, and the comments about plausible values are just statistical naïveté, believe them and NAEP would have to be scrapped as would any statistical methods that use montecarlo estimation, the theory of which was regarded as sound last time I looked.<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>&nbsp;<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>I love this criticism, it shows pisa is important. Putting energy into criticising it is good, I just wish genuine problems were uncovered and addressed. Goldstein does best on that front, I too would love longitudinal components and more finer grained analyses of subsets of items<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>&nbsp;<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal>Ray<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal><br>Sent from my iPhone<span lang=EN-AU><o:p></o:p></span></p></div><div><p class=MsoNormal style='margin-bottom:12.0pt'><br>On 27 Sep 2014, at 11:13 am, Mike Linacre &lt;<a href="mailto:mike@winsteps.com">mike@winsteps.com</a>&gt; wrote:<span lang=EN-AU><o:p></o:p></span></p></div><blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'><div><div><p class=MsoNormal>Thanks, T.<br><br>That article, and the comments following it, suggest to me that PISA results should be reported as box-and-whisker plots, not rankings. Then every country could choose to be at the top of its own whisker ....<br><br>&lt;mime-attachment.png&gt;<br>Or perhaps PISA already do this??<br><br>Mike Linacre<br><br>On 9/27/2014 10:18 AM, Bond, Trevor wrote:<span lang=EN-AU><o:p></o:p></span></p></div><blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'><pre><a href="http://www.tes.co.uk/article.aspx?storycode=6344672">http://www.tes.co.uk/article.aspx?storycode=6344672</a><span lang=EN-AU><o:p></o:p></span></pre><pre>Collegially<span lang=EN-AU><o:p></o:p></span></pre><pre>TGB<span lang=EN-AU><o:p></o:p></span></pre></blockquote><p class=MsoNormal style='margin-bottom:12.0pt'>&nbsp;<span lang=EN-AU><o:p></o:p></span></p></div></blockquote><blockquote style='margin-top:5.0pt;margin-bottom:5.0pt'><div><p class=MsoNormal>________________________________________<br>Rasch mailing list<br>email: <a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>web: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/ray.adams%40acer.edu.au">https://mailinglist.acer.edu.au/mailman/options/rasch/ray.adams%40acer.edu.au</a><span lang=EN-AU><o:p></o:p></span></p></div></blockquote></div></body></html>