<html dir="ltr">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style id="owaParaStyle" type="text/css">P {margin-top:0;margin-bottom:0;}</style>
</head>
<body ocsi="0" fpstyle="1">
<div style="direction: ltr;font-family: Tahoma;color: #000000;font-size: 10pt;">Hi all<br>
<br>
isn't it somewhat strange that one should buy a commercial book to assess the details on dimensionality assessment of one of the largest psychometric attacks on the tax payer's wallet in the history of mankind?<br>
<br>
In general, the lack of publicy available data and documentation on the psychometric procedures followed is worrying. I'd suggest that if PISA wants to gain back some street credibility in scientific circles, they simply have to make public the data, analysis
 code, and decision procedures used to arrive at their results. By this I don't mean the woolly stuff that's in the tech reports I've seen, but simply datasets with analysis code that reproduce the analyses used to assess e.g. dimensionality and DIF.
<br>
<br>
As long as PISA cannot offer such documentation, we should give Kreiner the benefit of the doubt, simply because, in contrast to PISA's, his work is in fact sufficiently detailed to pass the minimum scientific tresholds of reproducibility and transparency.<br>
<br>
Best<br>
Denny<br>
<br>
<div style="font-family: Times New Roman; color: #000000; font-size: 16px">
<hr tabindex="-1">
<div style="direction: ltr;" id="divRpF848570"><font face="Tahoma" size="2" color="#000000"><b>From:</b> rasch-bounces@acer.edu.au [rasch-bounces@acer.edu.au] on behalf of Brady Michael Jack [bradyjack@gmail.com]<br>
<b>Sent:</b> Monday, September 29, 2014 3:23 AM<br>
<b>To:</b> rasch@acer.edu.au<br>
<b>Subject:</b> Re: [Rasch] PISA critique in TES - a competition?<br>
</font><br>
</div>
<div></div>
<div>
<div dir="ltr">Hi Steve,
<div><br>
</div>
<div>In the article &quot;Linking PISA competencies over three cycles - results from Germany&quot;, Claus H. Carstensen (p. 204) explains how the uni-dimensionality of PISA items are assessed. His description may be of value to the conversation.<br>
</div>
<div><span style="color:rgb(0,0,0); font-family:arial,sans-serif; font-size:13px"><br>
</span></div>
<div><font face="arial, sans-serif" color="#000000">Carstensen, C. H. (2013). Linking PISA competencies over three cycles - results from Germany. In M. Prenzel, M. Kobarg, K. Schöps &amp; S. Rönnebeck (Eds.),
<i>Research on PISA: research outcomes of the PISA research conference 2009</i> (pp. 199-214): Springer.</font><br>
</div>
<div><font face="arial, sans-serif" color="#000000"><br>
</font></div>
<div><font face="arial, sans-serif" color="#000000">Respectfully,</font></div>
<div><font face="arial, sans-serif" color="#000000">Brady</font></div>
</div>
<div class="gmail_extra"><br>
<div class="gmail_quote">On Mon, Sep 29, 2014 at 8:51 AM, Steve Kramer <span dir="ltr">
&lt;<a href="mailto:skramer1958@verizon.net" target="_blank">skramer1958@verizon.net</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex; border-left:1px #ccc solid; padding-left:1ex">
There&nbsp; is a lot of noise in the TES article, but one potentially legitimate<br>
problem: Kreiner claims that the PISA questions violate the<br>
Rasch uni-dimensionality assumption to such a degree that a Rasch model<br>
can't be used, or at least can't be used with sufficient precision to rank<br>
countries meaningfully.&nbsp; He says he tested this by trying out legitimate<br>
subsets of questions, and investigating whether the differing subsets<br>
predicted rankings that were similar to one another-and they didn't.<br>
Specifically, &quot;Canada could have finished anywhere between second and 25th<br>
and Japan between eighth and 40th.&quot;.<br>
Ray Adams responded by saying that PISA accounts for this problem, noting,<br>
&quot;We have always shown things like range of possible ranks, standard errors<br>
and so on. We've also reported the effects of item selection .&quot;<br>
<br>
In fact the 2012 country report on Japan looks nothing like &quot;between 8th and<br>
40th&quot;.&nbsp; In 2012 Japan was ranked between 1st and 3rd in all subjects.<br>
Kreiner may have been using data from a different year, but I can't imagine<br>
that the RANGE of possible ranks shrank from 32 (40-8) down to 2 (3-1).&nbsp; I<br>
see only two possibilities:&nbsp; either Kreiner's methodology was absolutely<br>
lousy, or else the PISA &quot;range of ranks&quot; was computed ASSUMING<br>
uni-dimensionality and did not adequately CHECK for uni-dimensionality.<br>
<br>
Ray, do you have any technical articles you can reference explaining how<br>
PISA either designed test items for uni-dimensionality or else checked that<br>
uni-dimensionality was an adequate model for creating country ranks? Also,<br>
are there any tech reports on how PISA determined each country's potential<br>
range of ranks?&nbsp; &nbsp;Finally, I'd appreciate any tech reports in which PISA<br>
investigated how choosing differing subsets of items affected country<br>
ranking, or else articles (not necessarily PISA) explaining why a procedure<br>
like Kreiner's sub-setting is not a legitimate test.&nbsp; &nbsp; I suspect that<br>
Kreiner's claims are simply based on invalid methodology, but I'd like to be<br>
able to verify that suspicion.<br>
<br>
Steve Kramer<br>
The 21st Century Partnership for STEM Education<br>
<br>
-----Original Message-----<br>
From: <a href="mailto:rasch-bounces@acer.edu.au" target="_blank">rasch-bounces@acer.edu.au</a> [mailto:<a href="mailto:rasch-bounces@acer.edu.au" target="_blank">rasch-bounces@acer.edu.au</a>] On Behalf<br>
Of Mike Linacre<br>
Sent: Sunday, September 28, 2014 6:13 PM<br>
To: <a href="mailto:rasch@acer.edu.au" target="_blank">rasch@acer.edu.au</a><br>
Subject: Re: [Rasch] PISA critique in TES - a competition?<br>
<br>
Yes, Jason.<br>
<br>
Are PISA, TIMSS and similar studies really intended to advance education<br>
worldwide or to advance political agendas? If the answer is &quot;political<br>
agendas&quot; then the most politically-acceptable statistical methodologies are<br>
the ones to choose. If the answer is &quot;advance education&quot; then everyone,<br>
including the politicians, should be working towards discovering and using<br>
the most effective statistical methodologies.<br>
<br>
According to <a href="http://www.rasch.org/software.htm" target="_blank">www.rasch.org/software.htm</a> there are now seven Rasch-related R<br>
modules. They are free. Wonderful! But there are 5,889 R modules. We will<br>
need more Rasch R modules before we make a noticeable impact.<br>
<br>
Mike L.<br>
<br>
<br>
On 9/28/2014 21:21 PM, liasonas wrote:<br>
&gt; Mike, this is a great idea. But can the policy makers and the<br>
&gt; politicians allow us (the academics) to spoil their new toys ( the<br>
&gt; international studies)? The politicians use us (the academics) to<br>
&gt; produce data and reports which then the politicians use to carry out<br>
&gt; their little in-fightings and political debates.<br>
&gt;&nbsp; We cannot afford to angry them, because we need their money and<br>
&gt; support. Maybe we need to train them on how to use our data most<br>
&gt; appropriately and sensibly. Pisa and Timms tables, for example, can be<br>
&gt; useful, but they are not the equivalent of The Bible.<br>
&gt; Having said all that, we need to thank Margaret and the other<br>
&gt; researchers for providing the methodological tools and packages (have<br>
&gt; you all had a glance of the TAM package on the R platform?). But we<br>
&gt; also need to thak Paul for seeding the seeds of doubt, because this is<br>
&gt; the only way for science to prosper.<br>
&gt; Jason<br>
<br>
________________________________________<br>
Rasch mailing list<br>
email: <a href="mailto:Rasch@acer.edu.au" target="_blank">Rasch@acer.edu.au</a><br>
web:<br>
<a href="https://mailinglist.acer.edu.au/mailman/options/rasch/skramer1958%40verizon.
net" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/skramer1958%40verizon.<br>
net</a><br>
<br>
________________________________________<br>
Rasch mailing list<br>
email: <a href="mailto:Rasch@acer.edu.au" target="_blank">Rasch@acer.edu.au</a><br>
web: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/bradyjack%40gmail.com" target="_blank">
https://mailinglist.acer.edu.au/mailman/options/rasch/bradyjack%40gmail.com</a><br>
</blockquote>
</div>
<br>
<br clear="all">
<div><br>
</div>
-- <br>
<div>Brady Michael Jack, Ph.D.<br>
Postdoctoral Research Fellow <br>
Center for General Education <br>
National Sun Yat-sen University <br>
70 Lien Hai Road, </div>
<div>Kaohsiung 804 Taiwan <br>
Phone: &#43;886-7-525-2000</div>
<div>Website:&nbsp;<a href="http://www.researchgate.net/profile/Brady_Jack/" style="color:rgb(17,85,204); font-family:arial,sans-serif; font-size:13px; background-color:rgb(255,255,255)" target="_blank">http://www.researchgate.net/profile/Brady_Jack/</a></div>
</div>
</div>
</div>
</div>
</body>
</html>