<div dir="ltr">Hi Steve,<div><br></div><div>In the article &quot;Linking PISA competencies over three cycles - results from Germany&quot;, Claus H. Carstensen (p. 204) explains how the uni-dimensionality of PISA items are assessed. His description may be of value to the conversation.<br></div><div><span style="color:rgb(0,0,0);font-family:arial,sans-serif;font-size:13px"><br></span></div><div><font color="#000000" face="arial, sans-serif">Carstensen, C. H. (2013). Linking PISA competencies over three cycles - results from Germany. In M. Prenzel, M. Kobarg, K. Schöps &amp; S. Rönnebeck (Eds.), <i>Research on PISA: research outcomes of the PISA research conference 2009</i> (pp. 199-214): Springer.</font><br></div><div><font color="#000000" face="arial, sans-serif"><br></font></div><div><font color="#000000" face="arial, sans-serif">Respectfully,</font></div><div><font color="#000000" face="arial, sans-serif">Brady</font></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Sep 29, 2014 at 8:51 AM, Steve Kramer <span dir="ltr">&lt;<a href="mailto:skramer1958@verizon.net" target="_blank">skramer1958@verizon.net</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">There  is a lot of noise in the TES article, but one potentially legitimate<br>
problem: Kreiner claims that the PISA questions violate the<br>
Rasch uni-dimensionality assumption to such a degree that a Rasch model<br>
can&#39;t be used, or at least can&#39;t be used with sufficient precision to rank<br>
countries meaningfully.  He says he tested this by trying out legitimate<br>
subsets of questions, and investigating whether the differing subsets<br>
predicted rankings that were similar to one another-and they didn&#39;t.<br>
Specifically, &quot;Canada could have finished anywhere between second and 25th<br>
and Japan between eighth and 40th.&quot;.<br>
Ray Adams responded by saying that PISA accounts for this problem, noting,<br>
&quot;We have always shown things like range of possible ranks, standard errors<br>
and so on. We&#39;ve also reported the effects of item selection .&quot;<br>
<br>
In fact the 2012 country report on Japan looks nothing like &quot;between 8th and<br>
40th&quot;.  In 2012 Japan was ranked between 1st and 3rd in all subjects.<br>
Kreiner may have been using data from a different year, but I can&#39;t imagine<br>
that the RANGE of possible ranks shrank from 32 (40-8) down to 2 (3-1).  I<br>
see only two possibilities:  either Kreiner&#39;s methodology was absolutely<br>
lousy, or else the PISA &quot;range of ranks&quot; was computed ASSUMING<br>
uni-dimensionality and did not adequately CHECK for uni-dimensionality.<br>
<br>
Ray, do you have any technical articles you can reference explaining how<br>
PISA either designed test items for uni-dimensionality or else checked that<br>
uni-dimensionality was an adequate model for creating country ranks? Also,<br>
are there any tech reports on how PISA determined each country&#39;s potential<br>
range of ranks?   Finally, I&#39;d appreciate any tech reports in which PISA<br>
investigated how choosing differing subsets of items affected country<br>
ranking, or else articles (not necessarily PISA) explaining why a procedure<br>
like Kreiner&#39;s sub-setting is not a legitimate test.    I suspect that<br>
Kreiner&#39;s claims are simply based on invalid methodology, but I&#39;d like to be<br>
able to verify that suspicion.<br>
<br>
Steve Kramer<br>
The 21st Century Partnership for STEM Education<br>
<br>
-----Original Message-----<br>
From: <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>] On Behalf<br>
Of Mike Linacre<br>
Sent: Sunday, September 28, 2014 6:13 PM<br>
To: <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>
Subject: Re: [Rasch] PISA critique in TES - a competition?<br>
<br>
Yes, Jason.<br>
<br>
Are PISA, TIMSS and similar studies really intended to advance education<br>
worldwide or to advance political agendas? If the answer is &quot;political<br>
agendas&quot; then the most politically-acceptable statistical methodologies are<br>
the ones to choose. If the answer is &quot;advance education&quot; then everyone,<br>
including the politicians, should be working towards discovering and using<br>
the most effective statistical methodologies.<br>
<br>
According to <a href="http://www.rasch.org/software.htm" target="_blank">www.rasch.org/software.htm</a> there are now seven Rasch-related R<br>
modules. They are free. Wonderful! But there are 5,889 R modules. We will<br>
need more Rasch R modules before we make a noticeable impact.<br>
<br>
Mike L.<br>
<br>
<br>
On 9/28/2014 21:21 PM, liasonas wrote:<br>
&gt; Mike, this is a great idea. But can the policy makers and the<br>
&gt; politicians allow us (the academics) to spoil their new toys ( the<br>
&gt; international studies)? The politicians use us (the academics) to<br>
&gt; produce data and reports which then the politicians use to carry out<br>
&gt; their little in-fightings and political debates.<br>
&gt;  We cannot afford to angry them, because we need their money and<br>
&gt; support. Maybe we need to train them on how to use our data most<br>
&gt; appropriately and sensibly. Pisa and Timms tables, for example, can be<br>
&gt; useful, but they are not the equivalent of The Bible.<br>
&gt; Having said all that, we need to thank Margaret and the other<br>
&gt; researchers for providing the methodological tools and packages (have<br>
&gt; you all had a glance of the TAM package on the R platform?). But we<br>
&gt; also need to thak Paul for seeding the seeds of doubt, because this is<br>
&gt; the only way for science to prosper.<br>
&gt; Jason<br>
<br>
________________________________________<br>
Rasch mailing list<br>
email: <a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>
web:<br>
<a href="https://mailinglist.acer.edu.au/mailman/options/rasch/skramer1958%40verizon.
net" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/skramer1958%40verizon.<br>
net</a><br>
<br>
________________________________________<br>
Rasch mailing list<br>
email: <a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>
web: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/bradyjack%40gmail.com" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/bradyjack%40gmail.com</a><br>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div>Brady Michael Jack, Ph.D.<br>Postdoctoral Research Fellow <br>Center for General Education <br>National Sun Yat-sen University <br>70 Lien Hai Road, </div>
<div>Kaohsiung 804 Taiwan <br>Phone: +886-7-525-2000</div><div>Website: <a href="http://www.researchgate.net/profile/Brady_Jack/" style="color:rgb(17,85,204);font-family:arial,sans-serif;font-size:13px;background-color:rgb(255,255,255)" target="_blank">http://www.researchgate.net/profile/Brady_Jack/</a></div>
</div>