<html><head><meta http-equiv="Content-Type" content="text/html; charset=UTF-8"></head><body ><div>Mike, this is a great idea. But can the policy makers and the politicians allow us (the academics) to spoil their new toys ( the international studies)? The politicians use us (the academics) to produce data and reports which then the politicians use to carry out their little in-fightings and political debates.&nbsp;</div><div>&nbsp;We cannot afford to angry them, because we need their money and support. Maybe we need to train them on how to use our data most appropriately and sensibly. Pisa and Timms tables, for example, can be useful, but they are not the equivalent of The Bible.</div><div>Having said all that, we need to thank Margaret and the other researchers for providing the methodological tools and packages (have you all had a glance of the TAM package on the R platform?). But we also need to thak Paul for seeding the seeds of doubt, because this is the only way for science to prosper.</div><div>Jason</div><div><br></div><div><br></div><div><div style="font-size:8px;color:#575757">Sent from Samsung Mobile</div></div><br><br><div>-------- Original message --------</div><div>From: Mike Linacre <mike@winsteps.com> </div><div>Date:28/09/2014  10:46  (GMT+02:00) </div><div>To: rasch@acer.edu.au </div><div>Subject: Re: [Rasch] PISA critique in TES - a competition? </div><div><br></div>Kreiner says "Rasch model is not suitable for PISA"<br><br>Surely the fundamental problem is not the Rasch model. The fundamental <br>problem is the missing data.<br><br>Why don't we propose a subset of a PISA dataset to Kaggle as a <br>data-mining competition? Perhaps their 200,000+ statistical experts can <br>discover better ways to impute the missing data - <br>https://www.kaggle.com/competitions<br><br>The proposed Kaggle competition would work as follows:<br>a) from an actual, but not yet public, meaningful subset of the PISA <br>dataset (with lots of missing data) a little more empirical data is <br>removed in an intelligently random way. The names of countries, <br>specifics of items, etc., are also removed.<br>b) the competition is to predict all the missing observations in that <br>PISA dataset. The competitors are not told which are the observations <br>removed in (a).<br>c) the winner is the expert whose predicted observations match the <br>empirical observations removed in (a) the closest.<br><br>Having discovered more effective ways to impute the missing observations <br>in PISA datasets, we can advance to choosing the best model for <br>analyzing the now quasi-complete PISA datasets (2000, 2003, ... , 2012) <br>- perhaps by means of another Kaggle competition.<br><br>PISA insiders, when the PISA 2015 data is collected, how can we obtain <br>an unreleased, anonymized, subset of the PISA 2015 dataset for (a)?<br><br>Mike Linacre<br>mike@winsteps.com<br>________________________________________<br>Rasch mailing list<br>email: Rasch@acer.edu.au<br>web: https://mailinglist.acer.edu.au/mailman/options/rasch/liasonas%40cytanet.com.cy<br></body>