<html><body><div style="color:#000; background-color:#fff; font-family:Courier New, courier, monaco, monospace, sans-serif;font-size:14px"><div class="" style=""><span class="" style=""><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px;" class="">Hello everyone!</span></span></div><div class="" style="color: rgb(34, 34, 34); font-size: 13px; font-family: arial, sans-serif; font-style: normal; background-color: transparent;"><span class="" style=""><span style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px;" class="">I'm very happy to read the comments in this forum.</span></span></div><div style="color: rgb(34, 34, 34); font-family: arial, sans-serif; font-size: 13px;" class=""><br class="" style=""><div class="" style="">Probably the main issue is not related to the set of methods and considerations used in the PISA project or others (similar or different) in the world, but the main issue
 concerns validity, the definition of what it is supposed to be measured as "competencies for life" with 15 years old young persons. The implication of PISA is that those competencies should be equally useful to improve education and learning in Finland, Korea, USA, Mexico, France, Dominican Republic or Southern Yemen, even if the tests and set of items are not exactly equal in all the countries. Items could be different in presentation (or content), difficulty and, of course, language, cultural and social context.&nbsp;</div><div class="" style="">The analysis of validity is closer to what many people can understan and discuss in various countries (authorities, politicians, teachers in general), because the technical issues are mostly a matter for research and experts. I have many questions regarding the technical report of PISA and the Mexican data base, but in general we have to solve the problems by ourselves because there is a lack of information
 from the responsibles of the PISA project.</div><div class="" style=""><br class="" style=""></div><div class="" style="">I hope we shall have more explanations in this forum, and not only about PISA.</div><div class="" style="">Agustin Tristan</div></div><div class="" style=""></div><div class="" style="">&nbsp;</div><div class="" style="">INSTITUTO DE EVALUACION E INGENIERIA AVANZADA.<br class="" style="">Ave. Cordillera Occidental No. 635<br class="" style="">Colonia Lomas 4ª San Luis Potosí, San Luis Potosí.<br class="" style="">C.P. 78216 MEXICO<br class="" style="">(52) (444) 8 25 50 76 / (52) (444) 8 25 50 77 / (52) (444) 8 25 50 78<br class="" style="">Página Web (en español): http://www.ieia.com.mx<br class="" style="">Web page (in English): http://www.ieesa-kalt.com/English/Frames_sp_pro.html</div> <div class="qtdSeparateBR"><br><br></div><div class="yahoo_quoted" style="display: block;"> <div style="font-family: Courier New, courier,
 monaco, monospace, sans-serif; font-size: 14px;" class=""> <div style="font-family: HelveticaNeue, Helvetica Neue, Helvetica, Arial, Lucida Grande, sans-serif; font-size: 16px;" class=""> <div dir="ltr" class="" style=""> <font size="2" face="Arial" class="" style=""> On Monday, September 29, 2014 6:27 AM, Margaret Wu &lt;wu@edmeasurement.com.au&gt; wrote:<br class="" style=""> </font> </div>  <br class="" style=""><br class="" style=""> <div class="" style="">To present both sides of argument, you should be aware of the following<br clear="none" class="" style="">document<br clear="none" class="" style=""><br clear="none" class="" style="">www.oecd.org/pisa/47681954.pdf<br clear="none" class="" style=""><br clear="none" class="" style="">(I wasn't involved in writing the above document. I only found it today).<br clear="none" class="" style=""><br clear="none" class="" style=""><br clear="none" class="" style="">My first impression after reading the
 Kreiner and Christensen paper in<br clear="none" class="" style="">Psychometrika was that the authors didn't fully understand the scaling<br clear="none" class="" style="">model used in PISA. Since many queries raised in the paper were well known<br clear="none" class="" style="">methodologies established long before PISA came along, and these were<br clear="none" class="" style="">published as scholarly papers and implemented in NAEP and TIMSS for<br clear="none" class="" style="">several decades now.<br clear="none" class="" style=""><br clear="none" class="" style="">Item DIF certainly exists in PISA (and TIMSS), and in many national<br clear="none" class="" style="">assessments. I didn't feel OECD tried to hide this. I did a working paper<br clear="none" class="" style="">for OECD comparing PISA and TIMSS (published by OECD 2010). Essentially<br clear="none" class="" style="">the working paper found that different countries had different
 strengths<br clear="none" class="" style="">and weaknesses in mathematics sub-strands, and that different content<br clear="none" class="" style="">balance in the test would lead to different rankings of countries. OECD<br clear="none" class="" style="">published this and it is downloadable. If you search the literature, many<br clear="none" class="" style="">papers discussed DIF in PISA, including<br clear="none" class="" style="">Monseur, C., &amp; Berezner, A. (2007). The computation of equating errors in<br clear="none" class="" style="">international surveys in education. Journal of Applied Measurement, 8(3),<br clear="none" class="" style="">323-335.<br clear="none" class="" style="">In the above paper, the authors used PISA reading items and showed that<br clear="none" class="" style="">different sets of link items could lead to quite different results in<br clear="none" class="" style="">PISA. Monseur was at ACER working in the ACER PISA team
 for the first two<br clear="none" class="" style="">cycles of PISA, and has been a long serving member on the PISA technical<br clear="none" class="" style="">advisory group. I certainly don't share the view that there are blatant<br clear="none" class="" style="">attempts by the OECD to hide issues with DIF.<br clear="none" class="" style=""><br clear="none" class="" style="">Margaret<br clear="none" class="" style=""><br clear="none" class="" style="">-----Original Message-----<br clear="none" class="" style="">From: <a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a> [mailto:<a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a>] On<br clear="none" class="" style="">Behalf Of Svend Kreiner<br clear="none" class="" style="">Sent: Monday, 29 September 2014 7:04 PM<br
 clear="none" class="" style="">To: <a shape="rect" ymailto="mailto:rasch@acer.edu.au" href="mailto:rasch@acer.edu.au" class="" style="">rasch@acer.edu.au</a><br clear="none" class="" style="">Subject: Re: [Rasch] PISA critique in TES - a competition?<br clear="none" class="" style=""><br clear="none" class="" style="">Hi All,<br clear="none" class="" style=""><br clear="none" class="" style="">So it is back to PISA. Again.<br clear="none" class="" style=""><br clear="none" class="" style="">It is correct that I and Karl Bang Christensen show that the Rasch model<br clear="none" class="" style="">does not fit PISA’s reading items, but the problem as we see it does not<br clear="none" class="" style="">have anything to do with multidimensionality. The fundamental fundamental<br clear="none" class="" style="">problem is that PISA disregards DIF relative to Country and disregards<br clear="none" class="" style="">that fact that the testlet structure in
 PISA has creates local dependence<br clear="none" class="" style="">among items. The DIF problem means that country means are confounded, and<br clear="none" class="" style="">the local dependence means that the estimates of the variance of the<br clear="none" class="" style="">person parameter are inflated, and both of these problems influence the<br clear="none" class="" style="">ranks of the countries. Whether or not this is important is another<br clear="none" class="" style="">matter. We therefore tried to assess the robustness of the ranks in<br clear="none" class="" style="">several ways including comparison of PISAQ’s ranks with the ranks from a<br clear="none" class="" style="">model that takes DIF and local dependence into account. Our reading of the<br clear="none" class="" style="">results is that the model errors do matter. I suggest that you read our<br clear="none" class="" style="">paper and draw your own conclusions. If you have other
 ideas about how to<br clear="none" class="" style="">test the robustness we will be very happy to hear them and promise to try<br clear="none" class="" style="">them out and send you the results.<br clear="none" class="" style=""><br clear="none" class="" style="">Up to last summer, PISA has never admitted in print that there is DIF<br clear="none" class="" style="">relative to Country. The most interesting thing that came out of the TES<br clear="none" class="" style="">discussion last year is therefore the letter by Andreas Schleicher that<br clear="none" class="" style="">you can find at <a shape="rect" href="http://www.tes.co.uk/article.aspx?storycode=6345213" target="_blank" class="" style="">http://www.tes.co.uk/article.aspx?storycode=6345213 </a>where<br clear="none" class="" style="">he admits that “it is nonsense” to assume “that there should be no<br clear="none" class="" style="">variability in performance on individual question between
 students in<br clear="none" class="" style="">different countries”. That is, that it is nonsense to assume that there is<br clear="none" class="" style="">no DIF relative to Country.<br clear="none" class="" style="">You can read my response at<br clear="none" class="" style=""><a shape="rect" href="http://www.tes.co.uk/article.aspx?storycode=6360708." target="_blank" class="" style="">http://www.tes.co.uk/article.aspx?storycode=6360708. </a>Schleicher’s<br clear="none" class="" style="">statement is nothing less than remarkable, because it is the first time<br clear="none" class="" style="">that PISA admits that PISA has a DIF problem. It is also remarkable,<br clear="none" class="" style="">because it follows that he must regard PISA’s Rasch model&nbsp; as a nonsense<br clear="none" class="" style="">model. Let me quote PISA’s technical reports to put his remarks in<br clear="none" class="" style="">perspective. In these reports, you can read
 statements like “The<br clear="none" class="" style="">interpretation of a scale can be severely biased by unstable item<br clear="none" class="" style="">characteristics from one country to the next” (page 86 in the report from<br clear="none" class="" style="">2006) and “consistency of item parameter estimates across countries was of<br clear="none" class="" style="">particular interest” (page 147 in the same report). These and similar<br clear="none" class="" style="">statements can be found in all the technical reports, so we have to assume<br clear="none" class="" style="">that they mean it. Schleicher’s remarks can therefore only mean one of the<br clear="none" class="" style="">following things. He either disagrees with the way ACER has analysed the<br clear="none" class="" style="">data, he has not read the technical reports, or he does not understand<br clear="none" class="" style="">what he has read. Whatever the reason, the point he
 makes is important. To<br clear="none" class="" style="">use his own words, it requires little consideration to realise that the<br clear="none" class="" style="">idea of no DIF relative to Country is nonsense.<br clear="none" class="" style="">He then goes on to claim that “PISA has convincingly and conclusively<br clear="none" class="" style="">shown that the design of the tests and the scaling model used to score<br clear="none" class="" style="">them lead to robust measures of country performance that are not affected<br clear="none" class="" style="">by the composition of the item pool” and that “the results of these<br clear="none" class="" style="">analyses are documented in the PISA technical reports”. This, of course,<br clear="none" class="" style="">is a complete falsehood and typical of the way PISA argues when they have<br clear="none" class="" style="">to defend themselves. There is nothing whatsoever about assessment of<br
 clear="none" class="" style="">robustness of PISA ranks in the technical reports. Please check yourself,<br clear="none" class="" style="">if you do not believe me. The only thing I know of from their hands is a<br clear="none" class="" style="">report on science items in PISA 2006. Karl and I have commented on it in<br clear="none" class="" style="">our Psychometrika paper. The report (Adams R, Berezner A. &amp; Jakubowski, M.<br clear="none" class="" style="">Analysis of PISA 2006 preferred items ranking using the&nbsp; percent-correct<br clear="none" class="" style="">method) can be downloaded at<br clear="none" class="" style=""><a shape="rect" href="http://www.oecd.org/pisa/pisaproducts/pisa2006/44919855.pdf" target="_blank" class="" style="">http://www.oecd.org/pisa/pisaproducts/pisa2006/44919855.pdf</a>). It was<br clear="none" class="" style="">published after our discussion back in March 2010. During this discussion,<br clear="none" class=""
 style="">Ray Adams did not refer to this or similar reports and I am sure that no<br clear="none" class="" style="">such reports existed at that time, because he could have closed our<br clear="none" class="" style="">discussion back then before it started to get serious.<br clear="none" class="" style="">Anyway, you do not have to believe me. Download the things yourself and<br clear="none" class="" style="">see what you can find. And remember to ask PISA about the precise<br clear="none" class="" style="">references every time they claim to and reported something.<br clear="none" class="" style=""><br clear="none" class="" style="">And finally, we do appreciate the benefit of the doubt, but actually want<br clear="none" class="" style="">more than this. Please read our Psychometrika paper and let us know, if<br clear="none" class="" style="">you find some errors. We will be happy to acknowledge and correct them. It<br clear="none" class="" style="">is
 perhaps too much to ask, but it would also be nice if somebody would<br clear="none" class="" style="">read PISA's technical reports. Until now, I know of nobody besides me and<br clear="none" class="" style="">Karl who has done so, but it would be much more difficult for PISA to<br clear="none" class="" style="">avoid the discussion if people systematically checked their claims. And<br clear="none" class="" style="">the only way to do it is by reading their reports.<br clear="none" class="" style=""><br clear="none" class="" style="">Best<br clear="none" class="" style=""><br clear="none" class="" style="">Svend<br clear="none" class="" style=""><br clear="none" class="" style="">________________________________________<br clear="none" class="" style="">From: <a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a> [<a shape="rect"
 ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a>] on behalf of<br clear="none" class="" style="">Borsboom, Denny [<a shape="rect" ymailto="mailto:D.Borsboom@uva.nl" href="mailto:D.Borsboom@uva.nl" class="" style="">D.Borsboom@uva.nl</a>]<br clear="none" class="" style="">Sent: Monday, September 29, 2014 9:48 AM<br clear="none" class="" style="">To: <a shape="rect" ymailto="mailto:rasch@acer.edu.au" href="mailto:rasch@acer.edu.au" class="" style="">rasch@acer.edu.au</a><br clear="none" class="" style="">Subject: Re: [Rasch] PISA critique in TES - a competition?<br clear="none" class="" style=""><br clear="none" class="" style="">Hi all<br clear="none" class="" style=""><br clear="none" class="" style="">isn't it somewhat strange that one should buy a commercial book to assess<br clear="none" class="" style="">the details on dimensionality assessment of one of the largest<br
 clear="none" class="" style="">psychometric attacks on the tax payer's wallet in the history of mankind?<br clear="none" class="" style=""><br clear="none" class="" style="">In general, the lack of publicy available data and documentation on the<br clear="none" class="" style="">psychometric procedures followed is worrying. I'd suggest that if PISA<br clear="none" class="" style="">wants to gain back some street credibility in scientific circles, they<br clear="none" class="" style="">simply have to make public the data, analysis code, and decision<br clear="none" class="" style="">procedures used to arrive at their results. By this I don't mean the<br clear="none" class="" style="">woolly stuff that's in the tech reports I've seen, but simply datasets<br clear="none" class="" style="">with analysis code that reproduce the analyses used to assess e.g.<br clear="none" class="" style="">dimensionality and DIF.<br clear="none" class="" style=""><br
 clear="none" class="" style="">As long as PISA cannot offer such documentation, we should give Kreiner<br clear="none" class="" style="">the benefit of the doubt, simply because, in contrast to PISA's, his work<br clear="none" class="" style="">is in fact sufficiently detailed to pass the minimum scientific tresholds<br clear="none" class="" style="">of reproducibility and transparency.<br clear="none" class="" style=""><br clear="none" class="" style="">Best<br clear="none" class="" style="">Denny<br clear="none" class="" style=""><br clear="none" class="" style="">________________________________<br clear="none" class="" style="">From: <a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a> [<a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a>] on behalf of<br
 clear="none" class="" style="">Brady Michael Jack [<a shape="rect" ymailto="mailto:bradyjack@gmail.com" href="mailto:bradyjack@gmail.com" class="" style="">bradyjack@gmail.com</a>]<br clear="none" class="" style="">Sent: Monday, September 29, 2014 3:23 AM<br clear="none" class="" style="">To: <a shape="rect" ymailto="mailto:rasch@acer.edu.au" href="mailto:rasch@acer.edu.au" class="" style="">rasch@acer.edu.au</a><br clear="none" class="" style="">Subject: Re: [Rasch] PISA critique in TES - a competition?<br clear="none" class="" style=""><br clear="none" class="" style="">Hi Steve,<br clear="none" class="" style=""><br clear="none" class="" style="">In the article "Linking PISA competencies over three cycles - results from<br clear="none" class="" style="">Germany", Claus H. Carstensen (p. 204) explains how the uni-dimensionality<br clear="none" class="" style="">of PISA items are assessed. His description may be of value to the<br clear="none" class=""
 style="">conversation.<br clear="none" class="" style=""><br clear="none" class="" style="">Carstensen, C. H. (2013). Linking PISA competencies over three cycles -<br clear="none" class="" style="">results from Germany. In M. Prenzel, M. Kobarg, K. Schöps &amp; S. Rönnebeck<br clear="none" class="" style="">(Eds.), Research on PISA: research outcomes of the PISA research<br clear="none" class="" style="">conference 2009 (pp. 199-214): Springer.<br clear="none" class="" style=""><br clear="none" class="" style="">Respectfully,<br clear="none" class="" style="">Brady<br clear="none" class="" style=""><br clear="none" class="" style="">On Mon, Sep 29, 2014 at 8:51 AM, Steve Kramer<br clear="none" class="" style="">&lt;<a shape="rect" ymailto="mailto:skramer1958@verizon.net" href="mailto:skramer1958@verizon.net" class="" style="">skramer1958@verizon.net</a>&lt;mailto:<a shape="rect" ymailto="mailto:skramer1958@verizon.net"
 href="mailto:skramer1958@verizon.net" class="" style="">skramer1958@verizon.net</a>&gt;&gt; wrote:<br clear="none" class="" style="">There&nbsp; is a lot of noise in the TES article, but one potentially<br clear="none" class="" style="">legitimate<br clear="none" class="" style="">problem: Kreiner claims that the PISA questions violate the Rasch<br clear="none" class="" style="">uni-dimensionality assumption to such a degree that a Rasch model can't be<br clear="none" class="" style="">used, or at least can't be used with sufficient precision to rank<br clear="none" class="" style="">countries meaningfully.&nbsp; He says he tested this by trying out legitimate<br clear="none" class="" style="">subsets of questions, and investigating whether the differing subsets<br clear="none" class="" style="">predicted rankings that were similar to one another-and they didn't.<br clear="none" class="" style="">Specifically, "Canada could have finished anywhere
 between second and 25th<br clear="none" class="" style="">and Japan between eighth and 40th.".<br clear="none" class="" style="">Ray Adams responded by saying that PISA accounts for this problem, noting,<br clear="none" class="" style="">"We have always shown things like range of possible ranks, standard errors<br clear="none" class="" style="">and so on. We've also reported the effects of item selection ."<br clear="none" class="" style=""><br clear="none" class="" style="">In fact the 2012 country report on Japan looks nothing like "between 8th<br clear="none" class="" style="">and 40th".&nbsp; In 2012 Japan was ranked between 1st and 3rd in all subjects.<br clear="none" class="" style="">Kreiner may have been using data from a different year, but I can't<br clear="none" class="" style="">imagine that the RANGE of possible ranks shrank from 32 (40-8) down to 2<br clear="none" class="" style="">(3-1).&nbsp; I see only two possibilities:&nbsp; either
 Kreiner's methodology was<br clear="none" class="" style="">absolutely lousy, or else the PISA "range of ranks" was computed ASSUMING<br clear="none" class="" style="">uni-dimensionality and did not adequately CHECK for uni-dimensionality.<br clear="none" class="" style=""><br clear="none" class="" style="">Ray, do you have any technical articles you can reference explaining how<br clear="none" class="" style="">PISA either designed test items for uni-dimensionality or else checked<br clear="none" class="" style="">that uni-dimensionality was an adequate model for creating country ranks?<br clear="none" class="" style="">Also, are there any tech reports on how PISA determined each country's<br clear="none" class="" style="">potential<br clear="none" class="" style="">range of ranks?&nbsp;  Finally, I'd appreciate any tech reports in which PISA<br clear="none" class="" style="">investigated how choosing differing subsets of items affected country<br
 clear="none" class="" style="">ranking, or else articles (not necessarily PISA) explaining why a<br clear="none" class="" style="">procedure<br clear="none" class="" style="">like Kreiner's sub-setting is not a legitimate test.&nbsp; &nbsp; I suspect that<br clear="none" class="" style="">Kreiner's claims are simply based on invalid methodology, but I'd like to<br clear="none" class="" style="">be able to verify that suspicion.<br clear="none" class="" style=""><br clear="none" class="" style="">Steve Kramer<br clear="none" class="" style="">The 21st Century Partnership for STEM Education<br clear="none" class="" style=""><br clear="none" class="" style="">-----Original Message-----<br clear="none" class="" style="">From: <a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a>&lt;mailto:<a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au"
 href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a>&gt;<br clear="none" class="" style="">[mailto:<a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a>&lt;mailto:<a shape="rect" ymailto="mailto:rasch-bounces@acer.edu.au" href="mailto:rasch-bounces@acer.edu.au" class="" style="">rasch-bounces@acer.edu.au</a>&gt;] On<br clear="none" class="" style="">Behalf Of Mike Linacre<br clear="none" class="" style="">Sent: Sunday, September 28, 2014 6:13 PM<br clear="none" class="" style="">To: <a shape="rect" ymailto="mailto:rasch@acer.edu.au" href="mailto:rasch@acer.edu.au" class="" style="">rasch@acer.edu.au</a>&lt;mailto:<a shape="rect" ymailto="mailto:rasch@acer.edu.au" href="mailto:rasch@acer.edu.au" class="" style="">rasch@acer.edu.au</a>&gt;<br clear="none" class="" style="">Subject: Re: [Rasch] PISA critique in TES - a
 competition?<br clear="none" class="" style=""><br clear="none" class="" style="">Yes, Jason.<br clear="none" class="" style=""><br clear="none" class="" style="">Are PISA, TIMSS and similar studies really intended to advance education<br clear="none" class="" style="">worldwide or to advance political agendas? If the answer is "political<br clear="none" class="" style="">agendas" then the most politically-acceptable statistical methodologies<br clear="none" class="" style="">are the ones to choose. If the answer is "advance education" then<br clear="none" class="" style="">everyone, including the politicians, should be working towards discovering<br clear="none" class="" style="">and using the most effective statistical methodologies.<br clear="none" class="" style=""><br clear="none" class="" style="">According to www.rasch.org/software.htm&lt;<a shape="rect" href="http://www.rasch.org/software.htm" target="_blank" class=""
 style="">http://www.rasch.org/software.htm</a>&gt;<br clear="none" class="" style="">there are now seven Rasch-related R modules. They are free. Wonderful! But<br clear="none" class="" style="">there are 5,889 R modules. We will need more Rasch R modules before we<br clear="none" class="" style="">make a noticeable impact.<br clear="none" class="" style=""><br clear="none" class="" style="">Mike L.<br clear="none" class="" style=""><br clear="none" class="" style=""><br clear="none" class="" style="">On 9/28/2014 21:21 PM, liasonas wrote:<br clear="none" class="" style="">&gt; Mike, this is a great idea. But can the policy makers and the<br clear="none" class="" style="">&gt; politicians allow us (the academics) to spoil their new toys ( the<br clear="none" class="" style="">&gt; international studies)? The politicians use us (the academics) to<br clear="none" class="" style="">&gt; produce data and reports which then the politicians use to carry out<br
 clear="none" class="" style="">&gt; their little in-fightings and political debates.<br clear="none" class="" style="">&gt;&nbsp; We cannot afford to angry them, because we need their money and<br clear="none" class="" style="">&gt; support. Maybe we need to train them on how to use our data most<br clear="none" class="" style="">&gt; appropriately and sensibly. Pisa and Timms tables, for example, can be<br clear="none" class="" style="">&gt; useful, but they are not the equivalent of The Bible.<br clear="none" class="" style="">&gt; Having said all that, we need to thank Margaret and the other<br clear="none" class="" style="">&gt; researchers for providing the methodological tools and packages (have<br clear="none" class="" style="">&gt; you all had a glance of the TAM package on the R platform?). But we<br clear="none" class="" style="">&gt; also need to thak Paul for seeding the seeds of doubt, because this is<br clear="none" class="" style="">&gt;
 the only way for science to prosper.<br clear="none" class="" style="">&gt; Jason<br clear="none" class="" style=""><br clear="none" class="" style="">________________________________________<br clear="none" class="" style="">Rasch mailing list<br clear="none" class="" style="">email: <a shape="rect" ymailto="mailto:Rasch@acer.edu.au" href="mailto:Rasch@acer.edu.au" class="" style="">Rasch@acer.edu.au</a>&lt;mailto:<a shape="rect" ymailto="mailto:Rasch@acer.edu.au" href="mailto:Rasch@acer.edu.au" class="" style="">Rasch@acer.edu.au</a>&gt;<br clear="none" class="" style="">web:<br clear="none" class="" style=""><a shape="rect" href="https://mailinglist.acer.edu.au/mailman/options/rasch/skramer1958%40verizo" target="_blank" class="" style="">https://mailinglist.acer.edu.au/mailman/options/rasch/skramer1958%40verizo</a><br clear="none" class="" style="">n.<br clear="none" class="" style="">net<br clear="none" class="" style=""><br clear="none" class=""
 style="">________________________________________<br clear="none" class="" style="">Rasch mailing list<br clear="none" class="" style="">email: <a shape="rect" ymailto="mailto:Rasch@acer.edu.au" href="mailto:Rasch@acer.edu.au" class="" style="">Rasch@acer.edu.au</a>&lt;mailto:<a shape="rect" ymailto="mailto:Rasch@acer.edu.au" href="mailto:Rasch@acer.edu.au" class="" style="">Rasch@acer.edu.au</a>&gt;<br clear="none" class="" style="">web:<br clear="none" class="" style=""><a shape="rect" href="https://mailinglist.acer.edu.au/mailman/options/rasch/bradyjack%40gmail.co" target="_blank" class="" style="">https://mailinglist.acer.edu.au/mailman/options/rasch/bradyjack%40gmail.co</a><br clear="none" class="" style="">m<br clear="none" class="" style=""><br clear="none" class="" style=""><br clear="none" class="" style=""><br clear="none" class="" style="">--<br clear="none" class="" style="">Brady Michael Jack, Ph.D.<br clear="none" class=""
 style="">Postdoctoral Research Fellow<br clear="none" class="" style="">Center for General Education<br clear="none" class="" style="">National Sun Yat-sen University<br clear="none" class="" style="">70 Lien Hai Road,<br clear="none" class="" style="">Kaohsiung 804 Taiwan<br clear="none" class="" style="">Phone: +886-7-525-2000<br clear="none" class="" style="">Website: <a shape="rect" href="http://www.researchgate.net/profile/Brady_Jack/" target="_blank" class="" style="">http://www.researchgate.net/profile/Brady_Jack/</a><br clear="none" class="" style="">________________________________________<br clear="none" class="" style="">Rasch mailing list<br clear="none" class="" style="">email: <a shape="rect" ymailto="mailto:Rasch@acer.edu.au" href="mailto:Rasch@acer.edu.au" class="" style="">Rasch@acer.edu.au</a><br clear="none" class="" style="">web:<br clear="none" class="" style=""><a shape="rect"
 href="https://mailinglist.acer.edu.au/mailman/options/rasch/wu%40edmeasurement.c" target="_blank" class="" style="">https://mailinglist.acer.edu.au/mailman/options/rasch/wu%40edmeasurement.c</a><br clear="none" class="" style="">om.au<div class="" id="yqtfd08310" style=""><br clear="none" class="" style="">________________________________________<br clear="none" class="" style="">Rasch mailing list<br clear="none" class="" style="">email: <a shape="rect" ymailto="mailto:Rasch@acer.edu.au" href="mailto:Rasch@acer.edu.au" class="" style="">Rasch@acer.edu.au</a><br clear="none" class="" style="">web: <a shape="rect" href="https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com" target="_blank" class="" style="">https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com</a></div><br class="" style=""><br class="" style=""></div>  </div> </div>  </div> </div></body></html>