<P>Thanks</P>
<P>Can I have a more technical and detailed explanation of the <FONT face=Arial color=#0000ff size=2>iterative process</FONT>? Or any research, report etc?</P>
<P>&nbsp;</P>
<P>jason<BR><BR></P>
<BLOCKQUOTE style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">----- Original Message -----<BR>From: "Looveer, Juho" <JUHO.LOOVEER@DET.NSW.EDU.AU><BR>To: "iasonas lambrianou" <LIASONAS@LYCOS.COM>, rasch@acer.edu.au<BR>Subject: RE: [Rasch] Re:Urgent question about high stakes and normality<BR>Date: Mon, 30 Jan 2006 14:27:11 +1100<BR><BR>
<META content="MSHTML 6.00.2900.2802" name=GENERATOR>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006>Just&nbsp;for interest . . . </SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006>An alternate approach previously used within our state of New South Wales for matriculation exam results was generally to scale all subjects to the same mean (=60/100) and standard deviation (12.5), and then combine the marks.&nbsp;&nbsp;In 2000 we moved to a standards based system; panels of experts assess each examination against a set of standards and determine cut off marks for varying levels of achievement (e.g 90-100, 80-89, etc).</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006>For University entrance, Professor George Cooney has developed a complex iterative process.&nbsp; Basically, you look at the results for all students who studied some specific course.&nbsp;Then adjust their scores in that subject according to how they performed overall.&nbsp; Apply this to all courses and continue until the iteration converges sufficiently This is intended to adjust their scores according to overall performance.&nbsp; see <A href="http://www.boardofstudies.nsw.edu.au/manuals/pdf_doc/cooney.pdf#search='George%20Cooney'">http://www.boardofstudies.nsw.edu.au/manuals/pdf_doc/cooney.pdf#search='George%20Cooney'</A>&nbsp;or&nbsp;<A href="http://www.uac.edu.au/admin/uai.html">http://www.uac.edu.au/admin/uai.html</A> for more details.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006>Professor Jim Tognolini's doctoral thesis looked at combining marks that had been scaled according to Rasch analyses.&nbsp; From memory, a single Rasch score was sufficient to describe performance and rank students for over 93% of the students.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006>So there are various alternatives.&nbsp; The key trick is being able to sell an idea politically for it to be adopted.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial color=#0000ff size=2></FONT>&nbsp;</DIV><!-- Converted from text/rtf format -->
<P><B><I><SPAN lang=en-au><FONT face="Goudy Old Style" color=#0000ff>Dr Juho Looveer</FONT></SPAN></I></B><I><SPAN lang=en-au></SPAN></I><SPAN lang=en-au><FONT face="Times New Roman"><BR></FONT></SPAN>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> rasch-bounces@acer.edu.au [mailto:rasch-bounces@acer.edu.au] <B>On Behalf Of </B>iasonas lambrianou<BR><B>Sent:</B> Monday, 30 January 2006 5:00 AM<BR><B>To:</B> rasch@acer.edu.au<BR><B>Subject:</B> Re: [Rasch] Re:Urgent question about high stakes and normality<BR></FONT><BR>
<P></P>
<DIV></DIV>
<P>Thank you Mike and Agustín.</P>
<P>Indeed, pretending to be able to predict a student's performance in History using his score in English and Latin is rediculuous. And I do not think that this could stand in the court as well. Human nature is too complex and our models (including our favourate, Rasch model) seem to be too simplistic to predict it (the human nature). Also, we know that students sometimes pay more attention on one test and study less for another test: so its not like height or weight, performance on different tests does not follow our 'physical rules'. </P>
<P>Having said that, I spent too much time talking to people from different countries. It seems that, at least&nbsp;in Australia,&nbsp;Europe, Singapour&nbsp;etc the people demand that we need to leave the students free to choose to be tested on their favourate subjects, but then we need to report and use 'overall scores'. In many countries people use the t-scores and then they aggregate them in various ways. I would have hoped that somebody might be able to suggest a better way. </P>
<P>Would it be a good idea to contact all those people and then write a few short papers describing our case studies and try to find out a solution to this problem? Or maybe we should just try to convinvce the people and the politicians that no statistical models can fix problems caused by irrational political decisions and bad practice?</P>
<P>&nbsp;Things become even worse when people run Rasch analysis using 50 cases when their rating scales range from 1-100. They do not even have 1 person per scale point. By the way, Mike, how would you comment on that?</P>
<P>Jason<BR><BR></P>
<BLOCKQUOTE style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">----- Original Message -----<BR>From: "Agustin Tristan" <ICI_KALT@YAHOO.COM><BR>To: "iasonas lambrianou" <LIASONAS@LYCOS.COM>, "-Rasch" <RASCH@ACER.EDU.AU><BR>Subject: Re: [Rasch] Re:Urgent question about high stakes and normality<BR>Date: Sun, 29 Jan 2006 07:17:23 -0800 (PST)<BR><BR>
<DIV>Hi Iasonas: I can imagine two scenarios:</DIV>
<DIV>&nbsp;</DIV>
<DIV>Scenario 1. Tests for different profiles of students. In this case you have a set of tests with different attributes according to a profile or speciality:</DIV>
<DIV>&nbsp;&nbsp;&nbsp; Profile 1. Physics and Chemistry. Students have to respond a test with thess modules: Math, Organic </DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Chemistry, Dynamics, English.</DIV>
<DIV>&nbsp;&nbsp;&nbsp; Profile 2. Socio-economics. Students have to respond these modules: Math, Statistics, History and English.</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;Profile 3....&nbsp;and so forth.</DIV>
<DIV>&nbsp;</DIV>
<DIV>A student has to pass only one profile, as they are candidates&nbsp;to different specialities or schools.</DIV>
<DIV>In a profile you are using "shared" modules, like Math and English that&nbsp;are used in two or more profiles. They are&nbsp;not anchor tests, but modules or blocks that have to be included as part of the profile, but under some conditions you may use the blocks as anchors.</DIV>
<DIV>In this case, you get results from students in each module and also you have the total result (when I say result I can imagine the measure obtained from the Rasch model, you have measures for each module and a measure of the total of the test). If this is true, I think you can report your results as they come from your analysis, and no need to add the scores or results of the parts to get a total. Trying to be clear: </DIV>
<DIV>Profile 1: Math (20 items), Organic Chemistry (40 items), Dynamics (25 items) and English (50 items), all the Test (20+40+25+50 = 135 items). If you analyse to score the students, you will have a Rasch measure in Math (say 0.5) , another measure in O.C. (say 0.8), another in Dynamics (say&nbsp;1.3) &nbsp;and another in English (say 0.0), and also another for the total (say 0.9).&nbsp;&nbsp; As you see the total 0.9 is not the addition of the parts, but you don't need to add this.</DIV>
<DIV>By the way, if you get the normal Z scores of each student in each part, the Z value for all the test is not the addition of the Z of the blocks, and a mean score may probably provide wrong interpretations.</DIV>
<DIV>In this case you may order your students and make decisions per profile as they are participating in different schools. You will have problems if you wish to get a general ordered listing of all the students, as you're using different measurement instruments per profile.</DIV>
<DIV>&nbsp;</DIV>
<DIV>Scenario 2. Testing in blocks. Let's imagine you're responsible of a new educational program in Manchester, including new didactic materials, new curriculum, a set of video-games, activities and TV shows. You need a pre and post test to have "a picture" of the students with and without your educational program. As it is very difficult, expensive and time consuming to apply a test with all the items for all the educational areas,&nbsp;you are producing a test made with&nbsp;blocks: Math, Organic Chemistry, Dynamics, English, Statistics and History. Each student will respond&nbsp;a version&nbsp;including 3 of these blocks, in such a way that all the blocks will be tested, but&nbsp;there is no&nbsp;students answering all the blocks. If this is the case, you will not have a problem to get measures of the students in the block they have worked and you will not have difficulties to analyze each block and the items included in it.</DIV>
<DIV>When this kind of test is used for a nationwide evaluation, you will not need the result per student. The problem is if you wish to have a comparative result among students.</DIV>
<DIV>The problem in this case is how to get a total result for a student if you wish to say how much does he know in </DIV>
<DIV>the blocks he didn't answer, just using the information provided by the blocks he really answered.</DIV>
<DIV>We have some discussions in Mexico and other countries related to that. We are facing&nbsp;two options:</DIV>
<DIV>a) To produce an equated result between students of different versions to&nbsp;get an overall result independently of the blocks he/she has worked.</DIV>
<DIV>b) To provide the measure of the version he/she has worked without equating.</DIV>
<DIV>In both cases you don't have to add the Z values of the equated measures.</DIV>
<DIV>&nbsp;</DIV>
<DIV>The other possibilities regard some extrapolations to imagine what is the measure in History of a student, if he doesn't take the History block, just&nbsp;knowing his results in the other blocks. We think this&nbsp;is quite hard to believe, at least for us. If someone has a solution in this listserve please let us know.</DIV>
<DIV>&nbsp;</DIV>
<DIV>Hope this helps.</DIV>
<DIV>Agustín Tristan</DIV><BR><BR><BR>
<DIV><FONT color=#0000bf><STRONG>FAMILIA DE PROGRAMAS KALT. </STRONG></FONT></DIV>
<DIV>Mariano Jiménez 1830 A </DIV>
<DIV>Col. Balcones del Valle </DIV>
<DIV>78280, San Luis Potosí, S.L.P. México </DIV>
<DIV>TEL (52) 44-4820 37 88, 44-4820 04 31 </DIV>
<DIV>FAX (52)&nbsp;44-4815 48 48 </DIV>
<DIV>web page (in Spanish AND ENGLISH): <FONT color=#c00000><STRONG>http://www.ieesa-kalt.com</STRONG></FONT></DIV>
<P>
<HR SIZE=1>
<BR>What are the most popular cars? Find out at <A href="http://us.rd.yahoo.com/evt=38382/_ylc=X3oDMTEzNWFva2Y2BF9TAzk3MTA3MDc2BHNlYwNtYWlsdGFncwRzbGsDMmF1dG9z/*http://autos.yahoo.com/newcars/popular/thisweek.html">Yahoo! Autos</A> <BR>_______________________________________________<BR>Rasch mailing list<BR>Rasch@acer.edu.au<BR>http://listserv3.acer.edu.au/mailman/listinfo/rasch<BR></BLOCKQUOTE><BR><BR><PRE>Dr. Iasonas Lamprianou
CFAS, School of Education
The University of Manchester
Oxford Road, Manchester M13 9PL, UK
Tel. 0044  161 275 3485
iasonas.lamprianou@man.ac.uk

</PRE><BR>-- 
<P>_______________________________________________<BR>Search for businesses by name, location, or phone number. -Lycos Yellow Pages <BR><BR><A href="http://r.lycos.com/r/yp_emailfooter/http://yellowpages.lycos.com/default.asp?SRC=lycos10">http://yp.lycos.com</A> <BR></P><FONT face="Courier New"><PRE>**********************************************************************<BR>This message is intended for the addressee named and may contain<BR>privileged information or confidential information or both. If you<BR>are not the intended recipient please delete it and notify the sender.<BR>**********************************************************************</PRE></FONT><BR>_______________________________________________<BR>Rasch mailing list<BR>Rasch@acer.edu.au<BR>http://listserv3.acer.edu.au/mailman/listinfo/rasch<BR></BLOCKQUOTE><BR><BR><PRE>Dr. Iasonas Lamprianou
CFAS, School of Education
The University of Manchester
Oxford Road, Manchester M13 9PL, UK
Tel. 0044  161 275 3485
iasonas.lamprianou@man.ac.uk

</PRE><BR>

-- 
<p>_______________________________________________<br>
Search for businesses by name, location, or phone number.  -Lycos Yellow Pages
<br><br><a href="http://r.lycos.com/r/yp_emailfooter/http://yellowpages.lycos.com/default.asp?SRC=lycos10">http://yp.lycos.com</a>
<BR>