<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<META content="MSHTML 6.00.2900.2802" name=GENERATOR></HEAD>
<BODY>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006>Just&nbsp;for interest . . . </SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006>An alternate approach previously used within our state 
of New South Wales for matriculation exam results was generally to scale all 
subjects to the same mean (=60/100) and standard deviation (12.5), and then 
combine the marks.&nbsp;&nbsp;In 2000 we moved to a standards based system; 
panels of experts assess each examination against a set of standards and 
determine cut off marks for varying levels of achievement (e.g 90-100, 80-89, 
etc).</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006>For University entrance, Professor George Cooney has 
developed a complex iterative process.&nbsp; Basically, you look at the results 
for all students who studied some specific course.&nbsp;Then adjust their scores 
in that subject according to how they performed overall.&nbsp; Apply this to all 
courses and continue until the iteration converges sufficiently This is intended 
to adjust their scores according to overall performance.&nbsp; see <A 
href="http://www.boardofstudies.nsw.edu.au/manuals/pdf_doc/cooney.pdf#search='George%20Cooney'">http://www.boardofstudies.nsw.edu.au/manuals/pdf_doc/cooney.pdf#search='George%20Cooney'</A>&nbsp;or&nbsp;<A 
href="http://www.uac.edu.au/admin/uai.html">http://www.uac.edu.au/admin/uai.html</A> 
for more details.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006>Professor Jim Tognolini's doctoral thesis looked at 
combining marks that had been scaled according to Rasch analyses.&nbsp; From 
memory, a single Rasch score was sufficient to describe performance and rank 
students for over 93% of the students.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006>So there are various alternatives.&nbsp; The key trick 
is being able to sell an idea politically for it to be 
adopted.</SPAN></FONT></DIV>
<DIV dir=ltr align=left><FONT face=Arial color=#0000ff size=2><SPAN 
class=377534302-30012006></SPAN></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial color=#0000ff size=2></FONT>&nbsp;</DIV><!-- Converted from text/rtf format -->
<P><B><I><SPAN lang=en-au><FONT face="Goudy Old Style" color=#0000ff>Dr Juho 
Looveer</FONT></SPAN></I></B><I><SPAN lang=en-au></SPAN></I><SPAN 
lang=en-au><FONT face="Times New Roman"><BR></FONT></SPAN>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> rasch-bounces@acer.edu.au 
[mailto:rasch-bounces@acer.edu.au] <B>On Behalf Of </B>iasonas 
lambrianou<BR><B>Sent:</B> Monday, 30 January 2006 5:00 AM<BR><B>To:</B> 
rasch@acer.edu.au<BR><B>Subject:</B> Re: [Rasch] Re:Urgent question about high 
stakes and normality<BR></FONT><BR></P>
<DIV></DIV>
<P>Thank you Mike and Agustín.</P>
<P>Indeed, pretending to be able to predict a student's performance in History 
using his score in English and Latin is rediculuous. And I do not think that 
this could stand in the court as well. Human nature is too complex and our 
models (including our favourate, Rasch model) seem to be too simplistic to 
predict it (the human nature). Also, we know that students sometimes pay more 
attention on one test and study less for another test: so its not like height or 
weight, performance on different tests does not follow our 'physical rules'. 
</P>
<P>Having said that, I spent too much time talking to people from different 
countries. It seems that, at least&nbsp;in Australia,&nbsp;Europe, 
Singapour&nbsp;etc the people demand that we need to leave the students free to 
choose to be tested on their favourate subjects, but then we need to report and 
use 'overall scores'. In many countries people use the t-scores and then they 
aggregate them in various ways. I would have hoped that somebody might be able 
to suggest a better way. </P>
<P>Would it be a good idea to contact all those people and then write a few 
short papers describing our case studies and try to find out a solution to this 
problem? Or maybe we should just try to convinvce the people and the politicians 
that no statistical models can fix problems caused by irrational political 
decisions and bad practice?</P>
<P>&nbsp;Things become even worse when people run Rasch analysis using 50 cases 
when their rating scales range from 1-100. They do not even have 1 person per 
scale point. By the way, Mike, how would you comment on that?</P>
<P>Jason<BR><BR></P>
<BLOCKQUOTE 
style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">----- 
  Original Message -----<BR>From: "Agustin Tristan" <ICI_KALT@YAHOO.COM><BR>To: 
  "iasonas lambrianou" <LIASONAS@LYCOS.COM>, "-Rasch" 
  <RASCH@ACER.EDU.AU><BR>Subject: Re: [Rasch] Re:Urgent question about high 
  stakes and normality<BR>Date: Sun, 29 Jan 2006 07:17:23 -0800 (PST)<BR><BR>
  <DIV>Hi Iasonas: I can imagine two scenarios:</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>Scenario 1. Tests for different profiles of students. In this case you 
  have a set of tests with different attributes according to a profile or 
  speciality:</DIV>
  <DIV>&nbsp;&nbsp;&nbsp; Profile 1. Physics and Chemistry. Students have to 
  respond a test with thess modules: Math, Organic </DIV>
  <DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
  Chemistry, Dynamics, English.</DIV>
  <DIV>&nbsp;&nbsp;&nbsp; Profile 2. Socio-economics. Students have to respond 
  these modules: Math, Statistics, History and English.</DIV>
  <DIV>&nbsp;&nbsp;&nbsp;&nbsp;Profile 3....&nbsp;and so forth.</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>A student has to pass only one profile, as they are candidates&nbsp;to 
  different specialities or schools.</DIV>
  <DIV>In a profile you are using "shared" modules, like Math and English 
  that&nbsp;are used in two or more profiles. They are&nbsp;not anchor tests, 
  but modules or blocks that have to be included as part of the profile, but 
  under some conditions you may use the blocks as anchors.</DIV>
  <DIV>In this case, you get results from students in each module and also you 
  have the total result (when I say result I can imagine the measure obtained 
  from the Rasch model, you have measures for each module and a measure of the 
  total of the test). If this is true, I think you can report your results as 
  they come from your analysis, and no need to add the scores or results of the 
  parts to get a total. Trying to be clear: </DIV>
  <DIV>Profile 1: Math (20 items), Organic Chemistry (40 items), Dynamics (25 
  items) and English (50 items), all the Test (20+40+25+50 = 135 items). If you 
  analyse to score the students, you will have a Rasch measure in Math (say 0.5) 
  , another measure in O.C. (say 0.8), another in Dynamics (say&nbsp;1.3) 
  &nbsp;and another in English (say 0.0), and also another for the total (say 
  0.9).&nbsp;&nbsp; As you see the total 0.9 is not the addition of the parts, 
  but you don't need to add this.</DIV>
  <DIV>By the way, if you get the normal Z scores of each student in each part, 
  the Z value for all the test is not the addition of the Z of the blocks, and a 
  mean score may probably provide wrong interpretations.</DIV>
  <DIV>In this case you may order your students and make decisions per profile 
  as they are participating in different schools. You will have problems if you 
  wish to get a general ordered listing of all the students, as you're using 
  different measurement instruments per profile.</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>Scenario 2. Testing in blocks. Let's imagine you're responsible of a new 
  educational program in Manchester, including new didactic materials, new 
  curriculum, a set of video-games, activities and TV shows. You need a pre and 
  post test to have "a picture" of the students with and without your 
  educational program. As it is very difficult, expensive and time consuming to 
  apply a test with all the items for all the educational areas,&nbsp;you are 
  producing a test made with&nbsp;blocks: Math, Organic Chemistry, Dynamics, 
  English, Statistics and History. Each student will respond&nbsp;a 
  version&nbsp;including 3 of these blocks, in such a way that all the blocks 
  will be tested, but&nbsp;there is no&nbsp;students answering all the blocks. 
  If this is the case, you will not have a problem to get measures of the 
  students in the block they have worked and you will not have difficulties to 
  analyze each block and the items included in it.</DIV>
  <DIV>When this kind of test is used for a nationwide evaluation, you will not 
  need the result per student. The problem is if you wish to have a comparative 
  result among students.</DIV>
  <DIV>The problem in this case is how to get a total result for a student if 
  you wish to say how much does he know in </DIV>
  <DIV>the blocks he didn't answer, just using the information provided by the 
  blocks he really answered.</DIV>
  <DIV>We have some discussions in Mexico and other countries related to that. 
  We are facing&nbsp;two options:</DIV>
  <DIV>a) To produce an equated result between students of different versions 
  to&nbsp;get an overall result independently of the blocks he/she has 
  worked.</DIV>
  <DIV>b) To provide the measure of the version he/she has worked without 
  equating.</DIV>
  <DIV>In both cases you don't have to add the Z values of the equated 
  measures.</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>The other possibilities regard some extrapolations to imagine what is the 
  measure in History of a student, if he doesn't take the History block, 
  just&nbsp;knowing his results in the other blocks. We think this&nbsp;is quite 
  hard to believe, at least for us. If someone has a solution in this listserve 
  please let us know.</DIV>
  <DIV>&nbsp;</DIV>
  <DIV>Hope this helps.</DIV>
  <DIV>Agustín Tristan</DIV><BR><BR><BR>
  <DIV><FONT color=#0000bf><STRONG>FAMILIA DE PROGRAMAS KALT. 
  </STRONG></FONT></DIV>
  <DIV>Mariano Jiménez 1830 A </DIV>
  <DIV>Col. Balcones del Valle </DIV>
  <DIV>78280, San Luis Potosí, S.L.P. México </DIV>
  <DIV>TEL (52) 44-4820 37 88, 44-4820 04 31 </DIV>
  <DIV>FAX (52)&nbsp;44-4815 48 48 </DIV>
  <DIV>web page (in Spanish AND ENGLISH): <FONT 
  color=#c00000><STRONG>http://www.ieesa-kalt.com</STRONG></FONT></DIV>
  <P>
  <HR SIZE=1>
  <BR>What are the most popular cars? Find out at <A 
  href="http://us.rd.yahoo.com/evt=38382/_ylc=X3oDMTEzNWFva2Y2BF9TAzk3MTA3MDc2BHNlYwNtYWlsdGFncwRzbGsDMmF1dG9z/*http://autos.yahoo.com/newcars/popular/thisweek.html">Yahoo! 
  Autos</A> <BR>_______________________________________________<BR>Rasch mailing 
  list<BR>Rasch@acer.edu.au<BR>http://listserv3.acer.edu.au/mailman/listinfo/rasch<BR></BLOCKQUOTE><BR><BR><PRE>Dr. Iasonas Lamprianou
CFAS, School of Education
The University of Manchester
Oxford Road, Manchester M13 9PL, UK
Tel. 0044  161 275 3485
iasonas.lamprianou@man.ac.uk

</PRE><BR>-- 
<P>_______________________________________________<BR>Search for businesses by 
name, location, or phone number. -Lycos Yellow Pages <BR><BR><A 
href="http://r.lycos.com/r/yp_emailfooter/http://yellowpages.lycos.com/default.asp?SRC=lycos10">http://yp.lycos.com</A> 
<BR></P>
<FONT face="Courier New"><PRE>**********************************************************************<BR>This message is intended for the addressee named and may contain<BR>privileged information or confidential information or both. If you<BR>are not the intended recipient please delete it and notify the sender.<BR>**********************************************************************</PRE></FONT>
</BODY></HTML>