<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">
<HTML>
<HEAD>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<META NAME="Generator" CONTENT="MS Exchange Server version 6.5.7233.28">
<TITLE>RE: [Rasch] A practical one</TITLE>
</HEAD>
<BODY>
<!-- Converted from text/plain format -->

<P><FONT SIZE=2>On a practical note - I would wonder about the time between the first examination and the second.&nbsp; It seems evident that when a reasonable time elapses, memory fades.&nbsp; Indeed, several suggestions have been made that while candidates can in fact honestly memorize one or maybe two items, the rest are lost.&nbsp; Either they remember different choices, different wording, etc. They ultimately fail to use the &quot;remembered&quot; information to their advantage.<BR>
<BR>
My own experience is such that if at least 6 months pass between time 1 and time 2, there is virtually no learning or improvement unless a concerted effort is made to increase skills.&nbsp; As an example, in one of my certification examinations we have used the same form 8 times in a row (twice per year).&nbsp; There is no perceptable difference in first time test taker passes.&nbsp; The rate of passage for the second time takers continues lower than first timers and is largely identical to their initial peformances with a few minor increases.&nbsp; After the second time, the probability of passing plunges into the terrible odds category (rather like the odds of GW Bush winning the Nobel Peace Prize).&nbsp; As this is a high-stakes test, it is not taken lightly.<BR>
<BR>
Apart from time intervals, perhaps it is a semantic difference, but what sort of &quot;paper&quot; is it?&nbsp; Multiple choice? Essay?&nbsp; This too would have an impact, as I would suspect essays are much easier to remember than MCQs.<BR>
<BR>
Gregory<BR>
<BR>
Gregory E. Stone, Ph.D., M.A.<BR>
Assistant Professor, Research and Measurement<BR>
University of Toledo, College of Education, Mailstop #923<BR>
<BR>
<BR>
<BR>
<BR>
-----Original Message-----<BR>
From: rasch-bounces@acer.edu.au on behalf of Trevor Bond<BR>
Sent: Mon 10/10/2005 5:17 AM<BR>
To: Looveer, Juho; John Barnard (EPEC); rasch-bounces@acer.edu.au<BR>
Cc: Rasch listserve<BR>
Subject: RE: [Rasch] A practical one<BR>
<BR>
It would also be interesting to know how each repeating person's<BR>
estimate has changed? do they still fit the model? are ther some<BR>
questions now answered which are well beyond past / present<BR>
capability?<BR>
<BR>
Juho's suggestion has merit: In that case, scale results for the<BR>
non-repeaters according to all items, and &quot;equate&quot; scores of<BR>
repeaters using only the unknown questions.<BR>
<BR>
best wishes<BR>
T<BR>
<BR>
&nbsp; At 6:50 PM +1000 10/10/05, Looveer, Juho wrote:<BR>
&gt;You are assuming that the repeaters have an advantage simply by<BR>
&gt;having done the same test before.&nbsp; I have seen many teenagers who do<BR>
&gt;the same driving test several times but continue to fail, despite<BR>
&gt;knowing what will be expected of them.<BR>
&gt;So, Have the repeaters scored better because they have advance<BR>
&gt;knowledge of the tasks that have been set and thus these tasks no<BR>
&gt;longer are good indicators of knowledge across the domain?&nbsp; Or has<BR>
&gt;their ability/performance actually improved - perhaps they were not<BR>
&gt;as well prepared for the test in the first instance?<BR>
&gt;<BR>
&gt;<BR>
&gt;However, assuming that you have considered all this and have reached<BR>
&gt;the correct conclusion, then you now have a pragmatic problem:&nbsp; how<BR>
&gt;to partial out the different effects of advantage due to knowing<BR>
&gt;specific test questions and actual improvement in knowledge.&nbsp; This<BR>
&gt;may or may not be possible. Can you be sure which questions the<BR>
&gt;repeaters may have remembered? If you can't be sure, then perhaps<BR>
&gt;option 1 is the way to go.<BR>
&gt;<BR>
&gt;Since there are repeaters, I assume that the test has previously<BR>
&gt;been calibrated?&nbsp; In that case, scale results for the non-repeaters<BR>
&gt;according to all items, and &quot;equate&quot; scores of repeaters using only<BR>
&gt;the unknown questions.<BR>
&gt;<BR>
&gt;However if you are dealing with heart surgeons or commercial pilots,<BR>
&gt;I would urge that another test must be set and used.<BR>
&gt;<BR>
&gt;Juho Looveer<BR>
&gt;<BR>
&gt;________________________________<BR>
&gt;<BR>
&gt;From: John Barnard (EPEC) [<A HREF="mailto:JohnBarnard@bigpond.com">mailto:JohnBarnard@bigpond.com</A>]<BR>
&gt;Sent: Mon 10/10/2005 5:10 PM<BR>
&gt;To: Looveer, Juho<BR>
&gt;Subject: RE: [Rasch] A practical one<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;Dear Juho, Trevor...<BR>
&gt;<BR>
&gt;Many thanks for your useful comments. What you are saying is of course<BR>
&gt;true. However, I think your last para Juho is the crux. (Is the problem<BR>
&gt;the use of the same question in successive tests?) - not just question,<BR>
&gt;but whole paper. This is the scenario and data I was given to analyze.<BR>
&gt;If the difference between the first and second administrations was not<BR>
&gt;as significant for the repeat group as found, I could easier accept it.<BR>
&gt;But, my main concern is, given this significant &quot;increase&quot; in<BR>
&gt;performance for the repeat group and hardly any difference between the<BR>
&gt;two non-repeat groups (round 1 and 2), was the repeat group not unfairly<BR>
&gt;advantaged? They failed the first round, but because they had some<BR>
&gt;knowledge (seen the items before) had an advantage over the non-repeat<BR>
&gt;group.<BR>
&gt;<BR>
&gt;We all know that this should not happen (other than link items used for<BR>
&gt;equating, etc.) and that the repeat group could have put in an extra<BR>
&gt;effort, etc., but were they advantaged having knowledge that others<BR>
&gt;didn't as to what to focus on? My results suggest this.<BR>
&gt;<BR>
&gt;I guess there are 2 (or maybe more) options:<BR>
&gt;1. Assume that the repeaters now have the knowledge (hopefully also in<BR>
&gt;other aspects not directly examined) and use their scores without any<BR>
&gt;adjustment.<BR>
&gt;2. After making sure that apples are compared with apples (common scale,<BR>
&gt;etc) subtract the &quot;advantage&quot; from the repeat group's ability estimates<BR>
&gt;and then assume that they are directly comparable to the non-repeat<BR>
&gt;group.<BR>
&gt;<BR>
&gt;Kindly<BR>
&gt;John<BR>
&gt;<BR>
&gt;John J Barnard<BR>
&gt;Executive Director: EPEC Pty Ltd<BR>
&gt;www.users.bigpond.com/JohnBarnard/<BR>
&gt;<BR>
&gt;DISCLAIMER:<BR>
&gt;The contents of this e-mail which may include one or more attachments,<BR>
&gt;is confidential and is intended for the use of the named recipient(s).<BR>
&gt;If you have received this e-mail in error, you are not permitted to and<BR>
&gt;must not disclose, distribute or retain it, and are requested to notify<BR>
&gt;the sender by return e-mail and delete it thereafter.<BR>
&gt;<BR>
&gt;It is the responsibility of the recipient(s) to ensure that the e-mail<BR>
&gt;is virus free. Although EPEC uses the latest antiviral software, we do<BR>
&gt;not accept responsibility for any problems caused by viruses.<BR>
&gt;<BR>
&gt;-----Original Message-----<BR>
&gt;From: Looveer, Juho [<A HREF="mailto:Juho.Looveer@det.nsw.edu.au">mailto:Juho.Looveer@det.nsw.edu.au</A>]<BR>
&gt;Sent: Monday, 10 October 2005 4:21 PM<BR>
&gt;To: John Barnard (EPEC); Trevor Bond; Rasch list<BR>
&gt;Subject: RE: [Rasch] A practical one<BR>
&gt;<BR>
&gt;<BR>
&gt;As Trevor has said, what is the point of the test?<BR>
&gt;<BR>
&gt;If it is to achieve competence (e.g. flying an aircraft, etc), then the<BR>
&gt;test can be part of the learning experience.&nbsp; By having failed on some<BR>
&gt;aspects of the test previously, the testee has gone away and<BR>
&gt;learned/studied/practiced that aspect, and is now competent on it.<BR>
&gt;Objective achieved - that person has more competence than someone who<BR>
&gt;cannot demonstrate their skill in that area.<BR>
&gt;<BR>
&gt;In most academic tests, students memorise material.&nbsp; Even a doctor will<BR>
&gt;have practiced many medical routines (hopefully on cadavers) before they<BR>
&gt;are let loose on live patients. In academic tests, students will usually<BR>
&gt;have undertaken practice tests or assignments, as part of their<BR>
&gt;preparation.<BR>
&gt;<BR>
&gt;But, that is also what happens in many other situations - a driving test<BR>
&gt;will each time check that the candidate can undertake a certain minimum<BR>
&gt;set of core competencies. For a piano exam, everyone knows beforehand<BR>
&gt;what pieces they will have to play and what skills they need to<BR>
&gt;demonstrate.<BR>
&gt;<BR>
&gt;<BR>
&gt;Is the purpose to assess whether someone has achieved some<BR>
&gt;knowledge/skill/understanding, or to assess who can achieve this in the<BR>
&gt;least number of attempts. In this case, are we really assessing the<BR>
&gt;competence/skill, or aptitude for the skill (ie a combination of the<BR>
&gt;skill and number of attempts at the test)?<BR>
&gt;<BR>
&gt;<BR>
&gt;Is the problem the use of the same question in successive tests?<BR>
&gt;This could then be a defect in test design - where some candidates are<BR>
&gt;given a &quot;step up&quot; or an unfair advantage.&nbsp; This is why Computer Adaptive<BR>
&gt;Testing relies on a large pool of items - trying to avoid candidates<BR>
&gt;getting an unfair advantage of knowing the questions they will see.<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;Dr Juho Looveer<BR>
&gt;Sydney NSW<BR>
&gt;work phone: 956 18192<BR>
&gt;fax: 956 18055<BR>
&gt;Juho.Looveer@det.nsw.edu.au<BR>
&gt;<BR>
&gt;<BR>
&gt;-----Original Message-----<BR>
&gt;From: rasch-bounces@acer.edu.au [<A HREF="mailto:rasch-bounces@acer.edu.au">mailto:rasch-bounces@acer.edu.au</A>] On<BR>
&gt;Behalf Of John Barnard (EPEC)<BR>
&gt;Sent: Monday, 10 October 2005 2:59 PM<BR>
&gt;To: 'Trevor Bond'; 'Rasch list'<BR>
&gt;Subject: RE: [Rasch] A practical one<BR>
&gt;<BR>
&gt;Of course Trevor, but let's take it from another angle. If a person has<BR>
&gt;a copy of a paper or can remember some questions and thus answer some<BR>
&gt;questions correctly in spite of not having the knowledge (but having<BR>
&gt;seen the questions) it is a different story. What about a person who<BR>
&gt;passes a test because of &quot;memorising&quot; some answers? Or in your metaphor,<BR>
&gt;a person who didn't clear a height but stands on a step in the second<BR>
&gt;attempt now clears the height - is this fair to those who didn't use the<BR>
&gt;step?<BR>
&gt;<BR>
&gt;Hopefully the purpose of education is not merely rote learning and<BR>
&gt;memorisation.<BR>
&gt;<BR>
&gt;Kindly<BR>
&gt;John<BR>
&gt;<BR>
&gt;John J Barnard<BR>
&gt;Executive Director: EPEC Pty Ltd www.users.bigpond.com/JohnBarnard/<BR>
&gt;<BR>
&gt;DISCLAIMER:<BR>
&gt;The contents of this e-mail which may include one or more attachments,<BR>
&gt;is confidential and is intended for the use of the named recipient(s).<BR>
&gt;If you have received this e-mail in error, you are not permitted to and<BR>
&gt;must not disclose, distribute or retain it, and are requested to notify<BR>
&gt;the sender by return e-mail and delete it thereafter.<BR>
&gt;<BR>
&gt;It is the responsibility of the recipient(s) to ensure that the e-mail<BR>
&gt;is virus free. Although EPEC uses the latest antiviral software, we do<BR>
&gt;not accept responsibility for any problems caused by viruses.<BR>
&gt;<BR>
&gt;-----Original Message-----<BR>
&gt;From: Trevor Bond [<A HREF="mailto:trevor.bond@jcu.edu.au">mailto:trevor.bond@jcu.edu.au</A>]<BR>
&gt;Sent: Monday, 10 October 2005 2:28 PM<BR>
&gt;To: John Barnard (EPEC); 'Rasch list'<BR>
&gt;Subject: RE: [Rasch] A practical one<BR>
&gt;<BR>
&gt;<BR>
&gt;Thanks John,<BR>
&gt;<BR>
&gt;this requires us to reflect on the whole nature of educational (and<BR>
&gt;other) testing. High jumpers don't find it easier to clear heights<BR>
&gt;just because they have failed them (been exposed to them) in the<BR>
&gt;past. If mere exposure to the test improves scores: What are we<BR>
&gt;actually testing? and, What is the purpose of education?<BR>
&gt;best<BR>
&gt;T<BR>
&gt;<BR>
&gt;<BR>
&gt;At 2:12 PM +1000 10/10/05, John Barnard \(EPEC\) wrote:<BR>
&gt;&gt;Thanks for your reply Trevor. Of course we would expect (at least hope<BR>
&gt;&nbsp; &gt;for) improvement in students' performance over time. However, think of<BR>
&gt;&gt;this as a test for say pilots to qualify (just for argument's sake). It<BR>
&gt;<BR>
&gt;&gt;is thus a type of selection test rather than a &quot;scholastic achievement&quot;<BR>
&gt;<BR>
&gt;&gt;test where one would expect some growth. (It is thus rather a<BR>
&gt;&gt;qualifying test and I know one can reason that those who failed could<BR>
&gt;&gt;have put in an extra effort this time.) The hypothesis is that the<BR>
&gt;&gt;repeat group was unfairly advantaged (competing for the same places)<BR>
&gt;&gt;because they have seen the items before. Through what I have done so<BR>
&gt;&gt;far, this seems to be the case. But now I want to account for this,<BR>
&gt;&gt;i.e. trying to be fair to those who have not seen the items before.<BR>
&gt;&gt;<BR>
&gt;&gt;If this was not the case (and there was no additional effort) one would<BR>
&gt;<BR>
&gt;&gt;expect the repeat group to have approx the same mean ability (if same<BR>
&gt;&gt;item difficulty estimates are used) in the two sessions. But, the mean<BR>
&gt;&gt;ability of the repeat group increased significantly.<BR>
&gt;&gt;<BR>
&gt;&gt;Hope this clarifies the issue a little.<BR>
&gt;&gt;<BR>
&gt;&gt;Kindly<BR>
&gt;&gt;John<BR>
&gt;&gt;<BR>
&gt;&gt;John J Barnard<BR>
&gt;&gt;Executive Director: EPEC Pty Ltd www.users.bigpond.com/JohnBarnard/<BR>
&gt;&gt;<BR>
&gt;&gt;DISCLAIMER:<BR>
&gt;&gt;The contents of this e-mail which may include one or more attachments,<BR>
&gt;&gt;is confidential and is intended for the use of the named recipient(s).<BR>
&gt;&gt;If you have received this e-mail in error, you are not permitted to and<BR>
&gt;<BR>
&gt;&gt;must not disclose, distribute or retain it, and are requested to notify<BR>
&gt;<BR>
&gt;&gt;the sender by return e-mail and delete it thereafter.<BR>
&gt;&gt;<BR>
&gt;&gt;It is the responsibility of the recipient(s) to ensure that the e-mail<BR>
&gt;&gt;is virus free. Although EPEC uses the latest antiviral software, we do<BR>
&gt;&gt;not accept responsibility for any problems caused by viruses.<BR>
&gt;&gt;<BR>
&gt;&gt;-----Original Message-----<BR>
&gt;&gt;From: Trevor Bond [<A HREF="mailto:trevor.bond@jcu.edu.au">mailto:trevor.bond@jcu.edu.au</A>]<BR>
&gt;&gt;Sent: Monday, 10 October 2005 1:45 PM<BR>
&gt;&gt;To: John Barnard (EPEC); Rasch list<BR>
&gt;&gt;Subject: Re: [Rasch] A practical one<BR>
&gt;&gt;<BR>
&gt;&gt;<BR>
&gt;&gt;Dear John<BR>
&gt;&gt;<BR>
&gt;&gt;Perhaps we (or, I, at least) need some more information to understand<BR>
&gt;&gt;your problem. Kids who repeated an exam (after doing make up work or<BR>
&gt;&gt;just remembering) score better on a test the second time round. They<BR>
&gt;&gt;scored more correct responses at T2 than at T1. This seems to be<BR>
&gt;&gt;exactly what I would expect . . .or hope for . . .as an educator.<BR>
&gt;&gt;Clearly I have missed the nature of your 'problem'. collegially<BR>
&gt;&gt;Trevor<BR>
&gt;&gt;<BR>
&gt;&gt;At 1:32 PM +1000 10/10/05, John Barnard (EPEC) wrote:<BR>
&gt;&gt;&gt;Dear all<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;I would appreciate some opinions on the following scenario.<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;The same paper was given on two occasions. Some 20% of students (let's<BR>
&gt;<BR>
&gt;&gt;&gt;call them the repeaters) who sat the first round (and failed) also sat<BR>
&gt;<BR>
&gt;&gt;&gt;the second round. In round 1, the repeaters' mean ability is (say) 0.5<BR>
&gt;<BR>
&gt;&gt;&gt;logits less than the non-repeaters'. After anchoring the item<BR>
&gt;&gt;&gt;difficulties in the first round and using them in round 2 resulted in<BR>
&gt;&gt;&gt;the repeaters now doing significantly better (say 0.7 logits on<BR>
&gt;&gt;&gt;average). Also the repeaters now have approx the same mean ability as<BR>
&gt;&gt;&gt;the non-repeaters in round 2, say 0.8 logits.<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;The question is this: If the repeaters' mean ability increased by 0.7<BR>
&gt;&gt;&gt;logits, how can one account for this (taking the same paper again) to<BR>
&gt;&gt;&gt;not unfairly advantage the repeat group in round 2? (I am aware of<BR>
&gt;&gt;&gt;learning and other factors, but let's ignore that for the moment.)<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;Kindly<BR>
&gt;&gt;&gt;John<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;John J Barnard<BR>
&gt;&gt;&gt;Executive Director: EPEC Pty Ltd www.users.bigpond.com/JohnBarnard/<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;DISCLAIMER:<BR>
&gt;&gt;&gt;The contents of this e-mail which may include one or more attachments,<BR>
&gt;<BR>
&gt;&gt;&gt;is confidential and is intended for the use of the named recipient(s).<BR>
&gt;&gt;&nbsp;&nbsp; &gt;If you have received this e-mail in error, you are not permitted to<BR>
&gt;&gt;&nbsp; and<BR>
&gt;&gt;<BR>
&gt;&gt;&gt;must not disclose, distribute or retain it, and are requested to<BR>
&gt;&gt;&gt;notify<BR>
&gt;&gt;<BR>
&gt;&gt;&gt;the sender by return e-mail and delete it thereafter.<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;It is the responsibility of the recipient(s) to ensure that the e-mail<BR>
&gt;<BR>
&gt;&gt;&gt;is virus free. Although EPEC uses the latest antiviral software, we do<BR>
&gt;<BR>
&gt;&gt;&gt;not accept responsibility for any problems caused by viruses.<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;<BR>
&gt;&gt;&gt;_______________________________________________<BR>
&gt;&gt;&gt;Rasch mailing list<BR>
&gt;&gt;&gt;Rasch@acer.edu.au <A HREF="http://listserv3.acer.edu.au/mailman/listinfo/rasch">http://listserv3.acer.edu.au/mailman/listinfo/rasch</A><BR>
&gt;&nbsp; &gt;<BR>
&gt;&gt;<BR>
&gt;&gt;--<BR>
&gt;&gt;Trevor G BOND Ph D<BR>
&gt;&gt;Professor and Head of Dept<BR>
&gt;&gt;Educational Psychology, Counselling &amp; Learning Needs<BR>
&gt;&gt;D2-2F-01A EPCL Dept.<BR>
&gt;&gt;Hong Kong Institute of Education<BR>
&gt;&gt;10 Lo Ping Rd, Tai Po<BR>
&gt;&gt;New Territories HONG KONG<BR>
&gt;&gt;<BR>
&gt;&gt;Voice: (852) 2948 8473<BR>
&gt;&gt;Fax:&nbsp; (852) 2948 7983<BR>
&gt;&gt;Mob:<BR>
&gt;<BR>
&gt;<BR>
&gt;--<BR>
&gt;Trevor G BOND Ph D<BR>
&gt;Professor and Head of Dept<BR>
&gt;Educational Psychology, Counselling &amp; Learning Needs<BR>
&gt;D2-2F-01A EPCL Dept.<BR>
&gt;Hong Kong Institute of Education<BR>
&gt;10 Lo Ping Rd, Tai Po<BR>
&gt;New Territories HONG KONG<BR>
&gt;<BR>
&gt;Voice: (852) 2948 8473<BR>
&gt;Fax:&nbsp; (852) 2948 7983<BR>
&gt;Mob:<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;_______________________________________________<BR>
&gt;Rasch mailing list<BR>
&gt;Rasch@acer.edu.au <A HREF="http://listserv3.acer.edu.au/mailman/listinfo/rasch">http://listserv3.acer.edu.au/mailman/listinfo/rasch</A><BR>
&gt;**********************************************************************<BR>
&gt;This message is intended for the addressee named and may contain<BR>
&gt;privileged information or confidential information or both. If you are<BR>
&gt;not the intended recipient please delete it and notify the sender.<BR>
&gt;**********************************************************************<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;<BR>
&gt;**********************************************************************<BR>
&gt;This message is intended for the addressee named and may contain<BR>
&gt;privileged information or confidential information or both. If you<BR>
&gt;are not the intended recipient please delete it and notify the sender.<BR>
&gt;**********************************************************************<BR>
<BR>
<BR>
--<BR>
Trevor G BOND Ph D<BR>
Professor and Head of Dept<BR>
Educational Psychology, Counselling &amp; Learning Needs<BR>
D2-2F-01A EPCL Dept.<BR>
Hong Kong Institute of Education<BR>
10 Lo Ping Rd, Tai Po<BR>
New Territories HONG KONG<BR>
<BR>
Voice: (852) 2948 8473<BR>
Fax:&nbsp; (852) 2948 7983<BR>
Mob:<BR>
<BR>
_______________________________________________<BR>
Rasch mailing list<BR>
Rasch@acer.edu.au<BR>
<A HREF="http://listserv3.acer.edu.au/mailman/listinfo/rasch">http://listserv3.acer.edu.au/mailman/listinfo/rasch</A><BR>
<BR>
</FONT>
</P>

</BODY>
</HTML>