<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">
<HTML>
<HEAD>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<META NAME="Generator" CONTENT="MS Exchange Server version 6.5.7638.1">
<TITLE>RE: [RE]Re: [Rasch] item bank</TITLE>
</HEAD>
<BODY>
<!-- Converted from text/plain format -->

<P><FONT SIZE=2>I suspect that cheating (a higher score than ability without really posessing the quality) is possible in any assessment, as it is also possible to turn in work that was purchased or some other form of dishonesty.&nbsp; That's why certification and high-stakes decisions that protect the public from harm are well-served by a certain amount&nbsp; of performance that is observed, realistic, and repeatable on-demand.&nbsp;&nbsp; Performance testing makes cheating more difficult and detectable, even of the tasks are openly available.<BR>
<BR>
It's difficult to &quot;fake&quot; knowledge incorporated into a skill if you are being observed or the process is scored.&nbsp; For example if you are performing an experiment in a laboratory or solving a problem using algebra while your work is recorded.&nbsp; In many cases, there is simply no way to memorize a response if I say, &quot;Use the materials provided and solve this problem using algebra and tell me what you are thinking and doing as you solve it.&quot;&nbsp;&nbsp;&nbsp; You can't guess the answer.&nbsp; You have to reveal your knowledge of the content and process.&nbsp; You may even have to defend or discuss your response if faking is suspected.<BR>
<BR>
Standardizing that task, a scoring rubric, and creating a pool of calibrated performance items is quite an effort!&nbsp; In some cases there would be multiple forms of some problem types and the pool of items would be clearly organized by a taxonomy or framework that makes sense.&nbsp; I think that the difficulty of cheating with performance testing is a plus.&nbsp; Performance items would likely be PART of an open assessment library useful for high-stakes decisions.&nbsp;&nbsp; Multiple forms of items is another.<BR>
<BR>
The downside of&nbsp; performance items are in two areas:&nbsp; 1.) Performance items are more costly and time-consuming to administer, 2.) The system must monitor a complex scoring process.<BR>
<BR>
If you consider the number of errors in an admissions process for college, it seems that investment in some performance indicators may be useful compared to the wasted resources after the fact.&nbsp;&nbsp; The tasks expected and the scoring criteria can be open to the public.&nbsp;&nbsp;&nbsp;<BR>
<BR>
It's my guess that machine-scored paper tests often hide the item disfunction (I'll let others debate Rasch vs. 3PL here) and ignore person misfit, including some forms of &quot;cheating&quot;.&nbsp; Most folks simply get a score and assume it has validity because of some &quot;item alignment&quot; with a set of standards.&nbsp;&nbsp;&nbsp; Since the items are often secured, no one knows if the results are meaningful for a given purpose.&nbsp; Most importantly, person fit is simply not reported.&nbsp; Performance items combined with person fit results in scores that are very diagnostic in ways that I find quite useful, and cheating is only one small area of the conclusions possible.<BR>
<BR>
Judy Wilkerson and I often say that, &quot;Rasch puts the people back in testing.&quot;<BR>
<BR>
Steve Lang<BR>
University of South Florida St. Petersburg<BR>
<BR>
<BR>
<BR>
-----Original Message-----<BR>
From: John Barnard [<A HREF="mailto:jba40981@bigpond.net.au">mailto:jba40981@bigpond.net.au</A>]<BR>
Sent: Wed 10/25/2006 11:54 PM<BR>
To: Lang, William Steve; 'iasonas lambrianou'; 'Agustin Tristan'<BR>
Cc: '-Rasch'<BR>
Subject: RE: [RE]Re: [Rasch] item bank<BR>
<BR>
Is it not possible for someone to memorise answers without understanding<BR>
what they (the questions and the answers) mean. For example, a primary<BR>
school student may memorise enough answers to items on Quantum Physics<BR>
and, without having the foggiest idea of what it is all about, pass a<BR>
test. What would such a result mean (other than demonstration of a good<BR>
memory)?<BR>
<BR>
John<BR>
<BR>
<BR>
<BR>
John J Barnard<BR>
Executive Director: EPEC Pty Ltd<BR>
www.users.bigpond.com/JohnBarnard/<BR>
<BR>
DISCLAIMER:<BR>
The contents of this e-mail which may include one or more attachments,<BR>
is confidential and is intended for the use of the named recipient(s).<BR>
If you have received this e-mail in error, you are not permitted to and<BR>
must not disclose, distribute or retain it, and are requested to notify<BR>
the sender by return e-mail and delete it thereafter.<BR>
<BR>
It is the responsibility of the recipient(s) to ensure that the e-mail<BR>
is virus free. Although EPEC uses the latest antiviral software, we do<BR>
not accept responsibility for any problems caused by viruses.<BR>
<BR>
-----Original Message-----<BR>
From: rasch-bounces@acer.edu.au [<A HREF="mailto:rasch-bounces@acer.edu.au">mailto:rasch-bounces@acer.edu.au</A>] On<BR>
Behalf Of Lang, William Steve<BR>
Sent: Wednesday, 25 October 2006 9:27 PM<BR>
To: iasonas lambrianou; Agustin Tristan<BR>
Cc: -Rasch<BR>
Subject: RE: [RE]Re: [Rasch] item bank<BR>
<BR>
<BR>
<BR>
We have used an open item bank (we call it an assessment task library)<BR>
in Florida.&nbsp; With performance tasks necessary for teacher certification,<BR>
most performances and products are required to be rated on a rubric at<BR>
an &quot;minimally acceptable&quot; level.&nbsp; Most allow multiple tries for the<BR>
teacher candidate to pass.&nbsp; The items that are standards-based are known<BR>
to those who are to be assessed.<BR>
<BR>
The initial item analysis, calibration, and subsequent reporting are<BR>
Rasch based.&nbsp; In Florida we have approximately 45 &quot;tasks&quot; and 350<BR>
&quot;items&quot; (criteria) that must be completed.&nbsp; Think of it like this...to<BR>
be a pilot, you must demonstrate you can land the plane.&nbsp;&nbsp; Items are the<BR>
criteria that provide evidence that you can land the plane successfully.<BR>
<BR>
In another example, think of a set of items that are skilled-based like<BR>
the famous Knox Cube data.&nbsp; Can a test-taker &quot;cheat&quot;?<BR>
<BR>
The idea is to deal with difficulty by avoiding knowledge-based items<BR>
that in favor of performance-based items.&nbsp; It's more difficult and<BR>
expensive to perform a large number of items over a longitudinal time<BR>
and deal with professional raters, but from a validity standpoint it<BR>
makes sense as job-related.&nbsp;&nbsp; You can already imagine why rater-error<BR>
diagnosis (FACETS) is useful.<BR>
<BR>
We have found some interesting results comparing the Rasch difficulties<BR>
from the first try of candidates to the second or third try.&nbsp;&nbsp; If items<BR>
become &quot;easy&quot;, it says something about the mentoring/training of a<BR>
program and the &quot;teachability&quot; of the items.&nbsp; I hope that makes sense.<BR>
&quot;Lesson planning&quot; seems to improve rapidly with training, but &quot;classroom<BR>
management&quot;&nbsp; improves more slowly (some never get it).&nbsp;&nbsp; Some items are<BR>
relatively easy, but necessary for teachers; like &quot;communication with<BR>
parents&quot;.&nbsp; Others are difficult, but also necessary; &quot;assessment<BR>
accomodations for special students&quot;.&nbsp;&nbsp; We wrote an initial report for<BR>
JAM.<BR>
<BR>
In a book to be releases next month:&nbsp; &quot;Assessing Teacher Competency:<BR>
Five Standards-Based Steps to Valid Measurements Using the CAATS Model&quot;<BR>
, we (myself and Judy Wilkerson) describe Rasch and the reasons for<BR>
using Rasch to a general audience, but we expect the performance items<BR>
to typically be known to all the users.<BR>
<A HREF="http://www.corwinpress.com/booksProdDesc.nav?prodId=Book229866">http://www.corwinpress.com/booksProdDesc.nav?prodId=Book229866</A><BR>
<BR>
Steve Lang<BR>
University of South Florida<BR>
<BR>
<BR>
<BR>
-----Original Message-----<BR>
From: rasch-bounces@acer.edu.au on behalf of iasonas lambrianou<BR>
Sent: Wed 10/25/2006 3:22 AM<BR>
To: Agustin Tristan<BR>
Cc: -Rasch<BR>
Subject: [RE]Re: [Rasch] item bank<BR>
<BR>
Thank you everybody for offering me so much help on this issue. The<BR>
truth is that I received tens of messages from all over the world, but I<BR>
would like other to contribute as well, if they have not done so<BR>
already.<BR>
It seems that there is much interest, and the trends are the following:<BR>
<BR>
* excellent idea to have an open ended item bank accessible by everybody<BR>
for high stakes exams because it makes securityu issues non existent,<BR>
the quality of the items can be monitored, the candidates know what they<BR>
will face etc.<BR>
<BR>
HOWEVER<BR>
<BR>
* item calibrations make no senese since item difficulties will drift<BR>
immediately<BR>
* a backwash effect is expected and teachers will probably teach to the<BR>
item bank<BR>
* the results/scores of the candidates will be inflated (they will have<BR>
the chance to memorize responses)<BR>
<BR>
Have I missed anything? Please remind us.<BR>
<BR>
I will also try to think whether anyone else is using such a thing in<BR>
practice, and I'll make a literature review.<BR>
<BR>
I think this is progressing to a journal article. Does anyone think that<BR>
this is a good idea? Does anyone think that I should not spend my time<BR>
writing such an article because there may not be enough interest by the<BR>
audience or the editorial boards of journals? Which are the journals<BR>
that would be more likely to publish such a think?<BR>
<BR>
Please help me to 'interview' experts in the fields - please suggest<BR>
names.<BR>
<BR>
Thanks everybody,<BR>
you have been really helpful. I hope you will help me more.<BR>
<BR>
P.S. Apologies for hijacking the Rasch list. If not appropriate, please<BR>
let me know.<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ---------[ Received Mail Content ]----------<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Subject : Re: [Rasch] item bank<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Date : Wed, 11 Oct 2006 11:36:11 -0700 (PDT)<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; From : Agustin Tristan &lt;ici_kalt@yahoo.com&gt;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; To : -Rasch &lt;rasch@acer.edu.au&gt;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Another thing Iasonas:<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Once you have an &quot;open&quot; item bank, is it useful to calibrate the<BR>
items? the difficulty of the items will ve reduced, even most of them<BR>
will be solved by mostly all people...so the initial calibration has<BR>
nothing to do with the original calibration.<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; This is another important topic to discuss.<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Regards<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Agustin Tristan<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; FAMILIA DE PROGRAMAS KALT.<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Mariano Jiménez 1830 A<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Col. Balcones del Valle<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 78280, San Luis Potosí, S.L.P. México<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; TEL (52) 44-4820 37 88, 44-4820 04 31<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; FAX (52) 44-4815 48 48<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; web page (in Spanish AND ENGLISH): <A HREF="http://www.ieesa-kalt.com">http://www.ieesa-kalt.com</A><BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ---------------------------------<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<BR>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Stay in the know. Pulse on the new Yahoo.com. Check it out.<BR>
<BR>
<BR>
<BR>
<BR>
Dr. Iasonas Lamprianou<BR>
CFAS, School of Education<BR>
The University of Manchester<BR>
Oxford Road, Manchester M13 9PL, UK<BR>
Tel. 0044 161 275 3485<BR>
iasonas.lamprianou@man.ac.uk<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
</FONT>
</P>

</BODY>
</HTML>