<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 3.2//EN">
<HTML>
<HEAD>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
<META NAME="Generator" CONTENT="MS Exchange Server version 6.5.7638.1">
<TITLE>RE: [Rasch] Establishing validity for standardized case examinations</TITLE>
</HEAD>
<BODY>
<!-- Converted from text/plain format -->

<P><FONT SIZE=2>Valerie:<BR>
<BR>
I am not up on recent journal articles in this area, but the question routinely appears in textbooks.&nbsp; My memory on titles is bad but there are two educational assessment texts - one by Linn and Miller (formerly by Linn and Gronlund), and one by Anthony Nitko that include standard sections that at least skim over this topic.&nbsp; Both are I think from Pearson and both I believe from Prentice Hall, but I could be mistaken.<BR>
<BR>
However, an assessment is an assessment.&nbsp; For the MCQ, you may have 200 or 300 or 400 items, all of which are balanced on the ratios established via your task analysis.&nbsp; The ratios are suggested to be representative of the content in the profession, but that is something we're all familiar with surely.&nbsp; What isn't as well documented is the question you ask.&nbsp; The answer, however, must appear within the same model.&nbsp; The Oral or Practical (authentic) exam must be representative in a similar way that the MCQ exam represents the profession.&nbsp; We could ask an infinite number of MCQ items and still not cover the content completely.&nbsp; Thus we choose what we believe are most critical.&nbsp; Similarly, if your dentists can handle only three or four actual tasks, then those tasks must be most important.&nbsp; Clearly, all content cannot be covered, so importance must be a consideration.&nbsp; In this effort, I doubt there is as &quot;clean&quot; a measurement model.&nbsp; When we licensed dentists in Florida, those tasks were clearly elaborated by the board in terms of most importance and patient safety, as it was a licensure exam.<BR>
<BR>
While I don't believe it works for standard setting, Robert Ebel's creative ratings of items may be of some help.&nbsp; Ebel's wisdom demonstrated to us that items bear more than single qualities - in his model, importance and difficutly.&nbsp; Such a model would likely help to define the few pieces of the puzzle that could be examined in your authentic situation.&nbsp; If you gathered importance and frequency information in your task analysis, you could use importance to reclassify content in at least one direction of a grid.&nbsp; Using difficulty might be useful, as may other characteristics.<BR>
<BR>
Ultimately, I think my point is whether or not MCQ, oral or authentic an assessment is still an assessment...and should follow along in the same representative way.&nbsp; I really think Ebel was moving in a wonderful evaluative direction with his model - and I would encourage more in that direction.&nbsp; Whatever you ultimately come up with, I hope you share your work with the rest of us also struggling with this question.<BR>
<BR>
Best,<BR>
Gregory<BR>
<BR>
Gregory E. Stone, Ph.D., M.A.<BR>
<BR>
Assistant Professor of Research and Measurement<BR>
The University of Toledo, Mailstop #923<BR>
Toledo, OH 43606&nbsp;&nbsp; 419-530-7224<BR>
<BR>
Editorial Board, Journal of Applied Measurement<BR>
www.jampress.org<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
-----Original Message-----<BR>
From: rasch-bounces@acer.edu.au on behalf of Valerie Been Lober, PhD<BR>
Sent: Fri 4/14/2006 10:16 AM<BR>
To: rasch@acer.edu.au<BR>
Subject: [Rasch] Establishing validity for standardized case examinations<BR>
<BR>
In addition to administering written MCQ examinations, our organization<BR>
offers standardized patient cases.&nbsp; Dentists wishing to become Board<BR>
certified must pass both examinations. We are just completing our second<BR>
practice analysis to serve as the basis for these examinations.&nbsp; For the<BR>
written exam, we have test specifications that spell out the proportion of<BR>
items that should appear on the written for each patient care activity.<BR>
<BR>
However, I am unclear on the best way to translate the results of the<BR>
practice analysis to the standardized-patient case examination.&nbsp; Could<BR>
someone direct me to relevant articles?&nbsp; Thank you.<BR>
<BR>
My best regards,<BR>
<BR>
Valerie Been Lober, Ph.D., Executive Director<BR>
American Board of Oral Implantology/Implant Dentistry<BR>
211 East Chicago Avenue, Suite 750-B<BR>
Chicago, Il 60611<BR>
Voice 312-335-8793&nbsp; Fax 312-335-9045<BR>
diplomate@aboi.org<BR>
www.aboi.org<BR>
<BR>
<BR>
<BR>
<BR>
_______________________________________________<BR>
Rasch mailing list<BR>
Rasch@acer.edu.au<BR>
<A HREF="http://mailinglist.acer.edu.au/mailman/listinfo/rasch">http://mailinglist.acer.edu.au/mailman/listinfo/rasch</A><BR>
<BR>
</FONT>
</P>

</BODY>
</HTML>