<html>
<!-- BEGIN WEBMAIL STATIONERY -->
<head></head>
<body>
<!-- WEBMAIL STATIONERY noneset -->
<DIV></DIV>
<DIV>My random groups consisted of 15,000 people each, across 13 test forms, for a total of 180,000 people and still there was a difference of .5 logits in the group means.&nbsp; Until you can demonstrate empirically that the groups are equivalent, it is a very tenuous assumption.</DIV>
<DIV class=signature id=signature>--<BR>Richard M. Smith <BR>12276 Arbor Lakes Parkway North <BR>Maple Grove, MN 55369 <BR>voice(w): 763-268-2282 <BR>voice(h): 763-494-5047 <BR><BR><BR><BR></DIV><BR>
<BLOCKQUOTE style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">-------------- Original message from Ryan Patrick Bowles &lt;rpb3b@cms.mail.virginia.edu&gt;: -------------- <BR><BR><BR>&gt; Barth's suggestion was quite reasonable and a good idea <BR>&gt; when rater overlap is not possible. Randomly equivalent is <BR>&gt; a perfectly justifiable statistical assumption. It is the <BR>&gt; basis of random assignment in clinical trials: the control <BR>&gt; and treatment groups must be randomly equivalent. In <BR>&gt; reality, they never are perfectly equivalent, but provided <BR>&gt; the sample is large enough, the groups will be close enough <BR>&gt; to equivalent that differences are negligible. <BR>&gt; <BR>&gt; For this example, linking different rater groups requires <BR>&gt; only an assumption of equal means, with no assumptions <BR>&gt; about higher moments. This is a relatively weak <BR>&gt; requirement. Therefore, random equivalence is sufficient to <B
R>&gt; yield good linking with relatively small group sizes. Five, <BR>&gt; however, is not a large enough group size to make an <BR>&gt; assumption of equivalence as a result of random assignment <BR>&gt; reasonable. <BR>&gt; <BR>&gt; The comparison with test books is not entirely appropriate. <BR>&gt; There are two sources of sampling error: assigning persons <BR>&gt; to test books; and assigning items to test books. Noting <BR>&gt; large differences cannot be attributed to failure of random <BR>&gt; equivalence without further information. <BR>&gt; <BR>&gt; Ryan <BR>&gt; <BR>&gt; --On Thursday, March 09, 2006 9:17 PM +0000 <BR>&gt; rsmith.arm@att.net wrote: <BR>&gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; Interesting idea, Randomly Equivalent! When I learned <BR>&gt; &gt; statistics random assignment ment random not randomly <BR>&gt; &gt; equivalent. In state testing programs, where test books <BR>&gt; &gt; are randomly assigned, I have seem mean ability <BR>&gt; &gt; differen
ces as high as 0.5 logits across forms. Hardly <BR>&gt; &gt; equivalent. Any equating based on the idea that the <BR>&gt; &gt; groups were randomly equivalent is doomed to failure. <BR>&gt; &gt; -- <BR>&gt; &gt; Richard M. Smith <BR>&gt; &gt; 12276 Arbor Lakes Parkway North <BR>&gt; &gt; Maple Grove, MN 55369 <BR>&gt; &gt; voice(w): 763-268-2282 <BR>&gt; &gt; voice(h): 763-494-5047 <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; -------------- Original message from "Barth Riley" <BR>&gt; &gt; <BARTHR@UIC.EDU>: -------------- <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; Hi Susan <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; What will most likely happen is that Facets will be <BR>&gt; &gt; unable to link ratings of exhibitions across panels. <BR>&gt; &gt; Therefore, it will not be possible to compare an exhibit <BR>&gt; &gt; rated by panel #1 to an exhibit rated by panel #2, etc. <BR>&gt; &gt; If data collection is still ongoin
g, I would strongly <BR>&gt; &gt; encourage moving raters to multiple panels to ensure a <BR>&gt; &gt; linkage across panels. The alternative strategy is to <BR>&gt; &gt; randomly assign raters to panels. Then we would assume <BR>&gt; &gt; that the panels are “randomly equivalent” and then anchor <BR>&gt; &gt; each panel to a common logit value, typically 0. ‘This <BR>&gt; &gt; group anchoring method can sometimes, though not always, <BR>&gt; &gt; allow disjointed subsets in the data to be connected by <BR>&gt; &gt; Facets. Generally, the more overlap, the better. <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; Barth <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; Barth Riley, Ph.D. <BR>&gt; &gt; <BR>&gt; &gt; Res. Asst. Professor &amp; Associate Program Director <BR>&gt; &gt; <BR>&gt; &gt; Dept. of Disability and Human Development M/C 626 <BR>&gt; &gt; <BR>&gt; &gt; University of Illinois-Chicago <BR>&gt; &gt; <BR>&gt; &gt; 1640 W. Roose
velt Rd. <BR>&gt; &gt; <BR>&gt; &gt; Chicago, IL 60608 <BR>&gt; &gt; <BR>&gt; &gt; Voice (312) 355-4054 <BR>&gt; &gt; <BR>&gt; &gt; Fax: (312) 355-4058 <BR>&gt; &gt; <BR>&gt; &gt; Email: barthr@uic.edu <BR>&gt; &gt; <BR>&gt; <BR>&gt; <BR>&gt; <BR>&gt; Ryan Bowles <BR>&gt; Department of Psychology <BR>&gt; University of Virginia <BR>&gt; P.O. Box 400871 <BR>&gt; Charlottesville, VA 22904-4871 <BR>&gt; 434-982-6508 <BR>&gt; rpbowles@virginia.edu <BR>&gt; <BR>&gt; _______________________________________________ <BR>&gt; Rasch mailing list <BR>&gt; Rasch@acer.edu.au <BR>&gt; http://mailinglist.acer.edu.au/mailman/listinfo/rasch </BLOCKQUOTE>
<!-- END WEBMAIL STATIONERY -->

</body>
</html>