<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=iso-8859-1"><!-- BEGIN WEBMAIL STATIONERY -->
<META content="MSHTML 6.00.2900.2838" name=GENERATOR>
<STYLE></STYLE>
</HEAD>
<BODY bgColor=#ffffff>
<DIV><FONT size=2>Is what one should do is to give 2 or more forms in random 
order to the same participants?</FONT></DIV>
<DIV>My Best,</DIV>
<DIV>&nbsp;</DIV>
<DIV>Michael Lamport Commons, Ph.D.<BR>Assistant Clinical Professor<BR>Program 
in Psychiatry and the Law<BR>Department of Psychiatry<BR>Harvard Medical 
School<BR>Beth Israel Deaconess Medical Center<BR>234 Huron Avenue<BR>Cambridge, 
MA 02138-1328</DIV>
<DIV>&nbsp;</DIV>
<DIV>Telephone (617) 497-5270<BR>Facsimile (617) 491-5270<BR><A 
href="mailto:Commons@tiac.net">Commons@tiac.net</A><BR><A 
href="http://dareassociation.org/">http://dareassociation.org/</A></DIV>
<DIV>&nbsp;</DIV>
<DIV><BR>&nbsp;</DIV>
<BLOCKQUOTE 
style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
  <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
  <DIV 
  style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
  <A title=rsmith.arm@att.net 
  href="mailto:rsmith.arm@att.net">rsmith.arm@att.net</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>To:</B> <A title=rpb3b@cms.mail.virginia.edu 
  href="mailto:rpb3b@cms.mail.virginia.edu">Ryan Patrick Bowles</A> ; <A 
  title=rasch@acer.edu.au href="mailto:rasch@acer.edu.au">Rasch Listserve</A> 
  </DIV>
  <DIV style="FONT: 10pt arial"><B>Sent:</B> Thursday, March 09, 2006 5:30 
  PM</DIV>
  <DIV style="FONT: 10pt arial"><B>Subject:</B> RE: [Rasch] many facet Rasch 
  model</DIV>
  <DIV><BR></DIV><!-- WEBMAIL STATIONERY noneset -->
  <DIV></DIV>
  <DIV>My random groups consisted of 15,000 people each, across 13 test forms, 
  for a total of 180,000 people and still there was a difference of .5 logits in 
  the group means.&nbsp; Until you can demonstrate empirically that the groups 
  are equivalent, it is a very tenuous assumption.</DIV>
  <DIV class=signature id=signature>--<BR>Richard M. Smith <BR>12276 Arbor Lakes 
  Parkway North <BR>Maple Grove, MN 55369 <BR>voice(w): 763-268-2282 
  <BR>voice(h): 763-494-5047 <BR><BR><BR><BR></DIV><BR>
  <BLOCKQUOTE 
  style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">-------------- 
    Original message from Ryan Patrick Bowles 
    &lt;rpb3b@cms.mail.virginia.edu&gt;: -------------- <BR><BR><BR>&gt; Barth's 
    suggestion was quite reasonable and a good idea <BR>&gt; when rater overlap 
    is not possible. Randomly equivalent is <BR>&gt; a perfectly justifiable 
    statistical assumption. It is the <BR>&gt; basis of random assignment in 
    clinical trials: the control <BR>&gt; and treatment groups must be randomly 
    equivalent. In <BR>&gt; reality, they never are perfectly equivalent, but 
    provided <BR>&gt; the sample is large enough, the groups will be close 
    enough <BR>&gt; to equivalent that differences are negligible. <BR>&gt; 
    <BR>&gt; For this example, linking different rater groups requires <BR>&gt; 
    only an assumption of equal means, with no assumptions <BR>&gt; about higher 
    moments. This is a relatively weak <BR>&gt; requirement. Therefore, random 
    equivalence is sufficient to <B R>&gt; yield good linking with relatively 
    small group sizes. Five, <BR>&gt; however, is not a large enough group size 
    to make an <BR>&gt; assumption of equivalence as a result of random 
    assignment <BR>&gt; reasonable. <BR>&gt; <BR>&gt; The comparison with test 
    books is not entirely appropriate. <BR>&gt; There are two sources of 
    sampling error: assigning persons <BR>&gt; to test books; and assigning 
    items to test books. Noting <BR>&gt; large differences cannot be attributed 
    to failure of random <BR>&gt; equivalence without further information. 
    <BR>&gt; <BR>&gt; Ryan <BR>&gt; <BR>&gt; --On Thursday, March 09, 2006 9:17 
    PM +0000 <BR>&gt; rsmith.arm@att.net wrote: <BR>&gt; <BR>&gt; &gt; <BR>&gt; 
    &gt; <BR>&gt; &gt; Interesting idea, Randomly Equivalent! When I learned 
    <BR>&gt; &gt; statistics random assignment ment random not randomly <BR>&gt; 
    &gt; equivalent. In state testing programs, where test books <BR>&gt; &gt; 
    are randomly assigned, I have seem mean ability <BR>&gt; &gt; differen ces 
    as high as 0.5 logits across forms. Hardly <BR>&gt; &gt; equivalent. Any 
    equating based on the idea that the <BR>&gt; &gt; groups were randomly 
    equivalent is doomed to failure. <BR>&gt; &gt; -- <BR>&gt; &gt; Richard M. 
    Smith <BR>&gt; &gt; 12276 Arbor Lakes Parkway North <BR>&gt; &gt; Maple 
    Grove, MN 55369 <BR>&gt; &gt; voice(w): 763-268-2282 <BR>&gt; &gt; voice(h): 
    763-494-5047 <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; 
    <BR>&gt; &gt; <BR>&gt; &gt; -------------- Original message from "Barth 
    Riley" <BR>&gt; &gt; <BARTHR@UIC.EDU>: -------------- <BR>&gt; &gt; <BR>&gt; 
    &gt; <BR>&gt; &gt; <BR>&gt; &gt; Hi Susan <BR>&gt; &gt; <BR>&gt; &gt; 
    <BR>&gt; &gt; <BR>&gt; &gt; What will most likely happen is that Facets will 
    be <BR>&gt; &gt; unable to link ratings of exhibitions across panels. 
    <BR>&gt; &gt; Therefore, it will not be possible to compare an exhibit 
    <BR>&gt; &gt; rated by panel #1 to an exhibit rated by panel #2, etc. 
    <BR>&gt; &gt; If data collection is still ongoin g, I would strongly 
    <BR>&gt; &gt; encourage moving raters to multiple panels to ensure a 
    <BR>&gt; &gt; linkage across panels. The alternative strategy is to <BR>&gt; 
    &gt; randomly assign raters to panels. Then we would assume <BR>&gt; &gt; 
    that the panels are “randomly equivalent” and then anchor <BR>&gt; &gt; each 
    panel to a common logit value, typically 0. ‘This <BR>&gt; &gt; group 
    anchoring method can sometimes, though not always, <BR>&gt; &gt; allow 
    disjointed subsets in the data to be connected by <BR>&gt; &gt; Facets. 
    Generally, the more overlap, the better. <BR>&gt; &gt; <BR>&gt; &gt; 
    <BR>&gt; &gt; <BR>&gt; &gt; Barth <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; 
    <BR>&gt; &gt; <BR>&gt; &gt; <BR>&gt; &gt; Barth Riley, Ph.D. <BR>&gt; &gt; 
    <BR>&gt; &gt; Res. Asst. Professor &amp; Associate Program Director <BR>&gt; 
    &gt; <BR>&gt; &gt; Dept. of Disability and Human Development M/C 626 
    <BR>&gt; &gt; <BR>&gt; &gt; University of Illinois-Chicago <BR>&gt; &gt; 
    <BR>&gt; &gt; 1640 W. Roose velt Rd. <BR>&gt; &gt; <BR>&gt; &gt; Chicago, IL 
    60608 <BR>&gt; &gt; <BR>&gt; &gt; Voice (312) 355-4054 <BR>&gt; &gt; 
    <BR>&gt; &gt; Fax: (312) 355-4058 <BR>&gt; &gt; <BR>&gt; &gt; Email: 
    barthr@uic.edu <BR>&gt; &gt; <BR>&gt; <BR>&gt; <BR>&gt; <BR>&gt; Ryan Bowles 
    <BR>&gt; Department of Psychology <BR>&gt; University of Virginia <BR>&gt; 
    P.O. Box 400871 <BR>&gt; Charlottesville, VA 22904-4871 <BR>&gt; 
    434-982-6508 <BR>&gt; rpbowles@virginia.edu <BR>&gt; <BR>&gt; 
    _______________________________________________ <BR>&gt; Rasch mailing list 
    <BR>&gt; Rasch@acer.edu.au <BR>&gt; 
    http://mailinglist.acer.edu.au/mailman/listinfo/rasch </BLOCKQUOTE><!-- END WEBMAIL STATIONERY -->
  <P>
  <HR>

  <P></P>_______________________________________________<BR>Rasch mailing 
  list<BR>Rasch@acer.edu.au<BR>http://mailinglist.acer.edu.au/mailman/listinfo/rasch<BR></BLOCKQUOTE></B></BODY></HTML>