<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<META content="MSHTML 6.00.6000.16441" name=GENERATOR></HEAD>
<BODY text=#000000 bgColor=#ffffff>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2>I have a related question -- what about correcting for 
measurement error when there is also sampling error?</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2>I've asked experts to count the number of errors in a 
writing sample.&nbsp; I can compute the inter-rater correlation, and thus can 
estimate the reliability of the measures (I'm working on doing this in Facets 
also).&nbsp; However, each sample of writing is just one sample that an 
individual could produce.&nbsp; Therefore, there is also sampling error, which 
can be estimated by examining the distribution of errors within the writing 
sample.&nbsp; Small writing samples have higher sampling error than large 
writing samples, even though the reliability may be the 
same.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2>Now when I examine the correlation between these ratings of 
writing samples and some other measure (I have an objectively-scored, 
Rasch-modeled measure), and I want to correct for measurement error to estimate 
the latent correlation, shouldn't I adjust for measurement error and sampling 
error?&nbsp; (Does anyone have a good cite on this?)</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2>Don Bacon</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2>Associate Professor of Marketing</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=933275521-04062007><FONT face=Arial 
color=#0000ff size=2>University of Denver</FONT></SPAN></DIV><BR>
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> rasch-bounces@acer.edu.au 
[mailto:rasch-bounces@acer.edu.au] <B>On Behalf Of </B>Hoi Suen<BR><B>Sent:</B> 
Monday, June 04, 2007 1:35 PM<BR><B>To:</B> Andrés Burga León<BR><B>Cc:</B> 
rasch@acer.edu.au<BR><B>Subject:</B> Re: [Rasch] Mean diferences and measurement 
error<BR></FONT><BR></DIV>
<DIV></DIV><FONT face="Times New Roman, Times, serif" size=2><SPAN lang=EN-US 
style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">Andrés,<BR><BR>I don't think it is 
necessary to assume perfect reliability in tests of significance such as the 
simple t-test. Using concepts in the true score model of measurement, the 
standard error of the mean in the denominator of the simple t-test is the 
standard error of the mean <U>of OBSERVED scores</U>. Since observed score is 
the linear combination of true and measurement error scores, the standard error 
of the mean is in fact </SPAN></FONT><FONT face=Arial size=2><SPAN lang=EN-US 
style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">already sqrt(sampling error^2 + 
measurement error^2). The first term is the <U>sampling</U> error of <U>true</U> 
scores and the second term is random measurement error. It is because of these 
two terms that power in a t-test is reduced by heterogeneity (i.e., first term) 
and unreliability (i.e., second term).<BR><BR>This is also true within the 
conceptual framework of the generalizability theory. In that case, the standard 
error of the mean in the t-test is conceptually equivalent to the square root of 
the expected mean error variance in G-theory.<BR><BR>Hoi<FONT color=navy><SPAN 
style="COLOR: navy"></SPAN></FONT></SPAN></FONT><BR><BR>Andrés Burga León wrote: 

<BLOCKQUOTE cite=mid002001c7a52e$e9027700$02312abe@HPdv2035 type="cite">
  <META content="Microsoft Word 11 (filtered medium)" name=Generator>
  <STYLE>@page Section1 {size: 595.3pt 841.9pt; margin: 70.85pt 3.0cm 70.85pt 3.0cm; }
P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.EstiloCorreo17 {
        COLOR: windowtext; FONT-FAMILY: Arial; mso-style-type: personal
}
SPAN.EstiloCorreo18 {
        COLOR: navy; FONT-FAMILY: Arial; mso-style-type: personal-reply
}
DIV.Section1 {
        page: Section1
}
</STYLE>
<!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
  <DIV class=Section1>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN lang=EN-US 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><O:P></O:P></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN lang=EN-US 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">In every statistical test, you 
  found that if you wan’t to assess mean differences you could use a simple t 
  test: (mean1 – mean 2) / standard error. But this formula only considers the 
  sampling error. It assumes perfect reliability.<O:P></O:P></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN lang=EN-US 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><O:P></O:P></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN lang=EN-US 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial">What about the measurement error? 
  Why didn’t consider it in the assessment of mean differences. I’m not expert 
  in this subject, but could it be possible to made a linear composite of 
  sampling error and measurement error? I mean something like sqrt(sampling 
  error^2 + measurement error^2)<FONT color=navy><SPAN style="COLOR: navy"> and 
  so assess better mean groups 
  differences?</SPAN></FONT><O:P></O:P></SPAN></FONT></P>
  <P class=MsoNormal><FONT face=Arial size=2><SPAN lang=EN-US 
  style="FONT-SIZE: 10pt; FONT-FAMILY: Arial"><O:P></O:P></SPAN></FONT></P></DIV><BR></BLOCKQUOTE>
<DIV class=moz-signature>-- <BR>
<HR>

<P style="COLOR: rgb(0,0,0); FONT-FAMILY: times-roman">Hoi K. Suen, Ed. 
D.<BR>Distinguished Professor<BR>Educational Psychology<BR>Penn 
State<BR>Website: <A href="http://suen.ed.psu.edu">suen.ed.psu.edu</A> 
</P></DIV></BODY></HTML>