<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
  <meta content="text/html;charset=ISO-8859-1" http-equiv="Content-Type">
</head>
<body bgcolor="#ffffff" text="#000000">
<font face="Times New Roman, Times, serif">Don,<br>
<br>
The "sampling error" referred to in Andres' original post was the error
of sampling subjects. Your situation has to do with the error of
sampling tasks. In fact, there are other additional "sampling errors";
such as the error of sampling raters, of occasions, of ... From the
perspective of G-theory, measurement error is the error of sampling
various facets/dimensions -- other than the dimension of the intended
object of measurement (i.e., people).&nbsp; To adjust for
measurement/sampling error in your correlation of writing samples and
other measures, I would suggest estimating the appropriate
G-coefficient for the writing samples and for the other measures and
then apply a standard correction for attenuation procedure.<br>
<br>
(If these points about classical and G-theory is inappropriate for a
Rasch listserv, I apologize.)<br>
<br>
Hoi<br>
<br>
</font><br>
Donald Bacon wrote:
<blockquote
 cite="mid599BAFDFB593004698B9B2A312D95B982CCF2D@pebblebeach.daniels.du.edu"
 type="cite">
  <meta http-equiv="Content-Type" content="text/html; ">
  <meta content="MSHTML 6.00.6000.16441" name="GENERATOR">
  <div dir="ltr" align="left"><span class="933275521-04062007"><font
 color="#0000ff" face="Arial" size="2">I have a related question --
what about correcting for measurement error when there is also sampling
error?</font></span></div>
  <div dir="ltr" align="left"><span class="933275521-04062007"></span>&nbsp;</div>
  <div dir="ltr" align="left"><span class="933275521-04062007"><font
 color="#0000ff" face="Arial" size="2">I've asked experts to count the
number of errors in a writing sample.&nbsp; I can compute the inter-rater
correlation, and thus can estimate the reliability of the measures (I'm
working on doing this in Facets also).&nbsp; However, each sample of writing
is just one sample that an individual could produce.&nbsp; Therefore, there
is also sampling error, which can be estimated by examining the
distribution of errors within the writing sample.&nbsp; Small writing
samples have higher sampling error than large writing samples, even
though the reliability may be the same.</font></span></div>
  <div dir="ltr" align="left"><span class="933275521-04062007"></span>&nbsp;</div>
  <div dir="ltr" align="left"><span class="933275521-04062007"><font
 color="#0000ff" face="Arial" size="2">Now when I examine the
correlation between these ratings of writing samples and some other
measure (I have an objectively-scored, Rasch-modeled measure), and I
want to correct for measurement error to estimate the latent
correlation, shouldn't I adjust for measurement error and sampling
error?&nbsp; (Does anyone have a good cite on this?)</font></span></div>
  <div dir="ltr" align="left"><span class="933275521-04062007"></span>&nbsp;</div>
  <div dir="ltr" align="left"><span class="933275521-04062007"><font
 color="#0000ff" face="Arial" size="2">Don Bacon</font></span></div>
  <div dir="ltr" align="left"><span class="933275521-04062007"><font
 color="#0000ff" face="Arial" size="2">Associate Professor of Marketing</font></span></div>
  <div dir="ltr" align="left"><span class="933275521-04062007"><font
 color="#0000ff" face="Arial" size="2">University of Denver</font></span></div>
  <br>
  <div class="OutlookMessageHeader" dir="ltr" align="left" lang="en-us">
  <hr tabindex="-1"><font face="Tahoma" size="2"><b>From:</b>
<a class="moz-txt-link-abbreviated" href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [<a class="moz-txt-link-freetext" href="mailto:rasch-bounces@acer.edu.au">mailto:rasch-bounces@acer.edu.au</a>] <b>On
Behalf Of </b>Hoi Suen<br>
  <b>Sent:</b> Monday, June 04, 2007 1:35 PM<br>
  <b>To:</b> Andr&eacute;s Burga Le&oacute;n<br>
  <b>Cc:</b> <a class="moz-txt-link-abbreviated" href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>
  <b>Subject:</b> Re: [Rasch] Mean diferences and measurement error<br>
  </font><br>
  </div>
  <font face="Times New Roman, Times, serif" size="2"><span
 style="font-size: 10pt; font-family: Arial;" lang="EN-US">Andr&eacute;s,<br>
  <br>
I don't think it is necessary to assume perfect reliability in tests of
significance such as the simple t-test. Using concepts in the true
score model of measurement, the standard error of the mean in the
denominator of the simple t-test is the standard error of the mean <u>of
OBSERVED scores</u>. Since observed score is the linear combination of
true and measurement error scores, the standard error of the mean is in
fact </span></font><font face="Arial" size="2"><span
 style="font-size: 10pt; font-family: Arial;" lang="EN-US">already
sqrt(sampling error^2 + measurement error^2). The first term is the <u>sampling</u>
error of <u>true</u> scores and the second term is random measurement
error. It is because of these two terms that power in a t-test is
reduced by heterogeneity (i.e., first term) and unreliability (i.e.,
second term).<br>
  <br>
This is also true within the conceptual framework of the
generalizability theory. In that case, the standard error of the mean
in the t-test is conceptually equivalent to the square root of the
expected mean error variance in G-theory.<br>
  <br>
Hoi<font color="navy"><span style="color: navy;"></span></font></span></font><br>
  <br>
Andr&eacute;s Burga Le&oacute;n wrote:
  <blockquote cite="mid002001c7a52e$e9027700$02312abe@HPdv2035"
 type="cite">
    <meta content="Microsoft Word 11 (filtered medium)" name="Generator">
    <style>@page Section1 {size: 595.3pt 841.9pt; margin: 70.85pt 3.0cm 70.85pt 3.0cm; }
P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: purple; TEXT-DECORATION: underline
}
SPAN.EstiloCorreo17 {
        COLOR: windowtext; FONT-FAMILY: Arial; mso-style-type: personal
}
SPAN.EstiloCorreo18 {
        COLOR: navy; FONT-FAMILY: Arial; mso-style-type: personal-reply
}
DIV.Section1 {
        page: Section1
}
    </style><!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
    <div class="Section1">
    <p class="MsoNormal"><font face="Arial" size="2"><span
 style="font-size: 10pt; font-family: Arial;" lang="EN-US"><O:P></O:P></span></font></p>
    <p class="MsoNormal"><font face="Arial" size="2"><span
 style="font-size: 10pt; font-family: Arial;" lang="EN-US">In every
statistical test, you found that if you wan&#8217;t to assess mean
differences you could use a simple t test: (mean1 &#8211; mean 2) / standard
error. But this formula only considers the sampling error. It assumes
perfect reliability.<O:P></O:P></span></font></p>
    <p class="MsoNormal"><font face="Arial" size="2"><span
 style="font-size: 10pt; font-family: Arial;" lang="EN-US"><O:P></O:P></span></font></p>
    <p class="MsoNormal"><font face="Arial" size="2"><span
 style="font-size: 10pt; font-family: Arial;" lang="EN-US">What about
the measurement error? Why didn&#8217;t consider it in the assessment of mean
differences. I&#8217;m not expert in this subject, but could it be possible
to made a linear composite of sampling error and measurement error? I
mean something like sqrt(sampling error^2 + measurement error^2)<font
 color="navy"><span style="color: navy;"> and so assess better mean
groups differences?</span></font><O:P></O:P></span></font></p>
    <p class="MsoNormal"><font face="Arial" size="2"><span
 style="font-size: 10pt; font-family: Arial;" lang="EN-US"><O:P></O:P></span></font></p>
    </div>
    <br>
  </blockquote>
  <div class="moz-signature">-- <br>
  <hr>
  <p style="color: rgb(0, 0, 0); font-family: times-roman;">Hoi K.
Suen, Ed. D.<br>
Distinguished Professor<br>
Educational Psychology<br>
Penn State<br>
Website: <a href="http://suen.ed.psu.edu">suen.ed.psu.edu</a> </p>
  </div>
</blockquote>
<br>
</body>
</html>