<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML xmlns="http://www.w3.org/TR/REC-html40" xmlns:v = 
"urn:schemas-microsoft-com:vml" xmlns:o = 
"urn:schemas-microsoft-com:office:office" xmlns:w = 
"urn:schemas-microsoft-com:office:word" xmlns:st1 = 
"urn:schemas-microsoft-com:office:smarttags"><HEAD>
<META http-equiv=Content-Type content="text/html; charset=iso-8859-1">
<META content="MSHTML 6.00.2900.2769" name=GENERATOR><!--[if !mso]>
<STYLE>v\:* {
        BEHAVIOR: url(#default#VML)
}
o\:* {
        BEHAVIOR: url(#default#VML)
}
w\:* {
        BEHAVIOR: url(#default#VML)
}
.shape {
        BEHAVIOR: url(#default#VML)
}
</STYLE>
<![endif]--><o:SmartTagType name="Street" 
namespaceuri="urn:schemas-microsoft-com:office:smarttags"></o:SmartTagType><o:SmartTagType 
name="State" 
namespaceuri="urn:schemas-microsoft-com:office:smarttags"></o:SmartTagType><o:SmartTagType 
name="address" 
namespaceuri="urn:schemas-microsoft-com:office:smarttags"></o:SmartTagType><o:SmartTagType 
name="PlaceType" 
namespaceuri="urn:schemas-microsoft-com:office:smarttags"></o:SmartTagType><o:SmartTagType 
name="PlaceName" 
namespaceuri="urn:schemas-microsoft-com:office:smarttags"></o:SmartTagType><o:SmartTagType 
name="place" 
namespaceuri="urn:schemas-microsoft-com:office:smarttags"></o:SmartTagType><o:SmartTagType 
name="PersonName" 
namespaceuri="urn:schemas-microsoft-com:office:smarttags"></o:SmartTagType><!--[if !mso]>
<STYLE>st1\:* {
        BEHAVIOR: url(#default#ieooui)
}
</STYLE>
<![endif]-->
<STYLE>@font-face {
        font-family: Tahoma;
}
@page Section1 {size: 612.0pt 792.0pt; margin: 72.0pt 90.0pt 72.0pt 90.0pt; }
P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0cm 0cm 0pt; FONT-FAMILY: "Times New Roman"
}
A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
A:visited {
        COLOR: blue; TEXT-DECORATION: underline
}
SPAN.MsoHyperlinkFollowed {
        COLOR: blue; TEXT-DECORATION: underline
}
P {
        FONT-SIZE: 12pt; MARGIN-LEFT: 0cm; MARGIN-RIGHT: 0cm; FONT-FAMILY: "Times New Roman"; mso-margin-top-alt: auto; mso-margin-bottom-alt: auto
}
SPAN.EmailStyle19 {
        COLOR: navy; FONT-FAMILY: Arial; mso-style-type: personal-reply
}
DIV.Section1 {
        page: Section1
}
</STYLE>
<!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]--></HEAD>
<BODY lang=EN-US vLink=blue link=blue>
<DIV dir=ltr align=left>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>A construct theory is the story we tell about what it means to move up 
and down the scale for a variable of interest (e.g. temperature, reading 
ability, short term memory). Why is it, for example, that items are ordered as 
they are on the item map? The story evolves as knowledge regarding the construct 
increases. We call both the process and the product of this evolutionary 
unfolding “construct definition.” (Stenner, Smith and Burdick, 1983) Advanced 
stages of construct definition are characterized by calibration equations (or 
specification equations) that operationalize and formalize a construct theory. 
These equations, make point predictions about item behavior or item ensemble 
distributions. The more closely theoretical calibrations coincide with empirical 
item difficulties, the more useful the construct theory and the more interesting 
the story.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>Twenty-five years of experience in developing the Lexile Framework for 
<st1:place w:st="on"><st1:City w:st="on">Reading</st1:City></st1:place> enable 
us to distinguish five stages in our thinking. Each subsequent stage can be 
characterized by an increasingly sophisticated use of substantive theory. 
Evidence that a construct theory and its associated technologies have reached a 
given stage or level can be found in the artifacts, instruments, and social 
networks that are realized at each level.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Level 1</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>At this stage there is no explicit theory as to why items are ordered as 
they are on the item map. Data are used to estimate both person measures and 
item difficulties. Just as with other actuarial sciences, empirically determined 
probabilities are of paramount importance. When data are found to fit a Rasch 
Model, relative differences among persons are independent of which items or 
occasions of measurement are used to make the measures. Location indeterminacy 
abounds: each instrument/scale pairing for a specified construct has a uniquely 
determined “zero”. At level 1, instruments don’t share a common “zero” i.e. 
location parameter. <B style="mso-bidi-font-weight: normal"><SPAN 
style="FONT-SIZE: 14pt"><SPAN 
style="mso-spacerun: yes">&nbsp;</SPAN></SPAN></B>A familiar artifact of this 
stage is the scale annotated with empirical item difficulties (artifact 1). Most 
educational and psychological instruments in use today are level one 
technologies.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Level 2</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>A construct theory can be formalized in a specification equation used to 
explain variation in item difficulties. If what causes variation in item 
difficulties can be reduced to an equation, then a vital piece of construct 
validity evidence has been secured. We argue elsewhere that the single most 
compelling piece of evidence for an instrument’s construct validity is a 
specification equation that can account for a high proportion of observed 
variance in item difficulties (Stenner, Smith and Burdick, 1983). Without such 
evidence only very weak correlational evidence can be marshaled for claims that 
“we know what we are measuring” and “we know how to build an indefinitely large 
number of theoretically parallel instruments that measure the same construct 
with the same precision of measurement.” </P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">Note that the 
causal status of a specification is tested by experimentally manipulating the 
variables in the specification equation and checking to see if the expected 
changes in item difficulty are, in fact, observed. Stone (2002) performed just 
such an experimental confirmation of the specification equation for the Knox 
Cube Test – Revised (KCT_R), when he designed new items to fill in holes in the 
item map and found the theoretical predictions coincided closely with observed 
difficulties. Can we imagine a more convincing demonstration that we know what 
we are measuring than when the construct theory and its associated specification 
equation accord well with experiments (Stenner &amp; Smith, 1982, Stenner &amp; 
Stone (2003)?</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">Similar 
demonstrations have now been realized for hearing vocabulary (Stenner, Smith and 
Burdick, 1983), reading (Stenner and Wright, 2002), quantitative reasoning 
(Enright and Sheehan, 2002), and abstract reasoning (Embretson, 2002). Artifacts 
that signal level 2 use of theory are specification equations, RMSE’s from 
regressions of observed item difficulties on theory, and evidence for causal 
status based on experimental manipulation of item design features (Artifact 
2).</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Level 3</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>The next stage in the evolving use of theory involves application of the 
specification equation to enrich scale annotations. We move beyond using 
empirical item difficulties as annotations.<SPAN 
style="mso-spacerun: yes">&nbsp; </SPAN>One example of this use of the 
specification equation is in the measurement of text readability in the Lexile 
Framework for <st1:City w:st="on"><st1:place 
w:st="on">Reading</st1:place></st1:City>. In this application a book or magazine 
article is conceptualized as a test made up of as many <B 
style="mso-bidi-font-weight: normal"><SPAN 
style="FONT-SIZE: 14pt">“</SPAN></B>imagined” items as there are paragraphs in 
the book. The specification equation is then used to generate theoretical 
calibrations for each paragraph which then stand in for empirical item 
difficulties (Stone, Wright &amp; Stenner, 1999). </P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">For instance, 
the text measure for a book is the Lexile reader measure needed to produce a sum 
of the modeled probabilities of correct answers over paragraphs, qua items, 
equal to a relative raw score of 75%. We can imagine a thought experiment in 
which every paragraph (say 900) in a Harry Potter novel is turned into a reading 
test item. Each of the 900 items is then administered to 1000 targeted readers 
and empirical item difficulties are computed from a hugely complex connected 
data collection effort.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>The text 
measure for the Harry Potter novel (880L) is the amount of reading ability 
needed to get a raw score of 675/900 items correct, or a relative raw score of 
75% (Artifact 3). </P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">The 
specification equation is used in place of the tremendously complicated and 
expensive realization of the thought experiment for every book we want to 
measure. The machinery described above can also be applied to text collections 
(book bags or briefcases) to enable scale annotation with real world text 
demands (college, workplace, etc.).</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>Artifacts of a level 3 use of theory include construct maps (artifact 3) 
that annotate the reading scale with texts that, thanks to theory, can be 
imagined to be tests with theoretically derived item calibrations.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Level 4</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>In biochemistry, when a substance is successfully synthesized using amino 
acids and other building blocks, the structure of the purified entity is then 
commonly considered to be understood. That is, when the action of a natural 
substance can be matched by that of a synthetic counterpart, we argue that we 
understand the structure of the natural substance. Analogously, we argue that 
when a clone for an instrument can be built and the clone produces measures 
indistinguishable from those produced by the original instrument, then we can 
claim we understand the construct under study. What is unambiguously cumulative 
in the history of science is not data text or theory but is rather the gradual 
refinement of instrumentation (Ackerman, 1985).</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>In a level 4 use of construct theory there is enough confidence in the 
theory and associated specification equation that a theoretical calibration 
takes the place of an empirical item difficulty for every item in the instrument 
or item bank. There are now numerous reading tests (e.g., Scholastic Reading 
Inventory – Interactive and the Pearson PASeries Reading Test) that use only 
theoretical calibrations. Evidence abounds that the reader measures produced by 
these theoretically calibrated instruments are indistinguishable from measures 
made using the more familiar empirically scaled instruments (Artifact 4). At 
Level 4, instruments developed by different laboratories and corporations share 
a common scale. The number of unique metrics for measuring the same construct<B 
style="mso-bidi-font-weight: normal"><SPAN style="FONT-SIZE: 14pt"> 
</SPAN></B>(e.g. reading ability) diminishes. </P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Level 5</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>Level 5 use of theory builds on level 4 to handle the case in which 
theory provides not individual item calibrations but rather a distribution of 
“potential” item calibrations. Again, the Lexile Framework has been used to 
build reading tests incorporating this more advanced use of theory. Imagine a 
Time magazine article that is 1500 words in lengths. Imagine a software program 
that can generate a large number of “cloze” items (see Artifact 5) for this 
article. A sample from this collection is served up to the reader when she 
chooses to read this article. As she reads, she chooses words to fill in the 
blanks (missing words) distributed throughout the article. How can counts 
correct from such an experience produce Lexile reader measures, when it is 
impossible to effect a one-to-one correspondence between a reader response to an 
item and a theoretical calibration, specific to that particular item? The answer 
is that the theory provides a distribution of possible item calibrations 
(specifically, a mean and standard deviation), and a particular count correct is 
converted into a Lexile reader measure by integrating over the theoretical 
distribution (Artifact 6).</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">In Conclusion:</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN>“There is nothing so practical as a good theory” Kurt Lewin</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><SPAN 
style="mso-tab-count: 1">&nbsp;<SPAN class=270572121-24012006>Artifacts 
available on request.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
Jack</SPAN>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
</SPAN></P><B><SPAN 
style="FONT-SIZE: 13pt; FONT-FAMILY: Arial; mso-fareast-font-family: 'Times New Roman'; mso-ansi-language: EN-US; mso-fareast-language: EN-US; mso-bidi-language: AR-SA"><BR 
style="PAGE-BREAK-BEFORE: always" clear=all></SPAN></B>
<H3 style="MARGIN: 12pt 0in 3pt"><FONT face=Arial>References:</FONT></H3>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Ackerman, R. J. (1985) Data, 
Instruments, and Theory. <st1:City w:st="on">Princeton</st1:City>, <st1:State 
w:st="on">NJ</st1:State>, <st1:place w:st="on"><st1:PlaceName 
w:st="on">Princeton</st1:PlaceName> <st1:PlaceType 
w:st="on">University</st1:PlaceType></st1:place> Press. </P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Embretson, S.E. (1998) A 
cognitive design system approach to generating valid tests:</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">Application 
to abstract reasoning. Psychological Methods, 3, 380-396.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Enright, M.K. &amp; Sheehan, K.M. 
(2002). Modeling the difficulty of quantitative reasoning</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt 0.5in">items: implications for 
item generation. In S. H. Irvine &amp; P. C. Kyllonen (Eds) Item Generation for 
Test Development. <st1:place w:st="on"><st1:City w:st="on">Hillsdale</st1:City>, 
<st1:State w:st="on">NJ</st1:State></st1:place>. <st1:place w:st="on"><st1:City 
w:st="on">Lawrence</st1:City></st1:place> Erlbaum Associates.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Stenner, A.J., Burdick, H., 
<st1:place w:st="on"><st1:City w:st="on">Sanford</st1:City></st1:place>, E., 
&amp; Burdick, D. How accurate are Lexile text</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">measures? 
Manuscript accepted Journal of Applied Measurement. </P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Stenner, A.J., &amp; Smith, 
M.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>Testing construct theories.<SPAN 
style="mso-spacerun: yes">&nbsp; </SPAN><I 
style="mso-bidi-font-style: normal">Perceptual and Motor Skills</I>,</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">1982, 55, 
415-426.</P>
<P class=MsoNormal 
style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Stenner, A.J., Smith, M. &amp; 
Burdick, D. (1983) Toward a Theory of Construct Definition.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">Journal of 
Educational Measurement, 20, (4) 305 – 316.</P>
<P class=MsoNormal 
style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Stenner, A.J. &amp; Stone, M.H. 
(2003) Item Specifications vs. Item Banking. Transactions</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt; TEXT-INDENT: 0.5in">of the Rasch 
SIG; 17 (3) 929 – 930.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Stenner, A.J., &amp; Wright, 
B.D., (2002) Readability, Reading Ability, and Comprehension.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt 0.5in">Paper presented at the 
Association of Test Publishers Hall of Fame Induction for Benjamin D. Wright, 
<st1:place w:st="on"><st1:City w:st="on">San Diego</st1:City></st1:place>. In 
Wright, B.D. and Stone, M.H. (2004) <U>Making Measures</U>. <st1:place 
w:st="on"><st1:City w:st="on">Chicago</st1:City></st1:place>: Phaneron 
Press.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Stone, M. H. (2002) Knox Cube 
Test – revised. <st1:place w:st="on"><st1:City w:st="on">Itasca</st1:City>, 
<st1:State w:st="on">IL</st1:State></st1:place>. Stoelting.</P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt"><o:p>&nbsp;</o:p></P>
<P class=MsoNormal style="MARGIN: 0in 0in 0pt">Stone, M.H., Wright, B.D. &amp; 
Stenner, A.J., (1999) Mapping variables. Journal of</P><SPAN 
style="FONT-SIZE: 12pt; FONT-FAMILY: 'Times New Roman'; mso-fareast-font-family: 'Times New Roman'; mso-ansi-language: EN-US; mso-fareast-language: EN-US; mso-bidi-language: AR-SA">Outcome 
Measurement, 3 (4), 308 – 322.</SPAN></DIV><BR>
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> William Fisher (External) <BR><B>Sent:</B> 
Monday, January 23, 2006 10:44 AM<BR><B>To:</B> Agustin Tristan; Tim Pelton; 
Rasch@acer.edu.au<BR><B>Cc:</B> Jack Stenner<BR><B>Subject:</B> RE: [Rasch] 
counts to scale conversion<BR></FONT><BR></DIV>
<DIV></DIV>
<DIV class=Section1>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Regarding the model as 
an ideal disconnected from reality forgets that the data may be derived from 
questions that may be irrelevant, poorly formulated, or off-construct for some 
other reason, or that some respondents may not belong to the intended 
population. <o:p></o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"><o:p>&nbsp;</o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Why try to describe 
data that are not reproducible and replicable? How well do we understand a 
construct when the only data we can produce are not theoretically tractable, and 
so remain tied to particular questions and respondents? It seems pretty cynical 
to me to do research with the sole aim of applying fancy statistics to data, 
publishing articles, and advancing one’s own career, while deliberately limiting 
your potential for generalizing your results past your own local samples of 
persons and items because you choose models and methods that do not push you 
toward the highest possible level of generality.<o:p></o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"><o:p>&nbsp;</o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">I vote for 3. Strong 
construct theory is not automatically implied by strong measurement theory. 
Being able to predict item difficulties when the items have been previously 
calibrated is great, but the real goal is to be able to predict their 
calibrations on the basis of their theoretical properties, in the manner of 
Lexiles or Commons’ stage scoring system. <o:p></o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"><o:p>&nbsp;</o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">When we have this, then 
we’re getting somewhere. After all, imagine how different our economic lives 
would be if rulers, weight scales, thermometers, clocks, volt meters, and the 
resistance properties of every meter of every type of electrical cable all had 
to be calibrated individually on data, instead of en masse, by theory….&nbsp; 
Theoretical predictability is the mark of a real science, where we understand a 
variable to the point that we can recognize it for what it is in any amount when 
we see it. <o:p></o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"><o:p>&nbsp;</o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">After all, don’t we say 
that a basic mark of knowing what we’re talking about is being able to put it in 
our own words? Shouldn’t any valid articulation of a construct be a viable 
medium for measuring in a univerally uniform reference standard 
metric?<o:p></o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"><o:p>&nbsp;</o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Jack Stenner has 
recently done some work describing several more than three stages of this kind 
in the development of measurable constructs….&nbsp; Maybe we can get him to 
weigh in….<o:p></o:p></SPAN></FONT></P>
<P class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"><o:p>&nbsp;</o:p></SPAN></FONT></P>
<DIV>
<P class=MsoNormal><STRONG><B><FONT face=Tahoma color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Tahoma">William P. Fisher, 
Jr., Ph.D.</SPAN></FONT></B></STRONG><FONT face=Tahoma color=navy size=2><SPAN 
style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Tahoma"><BR>AVATAR 
INTERNATIONAL INC.<BR><A 
href="mailto:WFisher@avatar-intl.com">WFisher@avatar-intl.com</A> 
</SPAN></FONT><o:p></o:p></P></DIV>
<DIV>
<DIV class=MsoNormal style="TEXT-ALIGN: center" align=center><FONT 
face="Times New Roman" size=3><SPAN style="FONT-SIZE: 12pt">
<HR tabIndex=-1 align=center width="100%" SIZE=2>
</SPAN></FONT></DIV>
<P class=MsoNormal><B><FONT face=Tahoma size=2><SPAN 
style="FONT-WEIGHT: bold; FONT-SIZE: 10pt; FONT-FAMILY: Tahoma">From:</SPAN></FONT></B><FONT 
face=Tahoma size=2><SPAN style="FONT-SIZE: 10pt; FONT-FAMILY: Tahoma"> 
rasch-bounces@acer.edu.au [mailto:rasch-bounces@acer.edu.au] <B><SPAN 
style="FONT-WEIGHT: bold">On Behalf Of </SPAN></B>Agustin Tristan<BR><B><SPAN 
style="FONT-WEIGHT: bold">Sent:</SPAN></B> Monday, January 23, 2006 10:26 
AM<BR><B><SPAN style="FONT-WEIGHT: bold">To:</SPAN></B> Tim Pelton; 
Rasch@acer.edu.au<BR><B><SPAN style="FONT-WEIGHT: bold">Subject:</SPAN></B> RE: 
[Rasch] counts to scale conversion</SPAN></FONT><o:p></o:p></P></DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt"><o:p>&nbsp;</o:p></SPAN></FONT></P>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">Hi Tim...it could be nice to have further votes for the 
three options and see how well this example fits to the person's opinion in this 
listserve... or how well our opinions fit a 
model...<o:p></o:p></SPAN></FONT></P></DIV>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">Thank you.<o:p></o:p></SPAN></FONT></P></DIV>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">Agustin<BR><BR><B><I><SPAN 
style="FONT-WEIGHT: bold; FONT-STYLE: italic">Tim Pelton 
&lt;tpelton@uvic.ca&gt;</SPAN></I></B> wrote:<o:p></o:p></SPAN></FONT></P></DIV>
<BLOCKQUOTE 
style="BORDER-RIGHT: medium none; PADDING-RIGHT: 0cm; BORDER-TOP: medium none; MARGIN-TOP: 5pt; PADDING-LEFT: 3pt; MARGIN-BOTTOM: 5pt; PADDING-BOTTOM: 0cm; MARGIN-LEFT: 3pt; BORDER-LEFT: #1010ff 1.5pt solid; PADDING-TOP: 0cm; BORDER-BOTTOM: medium none">
  <P class=MsoNormal style="MARGIN-BOTTOM: 12pt"><FONT face="Times New Roman" 
  size=3><SPAN style="FONT-SIZE: 12pt">What a great example - and starting point 
  for a discussion...<BR><BR>My vote is for option 2.<BR><BR>I think that the 
  phrase in option 3 "...telling us (and the crickets too)..."<BR>demonstrates 
  quite nicely the<BR>limitations of blindly applying an 'ideal' model. Is it 
  reasonable to favor<BR>an elegant theoretical model<BR>that deviates 
  substantially in it's predictions from the observed data when<BR>our lack of 
  understanding of<BR>related factors means that we cannot effectively explain 
  such deviations? Is<BR>it not more appropriate to<BR>choose a pragmatic model 
  (balancing simplicity and accuracy) as an<BR>intermediate model to help 
  us<BR>establish a control or baseline which may then be used to support our 
  search<BR>for other factors?<BR><BR>Tim<BR><BR><BR>- &gt;===== Original 
  Message From Agustin Tristan <ICI_KALT@YAHOO.COM>=====<BR>&gt;Hi! I'm trying 
  to follow this topic concerning crickets and scales.<BR>&gt; In abstract: 
  Which is better?<BR>&gt; 1) The simple linear model even if it doesn't fit 
  (the linear model for the<BR>crickets' case).<BR>&gt; 2) Any model who permits 
  us to fit the data (the exp(something) looks to be<BR>like that).<BR>&gt; 3) A 
  theoretical model telling us (and the crickets too) how is the way<BR>crickets 
  should adjust the<BR>frequency of the noise they produce according to 
  temperature...specially if<BR>this theoretical model is<BR>exp(someting) 
  because it looks more interesting or impressive.<BR>&gt;<BR>&gt; I like Nature 
  and its relationship with math and for me it was interesting<BR>to know that 
  crickets may<BR>use the exponential (even if they don't care about the 
  mathematical<BR>formulation), as well as the seeds in<BR>sunflowers grow 
  exponentially from their center, or the snails grow their<BR>shell, or the ivy 
  plants grow in<BR>an helical 3D curve, or the soil slopes (in soil mechanics) 
  become unstable<BR>and fail according to a<BR>logarithmic spiral, or the 
  growth of populations follows a logistic model, and<BR>so forth... I can 
  also<BR>recognize that I prefer objective items that behave as the Rasch 
  model,<BR>but...I cannot decide in all those<BR>case which is better between 
  (1), (2) and (3)...<BR>&gt; Regards<BR>&gt; Agustin 
  Tristan<BR>&gt;<BR>&gt;Rense 
  <RENSELANGE@EARTHLINK.NET>wrote:<BR>&gt;<BR>&gt;All this illustrates that if 
  we want to stay in business as test gurus then<BR>&gt;we'd better forget about 
  meaningful item hierarchies, sample independence,<BR>&gt;additive measures, 
  and other such niceties. Rather, using methods whose<BR>&gt;results need to be 
  recalibrated for boys, girls, old, and young, ..,<BR>&gt;whatever, ... - and 
  adding a few things like "log(exp(something ...))" to<BR>&gt;our tech reports 
  - should greatly help with job security. :)<BR>&gt;<BR>&gt;Rense 
  Lange<BR>&gt;<BR>&gt;-----Original Message-----<BR>&gt;From: 
  rasch-bounces@acer.edu.au [mailto:rasch-bounces@acer.edu.au]On<BR>&gt;Behalf 
  Of <st1:PersonName w:st="on">Trevor Bond</st1:PersonName><BR>&gt;Sent: 
  Saturday, January 21, 2006 5:43 PM<BR>&gt;To: <st1:PersonName w:st="on">Rasch 
  list</st1:PersonName>serve<BR>&gt;Subject: [Rasch] counts to scale 
  conversion<BR>&gt;<BR>&gt;<BR>&gt;For all budding scale constructors, this is 
  a 
  hoot:<BR>&gt;http://www.dartmouth.edu/~genchem/0102/spring/6winn/cricket.html<BR>&gt;check 
  the lovely graphs<BR>&gt;collegially<BR>&gt;Trevor<BR>&gt;--<BR>&gt;Trevor G 
  BOND Ph D<BR>&gt;Professor and Head of Dept<BR>&gt;Educational Psychology, 
  Counselling &amp; Learning Needs<BR>&gt;D2-2F-01A EPCL Dept.<BR>&gt;Hong Kong 
  Institute of Education<BR>&gt;10 Lo Ping Rd, Tai <st1:place 
  w:st="on">Po</st1:place><BR>&gt;New Territories <st1:place w:st="on">HONG 
  KONG</st1:place><BR>&gt;<BR>&gt;Voice: (852) 2948 8473<BR>&gt;Fax: (852) 2948 
  7983<BR>&gt;Mob:<BR>&gt;<BR>&gt;_______________________________________________<BR>&gt;Rasch 
  mailing 
  list<BR>&gt;Rasch@acer.edu.au<BR>&gt;http://listserv3.acer.edu.au/mailman/listinfo/rasch<BR>&gt;<BR>&gt;<BR>&gt;_______________________________________________<BR>&gt;Rasch 
  mailing 
  list<BR>&gt;Rasch@acer.edu.au<BR>&gt;http://listserv3.acer.edu.au/mailman/listinfo/rasch<BR>&gt;<BR>&gt;<BR>&gt;<BR>&gt;FAMILIA 
  DE PROGRAMAS KALT.<BR>&gt;Mariano Jiménez 1830 A<BR>&gt;Col. Balcones del 
  Valle<BR>&gt;78280, <st1:State w:st="on"><st1:place w:st="on">San Luis 
  Potosí</st1:place></st1:State>, S.L.P. México<BR>&gt;TEL (52) 44-4820 37 88, 
  44-4820 04 31<BR>&gt;FAX (52) 44-4815 48 48<BR>&gt;web page (in Spanish AND 
  ENGLISH): 
  http://www.ieesa-kalt.com<BR>&gt;<BR>&gt;<BR>&gt;---------------------------------<BR>&gt;Yahoo! 
  Photos<BR>&gt; Ring in the New Year with Photo Calendars. Add photos, events, 
  holidays,<BR>whatever.<BR>&gt;<BR>&gt;_______________________________________________<BR>&gt;Rasch 
  mailing 
  list<BR>&gt;Rasch@acer.edu.au<BR>&gt;http://listserv3.acer.edu.au/mailman/listinfo/rasch<BR><BR>Tim 
  Pelton<BR>Assistant Professor<BR>Department of Curriculum and 
  Instruction<BR><st1:place w:st="on"><st1:PlaceType 
  w:st="on">University</st1:PlaceType> of <st1:PlaceName 
  w:st="on">Victoria</st1:PlaceName></st1:place><BR><st1:address 
  w:st="on"><st1:Street w:st="on">PO Box</st1:Street> 3010</st1:address> STN 
  CSC<BR><st1:State w:st="on"><st1:place 
  w:st="on">Victoria</st1:place></st1:State> BC V8W 3N4<BR>Phone: 
  (250)721-7803<BR>Fax (250) 721-7598<o:p></o:p></SPAN></FONT></P></BLOCKQUOTE>
<P class=MsoNormal style="MARGIN-BOTTOM: 12pt"><FONT face="Times New Roman" 
size=3><SPAN style="FONT-SIZE: 12pt"><BR><BR><o:p></o:p></SPAN></FONT></P>
<DIV>
<P class=MsoNormal><STRONG><B><FONT face="Times New Roman" color=#0000bf 
size=3><SPAN style="FONT-SIZE: 12pt; COLOR: #0000bf">FAMILIA DE PROGRAMAS KALT. 
</SPAN></FONT></B></STRONG><o:p></o:p></P></DIV>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">Mariano Jiménez 1830 A 
<o:p></o:p></SPAN></FONT></P></DIV>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">Col. Balcones del Valle 
<o:p></o:p></SPAN></FONT></P></DIV>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">78280, <st1:State w:st="on"><st1:place w:st="on">San 
Luis Potosí</st1:place></st1:State>, S.L.P. México 
<o:p></o:p></SPAN></FONT></P></DIV>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">TEL (52) 44-4820 37 88, 44-4820 04 31 
<o:p></o:p></SPAN></FONT></P></DIV>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">FAX (52)&nbsp;44-4815 48 48 
<o:p></o:p></SPAN></FONT></P></DIV>
<DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt">web page (in Spanish AND ENGLISH): <STRONG><B><FONT 
face="Times New Roman" color=#c00000><SPAN 
style="COLOR: #c00000">http://www.ieesa-kalt.com</SPAN></FONT></B></STRONG><o:p></o:p></SPAN></FONT></P></DIV>
<DIV class=MsoNormal style="TEXT-ALIGN: center" align=center><FONT 
face="Times New Roman" size=3><SPAN style="FONT-SIZE: 12pt">
<HR align=center width="100%" SIZE=1>
</SPAN></FONT></DIV>
<P class=MsoNormal><FONT face="Times New Roman" size=3><SPAN 
style="FONT-SIZE: 12pt"><BR>What are the most popular cars? Find out at <A 
href="http://us.rd.yahoo.com/evt=38382/_ylc=X3oDMTEzNWFva2Y2BF9TAzk3MTA3MDc2BHNlYwNtYWlsdGFncwRzbGsDMmF1dG9z/*http:/autos.yahoo.com/newcars/popular/thisweek.html%20%0d%0a">Yahoo! 
Autos</A> <o:p></o:p></SPAN></FONT></P></DIV></BODY></HTML>