<html>
<body>
Juanito,<br><br>
At 14:19 30.10.2010, Juanito Talili wrote:<br>
<blockquote type=cite class=cite cite="">Is there a Rasch version to
Churchill's Paradigm <font face="Times New Roman, Times"><b>for
Developing Better Measures</b></font> </blockquote><br>
As a marketing researcher I would say yes and no.<br><br>
But first, I want to point out who Churchill is and what role his seminal
paper of 1979 has played in marketing, as I assume only few will know him
outside marketing. Up to the late 1970s measurement in marketing was
predominantely based on single items or short scales which were taken at
face value. Some sort of crude content validity if you like. During the
late 1970s it began to dawn on the scientific community in marketing that
validity has to be addressed emprically.<br>
Churchill's contribution and some more by others, which were published
around that time, have had a tremenduous influence on the way measurement
is carried out in marketing. <br>
Of course, the paper is somehow outdated by now but the basic principles
arguably haven't changed. I think one can say that Churchill made
classical test theory the state-of-the-art in marketing. <br><br>
In fact, there are some reasonable elements in Churchill's 1979 paradigm,
which have been watered down later on unfortunately (even by Churchill
himself in subsequent versions of the paradigm published in text books).
In 1979 Churchill made demands for multiple data collection during scale
development and strongly advised against early item deletion based on
factor analysis (in order to avoid capitalization on chance). He also
said each item should have an equal amount of the core of the property to
be measured. So he favoured parallel items. That could easily tested in
factor analysis, but no one ever does it. He also asked for norms to
facilite the interpretation of measures. <br><br>
Today, people routinely apply exploratory factor analysis, delete items,
then apply confirmatory factor analysis using the same data set and at
the end of the day a bundle of SEM fit statistics demonstrate that
everything is okay and measures are valid. And they get away with
it.<br><br>
Admittedly, the procedure has been refined, e.g. &quot;advanced versions
of reliability&quot; are estimated, like composite reliability or average
variance extracted. <br>
In my mind, this changes very little, as the definition of measurement is
still the one suggested by Stevens, manifest response scales are still
treated as linear interval-scaled measures, sample-dependent statistics
are used to assess precision and validity, etc.<br><br>
Surprisingly, Rasch was proposed in marketing already in the 1980s (I
know of two journal papers and one conference presentation). However, it
sparked little interest at that time. <br>
It is understandable given that Churchill's paper had been published only
a few years before. These papers were well ahead of the times.<br><br>
Since about 10 to 12 years ago several Rasch papers have been published.
So, you may say there is an alternative paradigm around.<br>
At least no one could actually say there would be no
alternative.<br><br>
However, there is a big qualification on that.<br>
If you try to publish something in marketing using Rasch, you still
encounter very strong resistance. I am sure that sounds familiar to
researchers from other disciplines.<br><br>
When you apply Rasch analysis, you always have to explain everything from
first principles and you have to justify why you use Rasch instead of
factor analysis. <br>
I think it is really bizarre: use confirmatory factor analysis, use 2 to
3 items for a latent variable (I recently read an article featuring a
study comprising 10 latent variables and a total of just 32 manifest
variables - and some of these were very questionable in terms of content
validity) - and you get away with it. Use a much more sophisticated
paradigm, and you always have to justify and defend yourself.<br>
Ironically, if you do justify and explain everything in detail, then
reviewers come up with things like &quot;not focused&quot;, &quot;I don't
believe this&quot;, &quot;I cannot find the factor loadings&quot;,
&quot;no contribution&quot; etc.<br><br>
In a recent submission on gender-based DIF, we applied Rasch measurement.
We pointed out that Rasch is superior compared to confirmatory factor
analysis based on theoretical as well pragmatic reasons. As space was
limited, we couldn't provide a comprehensive comparison of Rasch versus
CFA; and I do not see the point as this has been done before. But simply
citing other papers is not enough. And on top of that, one reviewer
explicitely asked not only for a comparison but for a specific result of
that comparison: &quot;don't turn CFA down&quot;. So much to marketing
SCIENCE. <br><br>
I also believe most editors of leading journals actually do not want to
see critical contributions of this sort. <br>
This becomes obvious by the way reviewers are chosen. Each time, we
nominated a handful of suitable reviewers, well respected scholars
knwoledgable of Rasch - but not a single one was ever chosen as a
reviewer. <br>
Recently we had three reviewers and each of them explicitely said that
they do not have a clue about Rasch measurement. This perverts the whole
review process as you do not get any valuable feedback. Just poor
nonsense.<br>
&nbsp;<br>
Anyhow, I still hope that the situation will change in the
not-too-distant the future. There are many young researchers who are much
more open-minded.<br><br>
<br>
On the MBC website
<a href="http://www.matildabayclub.net/" eudora="autourl">
www.matildabayclub.net</a> I posted a list of publications on Rasch in
marketing (follow Downloads and links and then choose the item in the
menu at the bottom).<br>
Or go directly to (then you do not have the outer frames, though): <br>
<a href="http://www2.wu.ac.at/marketing/redsys/paragraphs.php3?article_id=564" eudora="autourl">
http://www2.wu.ac.at/marketing/redsys/paragraphs.php3?article_id=564<br>
<br>
</a>If anyone knows of other Rasch papers in the Marketing/Business area,
I would highly appreciate any hint.<br><br>
Best wishes,<br>
Thomas<br><br>
<blockquote type=cite class=cite cite="">&nbsp;<br>
<font face="Times New Roman, Times"><b><br>
A Paradigm for Developing Better Measures of Marketing Constructs</b>
<br><br>
Gilbert A. Churchill, Jr.<i> <br><br>
Journal of Marketing Research</i>, Vol. 16, No. 1. (Feb., 1979), pp.
64-73.</font><font face="Times New Roman, Times" size=2> <br><br>
Stable
URL:</font><font face="Times New Roman, Times" size=2 color="#0000FF">
<br><br>
<a href="http://links.jstor.org/sici?sici=0022-2437%28197902%2916%3A1%3C64%3AAPFDBM%3E2.0.CO%3B2-A" eudora="autourl">
http://links.jstor.org/sici?sici=0022-2437%28197902%2916%3A1%3C64%3AAPFDBM%3E2.0.CO%3B2-A</a>
<br>
</font><br>
_______________________________________________<br>
Rasch mailing list<br>
Rasch@acer.edu.au<br>
Unsubscribe:
<a href="https://mailinglist.acer.edu.au/mailman/options/rasch/thomas.salzberger@gmail.com" eudora="autourl">
https://mailinglist.acer.edu.au/mailman/options/rasch/thomas.salzberger%40gmail.com</a>
</blockquote></body>
</html>