<div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>Dear colleagues, <?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" /><o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt"
 class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>&nbsp;<o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>I have a bit similar problem as Purya is
 having.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>In my case, I am dealing with a dataset based on a performance appraisal practice.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>I analyzed this dataset based on a Multifaceted Rasch model with the partial credit model, including evaluator,
 ratee, and item facets.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>Twenty items were involved in this appraisal.<o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT
 face=Arial>&nbsp;<o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>The problems I am having are:<o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN
 style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>(1) only the top three categories out of the five categories were used for ratings (The distributions of ratings were heavily and negatively skewed.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>Over 70% of evaluators used the fifth
 category to rate ratees for some items.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>There were many inversions of average category measures for the first and second lowest rating categories); and<o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR:
 black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>(2) the map of measure estimates showed that ratee measures were far greater than item measures, which makes it difficult to differentiate ratee competencies.<SPAN style="mso-spacerun: yes">&nbsp;&nbsp; </SPAN><o:p></o:p></FONT></SPAN></div> 
 <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>&nbsp;<o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>My task is to
 find solutions to these problems, and I am looking for any studies that were successful in improving existing rating scale points, ideally for performance assessment practices.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>I have read several articles about creating effective rating scales.<SPAN
 style="mso-spacerun: yes">&nbsp; </SPAN>All of them provided with guidelines for creating rating scales, as Dr. Stone previously posted in this discussion forum, but I was not able to find studies that actually used the guidelines and improved existing ratings scales in a real setting. <SPAN
 style="mso-spacerun: yes">&nbsp;</SPAN>I would use those studies as templates to improve the performance-rating tool that I am investigating.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>Thank you very much in advance.<SPAN style="mso-spacerun: yes">&nbsp;&nbsp;
 </SPAN><o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>&nbsp;<o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size:
 10.0pt"><FONT face=Arial>Sincerely,<o:p></o:p></FONT></SPAN></div>  <div style="MARGIN: 0in 0in 0pt" class=MsoNormal><SPAN style="COLOR: black; mso-bidi-font-size: 10.0pt"><FONT face=Arial>&nbsp;<o:p></o:p></FONT></SPAN></div><SPAN style="FONT-FAMILY: Arial; COLOR: black; FONT-SIZE: 12pt;
 mso-bidi-font-size: 10.0pt; mso-fareast-font-family: 'Times New Roman'; mso-bidi-font-family: 'Times New Roman'; mso-fareast-language: JA; mso-ansi-language: EN-US; mso-bidi-language: AR-SA">Kenji Yamazaki </SPAN><BR>
<BR>
<B>"Stone, Gregory" &lt;gstone@UTNet.UToledo.Edu&gt;</B> wrote:  <BLOCKQUOTE style="BORDER-LEFT: #1010ff 2px solid; PADDING-LEFT: 5px; MARGIN-LEFT: 5px" class=replbq>  <META name=Generator content="MS Exchange Server version 6.5.7653.38"><!-- Converted from text/plain format -->  <div><FONT
 size=2>The number of rating scale points should be determined both by the theory and rationale of increase from less to more, and the ability of the instrument maker to define points consistently distinguishable by respondents.&nbsp; In models that do not evaluate the use of rating scale points
 by respondents, simply adding more may lead to the faulty observation of improved precision.&nbsp; However, in reality, more does not equate to greater precision.&nbsp; The better questions to ask would be not whether moving from 5 to 8 would improve the measure, but rather:<BR>
<BR>
Are the respondents using the current 5 point scale appropriately?<BR>
<BR>
Do each of the current 5 points have clear and unique descriptors that are easy for respondents to use?<BR>
<BR>
If additional points were to be added, could they be defined and described to respondents in a way such that respondents would consistently make use of each point across the scale?<BR>
<BR>
This is likely the more critical question, assuming the first two are true.&nbsp; We can add 3 points or 30 to a scale.&nbsp; The problem is that human respondents simply cannot retain and consistently apply definitions associated with the points along lengthy, poorly defined scales.&nbsp; Only
 when each point on the scale is unambiguous does more = potentially better.<BR>
<BR>
As to the map, if there are gaps, then there are gaps in how your items cover the construct and more points will likely not solve that problem in any way.&nbsp;<BR>
<BR>
<BR>
<BR>
Gregory E. Stone, Ph.D., M.A.<BR>
<BR>
Associate Professor of Research and Measurement<BR>
Judith Herb College of Education&nbsp;&nbsp; University of Toledo, MS #921<BR>
Toledo, OH 43606&nbsp;&nbsp; 419-530-7224<BR>
<BR>
Board of Directors, American Board for Certification of Teacher Excellence&nbsp;&nbsp;&nbsp;&nbsp; www.abcte.org<BR>
For information about the Research and Measurement Programs at The University of Toledo and careers in psychometrics, statistics and evaluation, email gregory.stone@utoledo.edu.<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
-----Original Message-----<BR>
From: rasch-bounces@acer.edu.au on behalf of Purya Baghaei<BR>
Sent: Thu 12/31/2009 8:48 PM<BR>
To: rasch<BR>
Subject: [Rasch] Number of categories<BR>
<BR>
Dear colleagues,<BR>
<BR>
In a Likert scale analysis with 5 points using Rasch RSM, the map<BR>
<BR>
showed that most of the items are clustered at the lower end of the<BR>
<BR>
scale and there are only two items at the top with many respondents<BR>
<BR>
falling at the upper part of the scale where there are no items. Well,<BR>
<BR>
the solution is to add some items to cover the gap<BR>
<BR>
The other finding was that the distance between the last two<BR>
<BR>
thresholds was more than 4 logits. Although this is within the<BR>
<BR>
acceptable distance of 1.4 to 5 logits (Linacre, 1999) it's still a<BR>
<BR>
wide gap.<BR>
<BR>
I was just wondering if increasing the number of categories from 5 to<BR>
<BR>
say, 8 can solve the problem of lack of items at the upper part of the<BR>
<BR>
scale. Because it seems that respondents are capable of distinguishing<BR>
<BR>
more subtle levels of the construct at the upper end of the scale. Can<BR>
<BR>
increasing the number of categories be a substitute for writing more<BR>
<BR>
items?<BR>
<BR>
Regards<BR>
<BR>
Purya<BR>
<BR>
<BR>
<BR>
<BR>
<BR>
--<BR>
<BR>
Purya Baghaei, Ph.D<BR>
<BR>
English Department,<BR>
<BR>
Islamic Azad University,<BR>
<BR>
Ostad Yusofi Str.<BR>
<BR>
Mashad, Iran.<BR>
<BR>
Phone: +98 511 6634763<BR>
<BR>
<BR>
-------------------------------------------------<BR>
<BR>
Please consider the environment before you print<BR>
_______________________________________________<BR>
Rasch mailing list<BR>
Rasch@acer.edu.au<BR>
<A href="https://mailinglist.acer.edu.au/mailman/listinfo/rasch">https://mailinglist.acer.edu.au/mailman/listinfo/rasch</A><BR>
<BR>
</FONT></div>-------------------------------------------------  <div></div>Please consider the environment before you print _______________________________________________<BR>
Rasch mailing list<BR>
Rasch@acer.edu.au<BR>
https://mailinglist.acer.edu.au/mailman/listinfo/rasch<BR>
</BLOCKQUOTE><BR>

<div style="line-height: 0; width: 0; height: 5px; clear: both;">&nbsp;</div>
<p>&#32;



<hr size=1><a href=http://pr.mail.yahoo.co.jp/disney/ target="new">Get Disney character's mail address on Yahoo! Mail</a><br>