自己採点と実際の点数の比較
gawaさん
(No.1)
自己採点と実際の点数を比較してみました。自己採点の配点は某社さんのものを使わせてもらいました。記述問題は、部分点ありで採点しました。
=========================
午後1
自己採点 71点(問1:40点 問3:31点)
実際 88点
午後2
自己採点 64点(設問1:17 設問2:13 設問3:34)
実際 63点
=========================
以下、私の独断と偏見による考察ですので、鵜吞みにするかの判断は自己責任でお願いします
・記述解答はIPAの解答例の通りでなくとも、趣旨が合って入れば多少言葉足らずでもかなり点数をくれている感じがする。5点満点なら4点とか。
・午後1を甘めに採点したとして、88点には届いていない。問1,2,3の受験者全体の出来をみたところで、平均・標準偏差が適当になるように配点調整された可能性は高い。
・巷では、”下駄”をはかせて点数底上げすることもあると噂があるが、公開されている得点分布の統計で「0~9点」にそれなりに人数がいるので、「一律xx点の下駄をはかせる」みたいなことは、やってないはず。あくまで配点の塩梅で調整しているようにみえる。
・推測だが、講評で、「出来が平均的」であれば、当初想定していた配点からあまり変えてない。「全体的に正答率は高い」「全体的に正答率は低い」のときは、平均・標準偏差を調整するべく配点をいじってる可能性がある。
=========================
午後1
自己採点 71点(問1:40点 問3:31点)
実際 88点
午後2
自己採点 64点(設問1:17 設問2:13 設問3:34)
実際 63点
=========================
以下、私の独断と偏見による考察ですので、鵜吞みにするかの判断は自己責任でお願いします
・記述解答はIPAの解答例の通りでなくとも、趣旨が合って入れば多少言葉足らずでもかなり点数をくれている感じがする。5点満点なら4点とか。
・午後1を甘めに採点したとして、88点には届いていない。問1,2,3の受験者全体の出来をみたところで、平均・標準偏差が適当になるように配点調整された可能性は高い。
・巷では、”下駄”をはかせて点数底上げすることもあると噂があるが、公開されている得点分布の統計で「0~9点」にそれなりに人数がいるので、「一律xx点の下駄をはかせる」みたいなことは、やってないはず。あくまで配点の塩梅で調整しているようにみえる。
・推測だが、講評で、「出来が平均的」であれば、当初想定していた配点からあまり変えてない。「全体的に正答率は高い」「全体的に正答率は低い」のときは、平均・標準偏差を調整するべく配点をいじってる可能性がある。
2022.12.27 14:58
にゃんちゃんさん
★DB シルバーマイスター
(No.2)
僕も午後1(設問2,3)で83点でしたが
自己採点では某社の解答速報の配点で55~65点でした。
午後2は想定通りの点数ですが、午後1は当落線上だと思っていたので予想外でした。
回答用紙には採点者が点数を記載するのであろう欄がすみっこにあったので
個人的には
①1枚の答案を2名で採点(判断に迷うものはエスカレーション)
②2名で正誤が一致したら点数を記入
③機械で全回答用紙の点数読取
④通常の採点であまりにも得点分布が偏る場合(合格率5%以下とか40%以上とか)
得点調整の会議
⑤以下のような点数調整をする
10点以下と90点以上は変化させない(合否確定)
ボリューム層を+1点ずつ調整、15%~20%程度が合格するところで確定
みたいな感じかなあと勝手に想像してました。
問題間の難易度調整とか、各受験者の各設問ごとに採点データベースみたいなものに登録して問題ごとに配転を変えるとかは
かなりリソースに無理がありそうだなあと。
まあ上記の⑤みたいな単純な調整で僕の60点が80点になったんだとすると
およそ全体を20点底上げしたことになって、30点台あたりは誰もいなくなっちゃいますね。
中央値付近をより重みづけするような上げ方でもしてるんでしょうか。
来年も同じロジックにするのかは分からないですし、そもそも点数調整している前提で考察していいのかも分かりませんが...。
自己採点では某社の解答速報の配点で55~65点でした。
午後2は想定通りの点数ですが、午後1は当落線上だと思っていたので予想外でした。
回答用紙には採点者が点数を記載するのであろう欄がすみっこにあったので
個人的には
①1枚の答案を2名で採点(判断に迷うものはエスカレーション)
②2名で正誤が一致したら点数を記入
③機械で全回答用紙の点数読取
④通常の採点であまりにも得点分布が偏る場合(合格率5%以下とか40%以上とか)
得点調整の会議
⑤以下のような点数調整をする
10点以下と90点以上は変化させない(合否確定)
ボリューム層を+1点ずつ調整、15%~20%程度が合格するところで確定
みたいな感じかなあと勝手に想像してました。
問題間の難易度調整とか、各受験者の各設問ごとに採点データベースみたいなものに登録して問題ごとに配転を変えるとかは
かなりリソースに無理がありそうだなあと。
まあ上記の⑤みたいな単純な調整で僕の60点が80点になったんだとすると
およそ全体を20点底上げしたことになって、30点台あたりは誰もいなくなっちゃいますね。
中央値付近をより重みづけするような上げ方でもしてるんでしょうか。
来年も同じロジックにするのかは分からないですし、そもそも点数調整している前提で考察していいのかも分かりませんが...。
2022.12.28 10:22
gawaさん
(No.3)
>回答用紙には採点者が点数を記載するのであろう欄がすみっこにあったので
回答用紙を見てみたら、確かに意味ありげな空欄がありました。午後1で2つ、午後2で3つ。複数人で採点している説濃厚ですね。
>10点以下と90点以上は変化させない(合否確定)
上位&下位xx%タイルは合否確定した後に調整、はあり得そうです。なるほど。
>ボリューム層を+1点ずつ調整、15%~20%程度が合格するところで確定
IPAは採点業務の一部をアウトソーシングしてるっぽいので、採点対象枚数を減らすべく、まず午後1で通過率40-50%に調整して、午後1通過者のみ午後2の採点してるように思います。毎年、午後1と午後2各々の通過率40-50%程度で推移していた記憶があります。なので、
午前1・2で合わせて80%弱
午後1で 40-50%
午後2で 40-50%
トータルで合格率は15-20%・・・みたいな感じですかね。
2022.12.28 15:25
再来年受験さん
(No.4)
gawaさん(No.3)
IPA 採点 調達
で検索すると入札広告がいくつもでてきます。
採点を請負業者に出しているのでしょうね。
請負業者や派遣職員が採点しているということは事実でしょうから、そういった実務者が正解とみてくれるような解答を意識した方がよさそう。
今回のDBでは午後満点の方がおられたので是非意見を伺いたいところです。
>IPAは採点業務の一部をアウトソーシングしてるっぽい
IPA 採点 調達
で検索すると入札広告がいくつもでてきます。
採点を請負業者に出しているのでしょうね。
請負業者や派遣職員が採点しているということは事実でしょうから、そういった実務者が正解とみてくれるような解答を意識した方がよさそう。
今回のDBでは午後満点の方がおられたので是非意見を伺いたいところです。
2022.12.31 14:12
GinSanaさん
★DB ゴールドマイスター
(No.5)
昔、150人くらいリストに上がってた作問者(そのなかで、たまたま高木浩光だけは知ってた・・・)がまじめに丸つけてるんかと思ってました。まあ、本業もあるからそりゃ無理か。
30字くらいの設問ならまあバイトだろうが外部業者だろうが丸つけてても気にしないけど、70-100字(昔SCであった)とか、論文で外部に読ませて判定させてたら、なんかやだな。そのくらいは作問者がまじめに読んでほしい。
※外部業者の人間が実務者かどうかは関係ないとは思う 自分のカンでマルつけられても困るので
30字くらいの設問ならまあバイトだろうが外部業者だろうが丸つけてても気にしないけど、70-100字(昔SCであった)とか、論文で外部に読ませて判定させてたら、なんかやだな。そのくらいは作問者がまじめに読んでほしい。
※外部業者の人間が実務者かどうかは関係ないとは思う 自分のカンでマルつけられても困るので
2022.12.31 17:24
gawaさん
(No.6)
外注する作業内容は、受験者の答案の内容を、エクセルに書き出していくような単純入力作業なんじゃないかなと推測します。紙のままだと、採点も大変ですし、得点調整のときもめんどくさいので。そのエクセルに採点結果をいれてって集計したり統計とったりしてるのかなと。
少なくとも記述形式の問題は、データ化したエクセルをもとに、IPAプロパーの然るべき立場の方が採点を行うのではないかと思っています(そうでないと、採点者によってばらつきますしね)。
少なくとも記述形式の問題は、データ化したエクセルをもとに、IPAプロパーの然るべき立場の方が採点を行うのではないかと思っています(そうでないと、採点者によってばらつきますしね)。
2023.01.06 12:29
来年受験さん
(No.7)
私は採点者によるばらつきがあるのではと思っています。どのような人が、どのように採点しているのか考えてみることは、自己採点と採点の乖離の原因を考えることにもつながるものと思います。
更に合格率の調整もありそうで、これは採点というよりも集計でしょうかね。
来年目指してコツコツ修行します。
更に合格率の調整もありそうで、これは採点というよりも集計でしょうかね。
来年目指してコツコツ修行します。
2023.01.07 08:48
返信投稿用フォーム
スパム防止のためにスレッド作成日から30日経過したスレッドへの投稿はできません。