はじめに
2024年12月7日。
JDLA Generative AI test 2024#2を受けてきました。
その時の感想とかを書いていきます。
ただし、試験内容についてはあまり深くは書けません。
JDLAより、試験前の注意事項の中に
「試験内容の著作権はJDLAに帰属しており、これを記録したり、文書、口頭等により開示は禁止とする」
のような禁止事項があり、この制約で情報開示は限定的になります。
これを破った場合は、合格取り消しとかあるようです。
自動車免許、医師免許、弁護士免許のようなものではないので、
合格を取り消されてもあまり問題ではないのですが、
禁止されていることを積極的に破るつもりもないです。
とはいえ、試験内容に触れず、自分自身が何をやったのか、何を感じたかは語れると思うので、
そういった話で良ければ見て行ってください。
おおよそ以下を説明します。
- Generative AI Testのおおよその特徴
- テキスト、問題集
- 合格通知
- 私が行った対策
- なんとなくヤバかった点
類似検定
G検定
Generative AI testの主催であるJDLAの検定。
たぶん本検定よりも、G検定の方が有名だと思う。
過去問っぽい問題集
実は自作問題集を作ってます。
が、この問題集は受験前にシラバスの用語を元に作ったもので、
実際の試験内容を反映したものではないです。
が、知識の確認や多肢選択式に慣れるという意味では効能はあると思います。
(まぁ、この問題集がほぼ解けるレベルになっていれば、実際の試験の合格ラインは余裕で超えてると思いますが・・・。)
あと、GUGA生成パスポート試験の問題集もあるので、併用すると良いかも。
動画とか
実は、2024#1を受験した知人の情報を元にシナリオを起こして、解説動画は作ってます。
(なぜか受験前に解説動画が上がっている状態…。先に動画作ったから受験が比較的余裕になったという説も…。)
Generative AI Test
Generative AI Testについてですが、
ぶっちゃけ公式ページを見るのが早いです。
特徴としては、以下になります。
- 20問、20分と短めの検定。
- よって1問1分のペース配分になる。
- 多肢選択式の問題が出てくる。
- オンライン受験でPCだけでなく、スマホからの受験もOK
- 受験費用は2,200円とかなりお安め
尚、20問中1問は記述式の問題なので、少し時間が取られます。
記述式問題を4分で解くとして、残り19問を16分で解くつもりのペース感の方が良さそうです。
(50秒/問のペース)
Generative AI Testの実施日
これも公式ページを見ればOKなのですが、
公式ページは直近の試験日の話しか載っていません。
(タイミングによっては前回の試験日が載っているのみで、次回の試験日も載っていないことも・・・。)
今後変わる可能性は高いですが、
6月と12月に1回ずつ実施の年2回が現状の頻度です。
というわけで、試験日に合わせて対策をしておかないと、
次の試験は半年後ということになります。
合格率
まだ4回目の試験であり、明確な合格率も語れない感じですが、以下のようになっています。
- 2023#1は73.89%
- 2023#2は63.78%
- 2024#1は71.10%
- 2024#2は70.07%
受験者の性質にも左右されそうですが、
70%あたりを狙ってそうな試験です。
結果レポート
合格不合格問わず、結果レポートを貰えます
各カテゴリの正解率が分かる程度で、私の場合は以下になっていました。
- 生成AIの技術 71%
- 生成AIの利活用 100%
- 生成AIのリスク 100%
ケアレスミス(不適切なものを選べで適切なものを選んでしまった系)で2問落としているのはわかっていましたが、
たぶんその2問が「生成AIの技術」に該当していると思います。
合格ライン
合格ラインは公開されていません。
が、知人が数名同じタイミングで受けていたので、それを元に推察してみましょう。
各カテゴリ別に正解率の通知が来るので、それをベースに見て行きます。
まず、各カテゴリの出題数ですが、知人たちの正解率を見比べた結果、以下の配分で共通しているようです。
- 生成AIの技術 7問
- 生成AIの利活用 7問
- 生成AIのリスク 6問
(じゃないとパーセンテージの端数の出方の辻褄があわない)
それでは、合格者の中で最も得点率が低いAさんと、
不合格者の中で最も各得点が高いBさんを比べてみましょう。
Aさんの結果
- 生成AIの技術 86% 恐らく7問中6問正解
- 生成AIの利活用 71% 恐らく7問中5問正解
- 生成AIのリスク 83% 恐らく6問中5問正解
- 計 20問中16問正解
恐らく、正答率は80%
Bさんの結果
- 生成AIの技術 43% 恐らく7問中3問正解
- 生成AIの利活用 86% 恐らく7問中6問正解
- 生成AIのリスク 100% 恐らく6問中6問正解
- 計 20問中15問正解
恐らく正答率は75%
これらから、80%に合否ラインがありそうです。
問題は20問なので、16問正解すればOKということになります。
つまり4問は間違ってもOK。
ただし、合否ライン、各カテゴリの出題数については、
毎回一緒な保証はないので、参考程度と思ってください。
一応、上記を私の結果に当てはめると、
- 生成AIの技術 71% 恐らく7問中5問正解
- 生成AIの利活用 100% 恐らく7問中7問正解
- 生成AIのリスク 100% 恐らく6問中6問正解
- 計 20問中18問正解
恐らく正答率は90%
やはりケアレスミスした2問が間違っていたか…。
ちなみに、2024#1で同じように問題数を推測すると以下にようになります。
- 生成AIの技術 7問
- 生成AIの利活用 5問
- 生成AIのリスク 8問
この時の合格ラインとしては少し情報不足で
75%～80%という推測になっています。
(まぁ、80%と思っておいた方が良いでしょう。)
テキストや問題集など
一般的に、検定といえばテキストと問題集の話が出てくるのですが、
残念ながら、現時点で公式のテキストや問題は存在しません。
代替としてはGUGAの生成AIパスポート試験のテキストと問題集を使うのはアリと言えばアリですが、
出題範囲や問題の性質は大きく異なる可能性が高く、
強く推奨はできない状態です。
ただ、知識を構造的に説明している書物も無い以上、藁にでもすがるつもりで利用するイメージになります。
一部、格安問題集のようなものも出ているのでリンクだけ張っておきます。
生成AIパスポート公式テキスト 第２版
生成ＡＩパスポート テキスト&問題集
一発合格 Generative AI test攻略本
Generative AI Test 模擬問題集: 生成AI入門者向け基礎固めの決定版
合格通知
受験後2週間程度で合格通知が届きます。
届くと言うと若干語弊があり、
実際には、IBT受験のマイページの受験結果で合否の確認が取れます。
私が行った対策
向き不向きはあると思うので、参考程度で見てください。
対策の流れとしては以下です。
- GUGA 生成AIパスポート試験のテキストと問題集でおおざっぱに生成AIやそれにまつわる課題を認識
- JDLA Generative AI Testのシラバスを元に語彙力を高める
- 自分で問題作って自分をだます。(GAN方式？)
生成AI関連の書籍は多いですが、
構造的に説明してくれているのはやはり生成AIパスポート試験のテキスト、問題集です。
当然、これで対策はできないのですが、大枠の知識は欲しいので、その部分をこれで実施してます。
大枠の知識が付いたところで、シラバスの用語に着目します。
生成AIパスポート試験の範囲で語られているものもあれば、そうでないものも多いです。
ここの知識の穴を埋めて語彙力を引き上げます。
と、ほとんどの人はここまでの対策で十分な気はします。
私の場合は、ここから少し踏む混んで、自分をだますための問題集を自作しました。
※ 問題集は公開してます。が、自己学習用の問題集のため、実際の検定の出題方針と一致している保証は全くありません。シラバスを元にしているので網羅性はあります。
GUGA生成パスポート試験の自作問題集もあるので、併用すると良いかも。
問題を解くというよりも、問題を作ることが重要で、
正解の選択肢は、正解な理由があって正解なのは当然のことながら、
不正解の選択肢も、不正解な理由が必要です。
これらを全て調べながら問題を作れば、これ以上の対策はないでしょう。(たぶん)
そして、自分をだますことを主眼に於いて作っていった結果として、気が付いてたら、ChatGPTやCopilotも騙せるレベルの問題に・・・。
ちなみに、ChatGPTやCopilotに誤答させるのは比較的簡単です。
単に「透明性」を聞くのではなく、「透明性」と「リスク」について聞くと、
現行のLLMの性質としては、「リスク」に重きを置いた回答をしやすいです。
これは至極真っ当な挙動で、多少無関係でもそこにリスクがあるならばリスクとすべし。
という反応です。
一般的な対応としては正しいでしょう。
しかし、試験問題の回答としては間違いになります。
という感じでLLMをだませるレベルに到達しましょー(ウソです。趣旨が変わりすぎ・・・。)
なんとなくヤバかった点
いろいろ対策はしましたが、やはり何がヤバいかと言うと、
「多肢選択式の問題が出てくる。」という事実が最もヤバいです。
択一式であれば、先頭の方に明らかな正解があれば、それでその問題は終了なのですが、
多肢選択式は、全ての選択肢の正否を判定する必要があります。
つまり、全選択肢を隈なく読んで、判定する必要があるのです。
これにより、1問あたりの浪費時間が増える傾向がありますし、
ちょっと勘違いしただけで誤答扱いです。
よって、多肢選択式は事前に慣らして、
問題や選択肢を読む速度をある程度鍛えておいた方が安全です。
あと、詳細な説明は避けますが、あまりカンペは機能しないと思った方が良いです。
少なくとも用語ベースのカンペはほぼ機能しません。
総合的な知識を元に取捨選択していく感じなので、この手の問題に有効なカンペというもの難しいでしょう。
カンペを作ってもOKだと思いますが、それは本番用のカンペではなく、
自分の頭の中の知識の地図を整理し描いたカンペであるべきでしょう。
(こんなカンペ作れたら、本番ではもうそれを見なくても解けちゃいそう・・・。)
まとめ
- JDLA Generative AI Testの受験記。
- JDLAからの制約事項の都合、開示できる情報には限りがある。
- テキスト、問題集は無いので、生成AIパスポート試験のもので代替。
- その後にシラバスを元に語彙力アップ。
- 自作問題作ってパワーアップ。(自作問題集は公開してます。)
- 用語ベースのカンペを作って対応できる感じではない。
AI白書
ディープラーニングG検定（ジェネラリスト）法律・倫理テキスト
生成AIパスポート公式テキスト
生成ＡＩパスポート テキスト&問題集
一発合格 Generative AI test攻略本
Generative AI Test 模擬問題集: 生成AI入門者向け基礎固めの決定版
コメント