最初は、問題をその場でAIに作らせる設計だった
ワードバトルは、中学生・高校生向けの5教科のクイズアプリです。制限時間つきで、4択の問題に答えていきます。
最初の設計では、バトルのたびに、AIにその場で10問を作らせる仕組みでした。6月16日、それを動かすために、AIのサービスに料金を前払いする画面まで進みました。AIの説明では、1回あたり0.1〜0.3円ほど。少額です。
そこで、私はこう伝えました。
「ワードバトルは、ユーザー数1000万人を目指して作ってもらったアプリです。使う人が増えるほど費用がかかる形は避けたい」
1000万という数字は、このアプリを頼んだ日に私が出した目標です。
AIの答えは明快でした。今の形のままだと、利用者に比例して費用が増える。だから、問題を前もって作ってアプリの中に入れておき、そこから出題する形に変えましょう。これなら費用は作るときの1回だけで、使う人が何人に増えてもかかりません。
この日、最初に入れたのは225問でした。5教科×3段階の難易度に、15問ずつです。
「5000問作ってください」
翌日、225問を入れた版が審査を通りました。スマホで遊ぶと、問題の種類が増えて、ぐっと良くなっていました。
うれしくなって、私は頼みました。「このアプリ用に5000問作ってください」
返ってきたのは、こういう趣旨の答えでした。
5000問を一度に書くと、とくに数学・理科・歴史で、間違った正解が紛れ込む危険が高くなる。教育アプリで答えが間違っているのは致命的なので、ここは慎重にいきたい。
AIは代わりに、別の仕組みで自動で大量に作る方法を勧めてくれました。ただ私は、何回かに分けて増やしていくほうが、最終的に確実だと考えました。そこで「1回500問ずつ」でお願いしました。
「700問」のつもりが、「350問ずつ」に
その日の夜、次の相談をしました。「明日も700問ほど追加したい」
AIの答えは、また慎重でした。700問を一度に作ると、誤りが紛れ込む危険が上がる。確実さを優先するなら、350問ずつ2回に分けるのが安全です。
翌朝、私はこう返しました。「スモールステップで、質の高い確実な問題を揃えたいので、350問ずつでお願いします」
それからは、350問ずつが決まりになりました。
作るたびに、少しずつ数が減った
おもしろいことに、作った数と、増えた数が、毎回少しだけ合いませんでした。
| 版 | 作った問題 | 合計 | メモ |
|---|---|---|---|
| 1.0.2（6/16） | 225問 | 225問 | 最初の問題 |
| 1.0.3（6/17） | 約500問 | 718問 | 「次のうち偶数はどれ？」が前の問題とダブっていて、自動で外れた |
| 1.0.4（6/18） | 約360問 | 1,077問 | 「空気中の音の速さは約？」がダブっていて、外れた |
| 1.0.7（6/22） | 360問 | 1,437問 | 応用・発展の問題。今回はダブりなし |
問題を足すたびに、選択肢が4つあるか、正解があるか、前の問題と同じものがないかを、自動で確かめる仕組みを通していました。ダブった問題が見つかると、その場で外れます。
数学・理科・歴史の答えは、AIが1問ずつ確かめたと説明してくれました。
問題を足すたびに、アプリの更新と審査
問題をアプリの中に入れる形にしたので、問題を足すたびに、アプリを作り直して、Google の審査に出す必要がありました。
夜に問題を作って審査に出す。翌朝か翌日に審査が通る。スマホでアップデートして、問題が増えたことを確かめる。
6月16日から24日までの9日間で、1.0.2 から 1.0.7 まで、6つの版を出しました。その間には、間違えたときに正解を表示する機能や、ランキングの改善も入っています。
1,000問を超えると、定番の問題が尽きてきた
1,077問まで来たところで、AIからひとつ報告がありました。
基本的な定番の問題は、かなり出し尽くしてきた。 このまま同じ配分で増やすこともできるが、特定の科目を重点的に増やすか、応用・発展の問題を混ぜて変化をつける手もある、と。
私は「応用・発展の問題を織り交ぜて」と頼みました。次の360問には、文章題、実験の結果から考える問題、古文の文法、出来事を時代の順に並べる問題などが入りました。
手元で試して、発展の問題が出てきて、学習の効果をさらに高める形になっていると実感できました。
その後
その後も少しずつ増やし続けて、8月末に製品版の申請をしたときには、2,877問になっていました。
振り返ると、「5000問作って」と頼んだときに、AIが「作れます」とだけ答えていたら、と思います。一度に5000問が入ったアプリは、見た目には立派です。でも、その中に間違った正解がいくつ紛れ込んでいたか、確かめようがありませんでした。
AIは、できることだけでなく、危ないことも教えてくれました。 それを聞いて、分けて進めると決めたのは私です。350問ずつにしたから、毎回スマホで遊んで確かめられました。
量を急ぐより、確実に積み上げる。勉強アプリの問題づくりも、勉強そのものと同じでした。
この記事のアプリ：ワードバトル（紹介ページ）
コメント