判定のしくみと限界
AI に任せていること・任せていないこと
Section titled “AI に任せていること・任せていないこと”| 判断 | 担当 | 補足 |
|---|---|---|
| いちばんの関心・関心ごとの強さ・検討の段階 | AI | 選択肢と確率だけを返します |
| 相談で話された条件(人数・住まいなど) | AI | 決まった選択肢から選ばせます |
| 表示を変えるかどうか | プログラム | 確からしさの基準と、連続の回数で決めます |
| どの訴求を出すか | プログラム | その関心の承認済みの訴求。AI は文章を選びも作りもしません |
| 金額 | プログラム | 料金表の規則で計算します |
判定に使う AI は、文章を生成しない判定専用のモデルです。答えは「どの選択肢か」「はいの確率」の形でしか返らないため、AI の出力がそのまま訪問者に表示されることはありません。
1 回の判定で AI に渡すもの
Section titled “1 回の判定で AI に渡すもの”| 項目 | 内容 |
|---|---|
| ページの説明 | 判定の設定 の page |
| 直近の行動 | 最大 12 件。「『料金表』を押した」のような短い文。伏せ字にしたあと |
| 直近のやり取り | 最大 10 件、各 300 字まで。伏せ字にしたあと |
| 最新の発言 | 訪問者の発言がきっかけの判定のとき |
氏名・連絡先・Cookie・端末の識別子・フォームの入力は渡しません。
1 回の判定で聞くこと
Section titled “1 回の判定で聞くこと”すべての問いを 1 回のリクエストでまとめて聞き、AI は並列に答えます。問いが増えても、かかる時間はほとんど変わりません。
| 問い | 答えの形 |
|---|---|
| 関心ごとに「この関心を気にしているか」 | はいの確率 |
| いちばんの関心(どれとも言えない、を含む) | 選択肢と確からしさ |
| 検討の段階(概要を知る・比べる・申し込みを考える) | 段階の値 |
| 申し込みをためらう理由がありそうか | はいの確率 |
| 条件(相談があるときだけ) | 選択肢と確からしさ、または、はいの確率 |
1 回の判定は、検証の時点でおおむね 0.2〜0.6 秒でした。タグは 1.5 秒で打ち切ります。
確からしさの読み方
Section titled “確からしさの読み方”- 選択肢の確からしさは、確率がどれだけ 1 つの選択肢に集まっているかです。正解である確率ではありません。関心が 2 つで迷っている訪問者では低く出ます。
- はいの確率が 0.5 前後なのは「どちらとも言えない」で、「関心が中くらい」ではありません。
- 基準の値(既定 0.4)は、誤って切り替えたときの損(承認済みの別の訴求が出る)と、切り替えが遅れる損を比べて決めています。サイトごとに変えられます。
誤りやすい場面と、その抑え方
Section titled “誤りやすい場面と、その抑え方”| 場面 | 抑え方 |
|---|---|
| 滞在時間だけで関心を読み違える(読んでいるだけなのか、迷っているのか) | 滞在は弱い手がかりとして「見ている」と渡し、同じ関心が 2 回続くまで切り替えません |
| 人数や台数を数え違える | 数を答えさせず、「4人」「6人以上」などの選択肢から選ばせます |
| 話に出ていない条件を推測で埋める | どの条件にも「話に出ていない」の選択肢を置き、はっきり話されたときだけ採用します(「夫が在宅勤務」だけでは世帯を 2 人と決めません) |
| 1 つの文に条件を詰め込んだ相談で、一部を拾い損ねる | 次の発言や判定で拾い直します。拾えた条件と、まだ分からない条件をプランに示します |
| 関心とは関係のない指示が相談に書かれる | 答えは選択肢の中からしか返らないので、最悪でも承認済みの別の訴求が出るまでです |
判定を確かめる方法
Section titled “判定を確かめる方法”- 判定ログ で、判定ごとに渡した内容・答え・判断の理由を確かめられます。
- 導入のときは、想定する訪問者の操作と相談を用意して試し、判断の理由がねらいどおりかを確かめます。関心や条件の問いの文面は、この結果を見て直します。