こんにちは。株式会社アシッドハウスの芦田哲也です。
ネットを見ていると「AIに聞けば調べものは一瞬」「もう検索はいらない」のような話を見かけませんか？
確かにAIはどんな質問にもすぐそれらしい答えを返してくれる。忙しい社長にはありがたい。
でもその答えをそのまま使っていいのかは分からない。数字は合っているのか。出どころはどこなのか。確かめようにも時間がない。
このままだと間違った数字や古い情報がそのまま見積もりやお客さんへの説明に紛れ込みます。逆に答えの受け取り方を決めておけばAIの速さを使いながら大きな間違いを防げます。
そこでこの記事ではAIの答えを受け取るときの点数の置き方と、確かめ方を説明します。読み終わるころにはどの答えをどこまで確かめればいいかが分かります。
結論を言うとAIの答えに満点を置かないでください。最初は50点で受け取ります。
AIの答えは満点ではなく50点に置く
私は情報を信じるときどれほど確かそうに見えても満点を100点にしません。50点に置いて残りの50点は間違っている可能性として常に残しておきます。
疑い深くなれと言っているのではありません。一つの答えに寄りかからないための安全策です。AIは言い切りの口調で答えます。そして流ちょうに書かれているほど正しく見えます。でも書き方のうまさと中身の正しさは別です。
つまりこういうことです。
AIの答えは「下書き」であって「事実」ではない。
AIの答えが正しいか確かめる3つの方法
- 出どころをたどる：「どこに書いてあるか」をAIに聞き、元のページや資料を自分の目で開く
- 数字は別のものと突き合わせる：金額・数量・日付は元の表や別のAIで照らし合わせる
- 分からないものは分からないままにしておく：確かめられなかったことを無理に決めず「未確認」として残す
特に気をつけたいのが数字です。以前に比べてAIの数字の間違いはずいぶん減りました。それでも本当に合っているかは一つずつ見ないと分かりません。全部を人の目で見るのが大変なら作ったAIとは別のAIに数字だけを照らし合わせてもらう方法もあります。
どこまで確かめるかは失敗したときの損で決める
全部を同じように確かめる必要はありません。社内のメモ書きなら50点のままでかまいません。お客さんに出す見積もり・お金や契約に関わる数字は必ず確かめます。間違えたときに失うものが大きいほど点数を上げてから使う。この順番を決めておけば確かめる時間も無駄になりません。
ちょっと考えてみてください。最近AIの答えをそのまま使った場面でもし間違っていたら何が起きていたでしょうか？ 困ることが思い浮かぶならそれは確かめるべき答えでした。
取るべき行動：次にAIに調べものを頼んだら、答えの最後に「出典を付けて」と書き足してください。お客さんやお金に関わる答えだけは出典を自分で一つ開いて確かめます。50点で受け取って必要なものだけ確かめれば、AIの速さと正確さを両立できます。
これからの大事なキーワードは『50点で受け取る』です。
Hi, I'm Tetsuya Ashida of ACIDHOUSE, INC.
Have you seen claims online like "just ask AI and your research is done in seconds" or "you don't need search anymore"?
It's true that AI returns a plausible answer to any question instantly. For a busy owner, that's a blessing.
But you don't know whether you can use that answer as is. Are the numbers right? Where did it come from? You'd check, but you don't have the time.
If this continues, wrong figures and outdated information will slip straight into your quotes and your explanations to customers. But if you decide how to receive answers, you can use AI's speed while avoiding big mistakes.
So in this article I'll explain how to score AI's answers when you receive them, and how to check them. By the end you'll know which answers to check, and how far.
The bottom line: never give AI's answers a perfect score. Start by taking them at 50 points.
Score AI's answers at 50, not 100
However reliable a piece of information looks, I never give it 100 points. I put it at 50 and always keep the other 50 as the chance that it's wrong.
I'm not telling you to be suspicious of everything. It's a safety measure so you don't lean your whole weight on one answer. AI answers in a confident tone, and the more fluently something is written, the more correct it looks. But how well something is written and whether it's true are two separate things.
In other words:
AI's answer is a "draft," not a "fact."
3 ways to check whether AI's answer is right
- Trace the source: ask AI "where does it say that?" and open the original page or document yourself
- Cross-check numbers against something else: compare amounts, quantities and dates with the original table or another AI
- Leave what you don't know as unknown: don't force a conclusion on what you couldn't verify. Keep it marked "unconfirmed"
Be especially careful with numbers. AI makes far fewer numerical mistakes than it used to. Even so, you can't know whether they're truly right without checking them one by one. If checking everything by eye is too much, you can have a different AI from the one that produced the answer cross-check just the numbers.
Decide how far to check by what a mistake would cost
You don't need to check everything to the same degree. An internal memo can stay at 50 points. Quotes going to customers and figures involving money or contracts must always be checked. The more you'd lose if it were wrong, the higher you raise its score before using it. Set that order, and you won't waste time checking either.
Think about it for a moment. In a recent case where you used AI's answer as is, what would have happened if it had been wrong? If you can picture trouble, that was an answer you should have checked.
What to do: The next time you ask AI to research something, add "include your sources" to the end of your request. For answers involving customers or money only, open one of the sources yourself and check it. Take answers at 50 points and verify only what you need, and you can have both AI's speed and accuracy.
The key phrase from here on: "take it at 50 points."