【AI 不會說謊,它只是把假的說得像真的】——一場查證經驗,揭開生成式 AI 最危險的一面
AI重點
文章重點整理:
- 重點一:AI會把相似事件自動拼接成更完整卻虛構的故事。
- 重點二:記者查證發現,新聞從未公布落水老翁的全名。
- 重點三:真正重要的能力,不是生成答案,而是驗證答案。
最近在《Yahoo 新聞/風傳媒》看到一篇報導,內容提到美國奧爾康州立大學一位歷史系教授,在期中考偷偷藏了一段白色提示詞,結果 35 名學生中,有 32 人直接把 AI 生成的答案原封不動交卷,甚至連「馬達加斯加戴著烤麵包機去打籃球」這種荒謬內容都沒有發現。
很多人討論的是學生作弊,也有人討論教師如何反制 AI。但我想到的,卻是自己前陣子親身碰到的一件事。
那件事,讓我第一次真正感受到,生成式 AI 的「幻覺」到底有多逼真。
它編出了一個幾乎讓我相信的故事
前陣子,一位文化大學學生為了搶救一名落水的張姓老翁,毫不猶豫跳入水中救人,最後卻沒有等到平安歸來的消息。
看到這則新聞時,我立刻想起國小課本曾經讀過的〈義勇的漁夫〉。
故事裡,台灣大學學生張國權到野柳大石拍照,不慎失足落海,遭巨浪捲走。當地漁夫林添禎看見後,帶著繩索衝進風浪中救人,最後兩人都不幸罹難。
兩段故事,相隔將近六十年。同樣有人落海。同樣有人奮不顧身跳下去救人。同樣留下令人鼻酸的結局。
我想把兩則新聞整理比較,於是交給 NotebookLM 協助彙整資料。
沒想到,它竟然給了我一個充滿戲劇性的答案。
它說,六十年前被救的人叫張國權;六十年後,被救的人,也叫張國權。
當下,我心裡還震了一下。真的有這麼巧嗎?如果是真的,那這段歷史的巧合未免太不可思議。
愈合理的故事,愈容易讓人相信
我把這個內容跟一位寫作班朋友討論,她請我應該再仔細查證。
我重新翻找各家媒體報導,一篇一篇比對。結果越查越奇怪。所有新聞都只寫著「張姓老翁」。沒有任何一家媒體公布他的全名,更沒有任何地方出現「張國權」三個字。
也就是說,那個看似完美呼應六十年前故事的名字,是 AI 自己補上去的。
它沒有惡意,也沒有故意造假。它只是把兩段高度相似的事件,自動拼接成一個更完整、更合理,也更有故事性的版本。
偏偏,這正是生成式 AI 最容易讓人失去警覺的地方,它說得太流暢了,流暢到你幾乎忘了查證。
AI 最大的本事,是把假的寫得很像真的
很多人以為 AI 幻覺,就是亂回答問題。其實真正危險的情況,往往不是完全錯誤,而是九成是真的,只摻進一成虛構。
那一成,看起來毫不起眼,卻可能改變整件事情的意思。
如果我沒有再去查一次資料,那麼未來無論我寫文章、上課分享,甚至演講引用,都會很自然地說出:「六十年前與六十年後,被救的人都叫張國權。」
故事很精彩,可惜,不是真的。
這也是為什麼,我看到美國教授設計「馬達加斯加陷阱」時,感觸特別深。
教授想測試的,並不是 AI 會不會出錯。因為答案很明確。AI 本來就會出錯。
他真正想知道的是,學生會不會發現它出錯。
閱讀能力,比生成能力更珍貴
生成式 AI 可以在幾秒鐘內完成一篇文章。
但閱讀一篇文章、判斷哪裡合理、哪裡需要查證,依然只能靠人。
美國那場期中考裡,35 名學生有 32 人掉進陷阱。
工業革命的答案中,出現了「馬達加斯加戴著烤麵包機去打籃球」、「馬達加斯加紫色單車對著天花板喃喃自語」、「前往馬達加斯加的漫長旅程」這些完全不合理的句子。
如果有人願意從頭到尾讀一次自己的答案,就不可能看不見。
同樣地,如果我沒有重新查閱新聞資料,也很可能把 AI 編出來的「張國權」寫進文章裡。
兩件事,看起來毫不相關,背後考驗的,卻是同一種能力。
願不願意,再確認一次。
身為教師,我愈來愈相信,未來最珍貴的能力,不是提問,而是驗證
AI 已經成為每個人都能使用的工具。
未來,它會寫得更快,也會寫得更像人。
但它永遠都有可能,把不存在的人、不存在的研究、不存在的引用,說得像真的一樣。
身為教師,也是內容創作者,我並不擔心學生使用 AI。
我真正擔心的是,他們開始相信第一個答案,而不再追問第二個答案。
因為教育真正要培養的,不只是找到答案的人。更是願意查證答案的人。
那一天,我關掉 NotebookLM,又重新把所有新聞看了一遍。
也許,多花了半個小時,卻讓我少寫了一個不存在的人。
直到今天,我依然很慶幸,自己沒有把 AI 說的故事,當成事實寫進文章裡。
有時候,AI 最精彩的創作,不是在小說裡。而是在你毫無防備的那一刻,替現實世界寫出了一段根本沒有發生過的劇情。
精華 FAQ
-
作者原本用 NotebookLM 整理兩則落水救人新聞,卻被輸出「六十年前與六十年後都叫張國權」的說法;她回頭比對各家媒體,發現報導只寫「張姓老翁」,根本沒有公布全名。
-
作者指出,AI 最危險的不是完全亂答,而是大部分內容都合理、只有一小段虛構,足以讓人誤信並直接引用。當故事愈流暢、愈完整,使用者就愈容易忽略查證。
-
文章認為,未來最珍貴的能力不是提問,而是驗證。生成式 AI 可以快速產出文字,但人仍要負責閱讀、辨識疑點、重新查證,避免把第一個答案誤當成事實。
喜歡這篇文章嗎?歡迎贊助作者,好內容值得更多人支持。
贊助說明
為了鼓勵作者持續創作更好的內容,會員可以使用「贊助」功能實質回饋給喜愛的作者。可將您認為適合的點數贈送給作者,一旦使用贊助點數即不得撤銷,單筆贊助最低點數為30點,最高點數沒有上限。
U 利點數 1 點 = NTD 1 元。
您當前剩餘 U 利點數:0點;前往購買點數