用AI評估兒虐風險可行嗎?三重縣AI兒虐評量系統上路3年仍傳憾事,相關調查進行中

2023 年第 14 期的〖日本新聞精選〗電子報 中曾經提到過,「小朋友家庭廳」(こども家庭庁)在今年 4 月成立之初,便打算 靠 AI 的力量尋找潛在兒虐受害者,即早發現孩子們的求救信號。然而,小朋友家庭廳預計要在 2024 年推出的全國共通系統還沒上路,三重縣在 3 年前獨自引進的 AI 兒虐評量系統(児童虐待対応支援システム),讓一個小小生命就此離世。

延伸閱讀:從菅義偉延續到岸田文雄的重點政策「小朋友廳」更名風波也和統一教有關?

三重縣警在本週(7/10)證實,津市一戶有兒虐傾向的家庭經通報後,當地兒童相談所(兒童相談所是日本各地方政府依《兒童福祉法》設置的諮詢機構,也是負責處理兒虐問題的地方行政部門)利用三重縣的 AI 兒虐評量系統進行評估後,AI 認定需要緊急保護的數值只有 39%,當時負責的本案的職員並沒有緊急保護當事女童,結果女童就在幾個月後離世了。目前這名女童的母親因有傷害致死女童的嫌疑遭逮捕。

AI評估緊急保護率只有39%

時間回到今年 5 月,三重縣津市一名 4 歲女童從家中的桌上跌到地上後,送醫仍不治身亡。

經調查後發現,這一戶從去年 2 月就有通報疑似虐待三女(也就是這次喪生的女童)的案例,但經過 AI 兒虐評量系統比對過去類似案例後,得出緊急保護率是 39% 的結果,再加上沒有辦法判斷女童兩頰與兩耳的瘀斑是怎麼造成的,媽媽的態度也很配合兒童相談所,所以決定要定期追蹤這戶家庭,並將這名女童列為「要保護兒童」。

然而,這名女童從去年 7 月起就沒有到保育園,兒童相談所一直沒有直接接觸這名女童或是媽媽,只有透過女童兄弟姐妹就讀的學校等方式,從周圍確認孩子的狀況。目前初估,三重縣兒童相談所在這段時間內沒有直接和女童會面,可能有處理不夠完善的問題,兒童相談所是否有所失職還在調查中。

女童死後清查發現類似案例有108案

根據三重縣兒童相談所在女童過世 2 天後的內部統計,和這名女童一樣曾被通報為疑似兒虐案例、被評估為不需要緊急保護但需要長期追蹤觀察的案例約有 1,100 件,當中 108 件案例和這名女童一樣,是兒童相談所職員沒有實際當面接觸、確認孩童狀況的案例。

目前三重縣的第三方委員會已經準備針對這套 AI 兒虐評量系統展開驗證調查,評估這次案例使用 AI 系統作為判斷依據之一是否適當。三重縣也已經決定要在第三方委員會作出結論之前,立即召開檢討會議,儘速思考縣政府方面有哪些環節做得不夠,各個行政機關之間還能怎麼協調、整合才好。

專為三重縣設計的AI系統

談到三重縣的 AI 兒虐評量系統。三重縣當年就是因為接連發生兒虐致死的案例,事後調查發現問題出在兒童相談所沒有辦法應對逐年攀升的兒虐事件,沒有在第一時間留意疑似兒虐案例而錯過救援時機。

所以三重縣從 2014 年起全面修改作業流程,引進風險評估表,評估個案當下面臨的危險程度,只要一有狀況就會密切追蹤。而三重縣從 2014 年度以來累積的 1 萬 3,000 件風險評估資料,就成為新創公司 AiCAN 訓練 AI 評估個案是否為潛在兒虐案例、是否需要緊急保護孩童的材料。利用三重縣的資料、專為三重縣 開發出來的這套 AI 兒虐評量系統,也是由三重縣搶先在 2020 年 7 月引進成全國首例,現在更是日本政府要推廣全國版 AI 兒虐評量系統的最佳案例。

不過三重縣強調,AI 兒虐評量系統分析出來的數據只是作為參考,是否要緊急保護孩童或是需要其他處置的最終判斷,還是由專業人員進行判斷。一般來說 AI 兒童評量系統的評分要在 80% 以上才會採取緊急措施,39% 的分數並不高,當時的負責人也表示 39% 的數字和他當下直覺的判斷結果相去不遠,絕非偏低的數值。

點進這支影片就可以看到 AiCAN 的畫面,它會從過去的案例分析後,告訴兒童相談所人員,這個案例過去有多少機率會實施緊急保護措施。

專家:AI不能作為救人的判斷依據

前《日經BP》編集長的獨立記者星曉雄 指出,使用機器學習的 AI 有時會出錯,但 AI 不能為這些錯誤負責,能負起責任作最後判斷的一定是使用 AI 的人類。他也強調,使用 AI 作為「是否要救人」的判斷依據已經違反科技倫理,聯合國人權事務高級專員也曾在 2021 年 9 月呼籲各國暫時停止將 AI 應用在會影響到人權的情境下,目前歐盟法律也傾向禁止將 AI 應用在這類型的目的上。

日本政府在去年 9 月公布的防治兒虐對策中提議要引進 AI 系統減輕兒童相談所職員的負擔,星曉雄認為,兒童相談所現在遇到的問題是資源不足,引進 AI 可能無法解決這個問題,甚至有可能幫倒忙。如果政府當初是希望引進 AI 來判斷哪些孩童不需搶救,來舒緩兒童相談所資源不足的問題的話,這已經不合倫理。三重縣當初大肆宣傳引進 AI,這會不會讓第一線人員很難和 AI 分析出來的結果唱反調,也需要關注。

喜歡「石川カオリ的日本時事まとめ翻譯」的話,歡迎 單筆贊助 或是以每月 5.5 美元(新台幣 160 元)定期定額 贊助小站(每週六定期出刊的「石川カオリ國際新聞電子報」是付費訂閱會員限定的贈禮),讓小站可以走得更長遠。


參考資料:

發表迴響