不久前，某公眾號運營者鐘某為蹭“海嘯預警”熱點，利用AI生成“30萬居民撤離上海”“數十萬上海市民正排隊登車”等聳人聽聞的言論。這條假消息被大量閱讀、轉發，引發恐慌情緒。其后，鐘某被警方拘留。

AI的廣泛應用，為虛假信息的批量生產和病毒式傳播提供了“溫床”，給社會治理帶來挑戰。

近日，《人工智能安全治理框架》2.0版正式發布。中央網信辦負責人表示，要強化規范引導，不斷完善人工智能安全監管制度和標準規范體系，促進人工智能健康有序發展。

利用AI造謠日漸頻繁

人工智能時代，利用AI造謠日漸頻繁。公安部曾發布多起典型案例。如，湖南公安機關查處編造“民警離職潮”謠言案，江西公安機關查處MCN機構使用人工智能工具造謠案，重慶公安機關查處使用人工智能工具編造“爆炸事故”謠言案，廣東公安機關查處編造“廣州限制外賣配送”謠言案。相關人員均被繩之以法。

清華大學新聞與傳播學院新媒體研究中心2024年發布的《揭秘AI謠言：傳播路徑與治理策略全解析》研究報告指出，2023年以來，伴隨AIGC技術的高速發展，一些造謠者不當利用AI工具，使得AI謠言量高速增長。

報告指出，在各類AI謠言信息量占比中，經濟與企業類謠言和公共安全類謠言占比最多、增速最快，其中餐飲外賣、快遞配送等民生行業成為謠言重災區。

記者調查發現，人工智能技術讓網絡謠言內容更為逼真，常配有偽造的圖片、視頻甚至所謂“官方回應”，極具迷惑性。

中國（深圳）綜合開發研究院院長助理、數字經濟與全球戰略研究所所長曹鐘雄等業內人士認為，AI不僅能高效生成虛假信息，而且可以通過過濾、推薦機制，將虛假信息聚合形成“證據鏈”，給普通用戶乃至專業人士造成誤導。

流量變現驅動商業化黑產

業內專家指出，傳統謠言生產依賴造謠者人工操作。如今，造謠者使用AI工具，只要輸入特定關鍵詞或指令，便可快速生成內容逼真、欺騙性強的謠言，從而實現謠言的大規模、高效率生產。

去年3月，江西公安機關查處一起MCN機構使用人工智能工具造謠案。經查，王某某經營有5家MCN機構，共運營自媒體賬號842個，長期組織公司人員選取熱點文章，使用AI工具批量生成不實文章進行吸粉引流。

“他平均每天通過AI工具發布4000到7000條信息，最高的一條收入是700元。經初步估算，每天收入在1萬元以上。”辦案民警說。

記者發現，多起AI造謠事件背后，不法者的造謠動機主要源于牟取互聯網內容平臺給予創作者的獎勵，以及為電商平臺經營引流等；一些造謠者還可以從廣告收入、合同推廣、直播帶貨或其他相關的商業活動中獲益。

一名長期從事自媒體工作的博主對記者說：“以某大型內容生產平臺為例，收益計算公式可以簡化為‘有效播放量×互動系數×千次播放單價’。平臺會對點擊量高、互動性強的原創性內容給予更多收益分成。如果整體權重較高，一篇閱讀或播放100萬次的稿件，收益可超過1000元。”

此外，不正當商業競爭也進一步催生了AI謠言黑色產業鏈。一位頭部消費電子企業法務相關負責人透露，“金主”企業放出任務信號后，公關公司會找來一批自媒體運營者、KOL（關鍵意見領袖），利用AI技術生成虛假信息，大批量、高頻次在社交媒體、網絡平臺等釋放抹黑競爭對手的內容；此后還有營銷公司及流量商加入，進一步擴散傳播謠言。

造謠一張嘴，辟謠跑斷腿。不少受訪企業表示，辟謠工作給公司帶來了繁重的負擔，需要耗費大量人力、精力去做解釋工作，以消除不利影響。

中國政法大學刑事司法學院教授于沖等法律專家指出，目前AI造謠已經形成商業化運作黑色產業鏈，一些造謠者以吸引流量變現牟取經濟利益為目的。相關行業企業在應對AI謠言中面臨維權難、輿論修復難等挑戰。

全鏈條治理封住AI“黑嘴”

近期，公安部組織全國公安機關持續開展打擊整治網絡謠言工作，及時發現查處借熱點輿情事件進行造謠傳謠線索，重拳打擊編造傳播涉企業、涉民生、涉警情等領域網絡謠言違法犯罪活動。

今年7月，中央網信辦在全國范圍內啟動為期2個月的“清朗·整治‘自媒體’發布不實信息”專項行動，重點整治的突出問題包括“利用人工智能生成合成技術，仿冒他人，或編造社會民生等領域虛假信息，欺騙公眾”。

面對AI謠言治理中的取證難、定性難、追責難等問題，單一治理手段已力有不逮。多位受訪業內人士建議，遏制“AI謠言”需要多方協同發力，構建全鏈條治理體系。

中國社會科學院大學互聯網法治研究中心執行主任劉曉春說，新媒體平臺應加強對AI造謠和“水軍”行為的智能識別機制研究，進一步改革涉及AI內容的流量分發和收益分成機制，最大限度壓縮通過AI造謠牟利的空間。

于沖等建議，司法治理也需要“鏈條化”思維，針對AI造謠鏈條的前端發布主體、中端采取的技術手段和末端的后果危害，分別進行評價和判斷，進行全鏈條打擊和預防。

最高人民法院研究室副主任喻海松等表示，治理涉企AI謠言，僅僅依靠刑法是不夠的，要進一步修復社會信任機制，營造自覺抵制謠言的良好環境，同時鼓勵AI治理合作，進一步推廣AI倫理標準、治理技術和創新國際合作模式。

受訪律師提示，無論是個人還是企業，都應該自覺遵守相關法律法規，正確使用AI工具，不造謠、不傳謠。一旦利用AI造謠或從事其他違法犯罪活動，將受到法律的嚴懲。