一項針對學術文獻的大規模分析顯示，去年發表的生物醫學論文摘要中，約1/7可能借助人工智能（AI）完成撰寫。2024年，醫學數據庫PubMed收錄的150萬篇摘要中，超過20萬篇包含大型語言模型（LLM）常推薦使用的詞匯。
相關研究于2024年6月以預印本形式在線公布，當時預計上半年約1/9的摘要由AI輔助完成。上述最新分析結果則在今年7月2日發表于《科學進展》。
圖片來源：Nicolas Economou/NurPhoto via Getty
英國倫敦大學學院的Andrew Gray表示：“由LLM編輯的論文數量一直‘不可阻擋地增長’。”他認為，研究人員尚未充分認識到這些工具被用于產出學術成果的規模，“希望這篇論文能推動人們關注這一問題”。
許多團隊試圖評估LLM對學術產出的影響，但這一過程頗具挑戰性，因為大多數使用者并未披露這種行為。常見方法是訓練模型識別人類與LLM生成文本的差異，再將其應用于文獻評估。然而，目前尚不清楚此類模型如何區分兩種文本，且訓練數據集未必能反映LLM生成文本的最新趨勢。
德國圖賓根大學的Dmitry Kobak及同事采用了更開放的研究方法。他們在摘要中搜索2022年11月ChatGPT普及后出現頻率異常升高的“冗余詞匯”。
研究發現，2024年有454個詞匯的出現頻率遠高于2010年以來的任何年份。它們多為與研究內容無關的“風格詞”，且以動詞和形容詞為主。其中既有常見詞匯“發現”“潛力”，也有較生僻的詞匯“探究”“展現”。Kobak指出，2024年下半年新增的冗余詞匯包括“顯著增強”“妨礙”，以及“無與倫比”“極有用”等最高級形容詞。
科學詞匯的演變是長期過程。2021年有190個“冗余詞匯”，多為與研究內容相關的名詞。但自LLM普及以來的詞匯變化更為顯著，且主要體現在風格層面。
此外，在計算科學和生物信息學等領域，超過1/5的摘要由LLM輔助撰寫。“今年的整體數據可能進一步上升，LLM的使用仍在持續增加。”Kobak表示。AI實際使用率可能比最新研究顯示的更高。
2月，法國巴黎高等師范學院的Mingmeng Geng及同事在預印本平臺arXiv公布的研究中指出，部分標志性詞匯和短語，如“探究”在2024年底的出現頻率有所下降。他認為，這可能是由于相關研究將其標記為“使用AI”，促使作者刪除此類詞匯，或調整LLM請求以規避檢測。
隨著作者不斷調整策略，評估AI對學術文獻影響的研究變得越發困難。另一大挑戰在于，包括Kobak團隊在內的研究均無法確定AI工具的具體使用方式。作者可能將其用于合理場景，如潤色文本或輔助翻譯，也可能涉及更具爭議的做法，如在缺乏適當監督的情況下生成大段文本。“這其中存在真正的科研誠信隱患。”Gray說。
相關論文信息：https://doi.org/10.48550/arXiv.2406.07016
本文鏈接：1/7生物醫學論文摘要由AI撰寫http://m.sq15.cn/show-11-22789-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 日本建設新型海底監測網
下一篇： 免疫細胞攻擊移植豬腎“作戰圖”繪成