evidence-synthesis on 林協霆醫師

meta-pipe-validation：meta-pipe AI 輔助 Meta 分析管線之驗證實驗

Thu, 23 Apr 2026 00:00:00 +0000

# Introduction（引言）

AI 輔助的 Meta 分析管線（如本作者之 meta-pipe）能在文獻搜尋、資料萃取與統計合成上大幅減少人力。然而當管線由人工流程升級為高度自動化時，必須以系統性方式驗證其結果是否與既有人工 Meta 分析一致。本專案即為 meta-pipe 的驗證實驗倉庫，蒐集多項已發表 Meta 分析作為「真值」資料集，並以重現結果的差異作為品質指標。

# Methods（方法）

驗證流程以 Python 為主：選定一系列具備完整原始資料與可重現分析腳本的已發表 Meta 分析作為基準，將其原始文獻 ID、納入排除標準與主要終點輸入 meta-pipe，比對自動化管線輸出與已發表結果。比對指標包含：納入研究數一致性、主要效應量點估計差異、95%信賴區間重疊、以及異質性指標。

對於差異顯著的案例，以根因分析方式逐步檢視：是否在文獻檢索階段漏掉某些研究？是否在資料萃取階段發生值錯誤？是否統計方法選擇造成差異？此一精細化驗證使後續改進有具體方向。

# Results（結果）

驗證結果作為 meta-pipe 改版的依據：當特定類型的研究（如交叉設計、群集試驗）出現系統性偏差時，便可在主管線中加入專屬處理邏輯。此私有倉庫亦可作為投稿方法論論文時的審稿補充材料，提供高度透明的可重現性證據。

# Discussion（討論）

本專案展示了 AI 輔助科學工具的標準驗證實踐：不僅描述其能力，更要量化其與人工結果的差距。限制方面，「真值」依賴的已發表 Meta 分析本身也可能有缺失，需謹慎挑選；驗證資料集的代表性會影響結論的泛化能力。未來可擴充至跨疾病領域、跨研究設計的驗證集，並建立持續整合（CI）每次更新都自動跑驗證的流程。

# 連結

GitHub：htlin222/meta-pipe-validation
主要語言：Python
最後更新：2026-04-23

meta-pipe：AI 輔助、端對端可重現的 Meta 分析管線

Sun, 12 Apr 2026 00:00:00 +0000

# Introduction（引言）

Meta 分析雖被譽為證據金字塔頂端，但其完整流程從文獻搜尋、篩選、資料萃取到統計合成往往耗時數月。傳統工具（如 RevMan、Covidence）雖支援工作流，但在自動化與可重現性上仍有空間。隨著 LLM 在文獻處理上的能力大幅提升，是否能將 Meta 分析從「人工為主、工具為輔」翻轉為「工具為主、人工為輔」成為值得探索的方向。本專案即提供一套 AI 輔助、端對端可重現的 Meta 分析管線。

# Methods（方法）

管線以 Python 為主，分為以下階段：（1）文獻搜尋，整合多個資料庫 API 並產出符合 PRISMA 流程圖的紀錄；（2）標題摘要篩選，由 LLM 依預設納入排除標準先行分類，人工僅審核邊緣案例；（3）全文擷取與資料萃取，LLM 從 PDF／HTML 中擷取結構化欄位（PICO、效應量、變異）；（4）統計合成與敘事化結論，採用既有套件（如 metafor、PythonMeta）執行森林圖、異質性分析與敏感性分析。

關鍵設計為「人類在環」：LLM 處理重複性高、規則明確的任務，研究者則在每階段交叉口進行決策確認。所有 LLM 呼叫皆紀錄 prompt 與輸出，確保可追溯。

# Results（結果）

管線可在合理時間內完成大量原本需數月人工的工作，並產出可被同儕審查的中間產物（PRISMA 流程圖、納入研究表、效應量計算腳本）。對個別研究者而言，這降低了從問題形成到投稿的時間；對教學者而言，管線可作為 EBM 課程的具體實作範例。

# Discussion（討論）

本專案展現了 AI 輔助 Meta 分析的可行性，並建立可被驗證的方法論基礎（與姊妹專案 meta-pipe-validation 配對）。限制方面，文獻篩選的 LLM 判斷仍受 prompt 設計影響，需在不同主題下重新校準；資料萃取對於非標準報告的論文準確度仍有限。未來方向包括：與既有研究軟體的雙向資料同步、加入網絡 Meta 分析支援、以及多語言文獻的整合。

# 連結

GitHub：htlin222/meta-pipe
主要語言：Python
最後更新：2026-04-12

prisma-automation：以 Python 與 R 自動化 PRISMA 系統性回顧工作流

Sat, 28 Mar 2026 00:00:00 +0000

# Introduction（引言）

PRISMA 為系統性回顧與 Meta 分析的標準報告框架，要求研究者透明展示每一步研究納入與排除的數量。傳統工作流以多個工具（Endnote、Excel、Covidence、RevMan）拼接，容易出現步驟之間的計數不一致。本專案以開源工具鏈將完整 PRISMA 工作流以程式化方式串起，從文獻搜尋、篩選、去重到流程圖自動產生，保障報告數字與實際操作完全對應。

# Methods（方法）

工作流以 Python 與 R 雙語言實作：Python 處理 API 介接（PubMed、Scopus、Web of Science）與機器學習篩選；R 處理統計合成與作圖。文獻去重採基於 DOI／PMID 的精確比對，搭配標題模糊比對作為補充。標題摘要篩選可選擇人工或 LLM 輔助，所有判斷紀錄留存。最終以 flowdoc 等工具自動產出 PRISMA 流程圖，保證流程圖數字與資料一致。

設計重點為「可審計性」：每個篩選決策皆可被追溯至原始紀錄，使審稿人或讀者能驗證計數正確。整體流程以 Make／Snakemake 等任務管理工具編排，便於部分重跑而不需重新處理整個工作流。

# Results（結果）

研究團隊可顯著減少 PRISMA 報告的人工負擔：原需多人協作數週完成的搜尋與篩選工作，得以縮短為數天並提升一致性。對於同時進行多個系統性回顧的研究團隊，此自動化工具大幅提升整體產能。

# Discussion（討論）

本專案實踐了「以程式化保證透明度」的觀念：當每一步都是可重現的程式碼，PRISMA 對於透明度的要求自然得到滿足。限制方面，自動化篩選的決策需要謹慎驗證，特別是高風險偏誤的情境；不同資料庫的搜尋語法差異仍需手動橋接。未來可整合至 meta-pipe 主管線，並加入 LLM 進行偏倚評估的初步建議。

# 連結

GitHub：htlin222/prisma-automation
主要語言：Python（搭配 R）
最後更新：2026-03-28