AI on 林協霆醫師

meta-pipe-validation：meta-pipe AI 輔助 Meta 分析管線之驗證實驗

Thu, 23 Apr 2026 00:00:00 +0000

# Introduction（引言）

AI 輔助的 Meta 分析管線（如本作者之 meta-pipe）能在文獻搜尋、資料萃取與統計合成上大幅減少人力。然而當管線由人工流程升級為高度自動化時，必須以系統性方式驗證其結果是否與既有人工 Meta 分析一致。本專案即為 meta-pipe 的驗證實驗倉庫，蒐集多項已發表 Meta 分析作為「真值」資料集，並以重現結果的差異作為品質指標。

# Methods（方法）

驗證流程以 Python 為主：選定一系列具備完整原始資料與可重現分析腳本的已發表 Meta 分析作為基準，將其原始文獻 ID、納入排除標準與主要終點輸入 meta-pipe，比對自動化管線輸出與已發表結果。比對指標包含：納入研究數一致性、主要效應量點估計差異、95%信賴區間重疊、以及異質性指標。

對於差異顯著的案例，以根因分析方式逐步檢視：是否在文獻檢索階段漏掉某些研究？是否在資料萃取階段發生值錯誤？是否統計方法選擇造成差異？此一精細化驗證使後續改進有具體方向。

# Results（結果）

驗證結果作為 meta-pipe 改版的依據：當特定類型的研究（如交叉設計、群集試驗）出現系統性偏差時，便可在主管線中加入專屬處理邏輯。此私有倉庫亦可作為投稿方法論論文時的審稿補充材料，提供高度透明的可重現性證據。

# Discussion（討論）

本專案展示了 AI 輔助科學工具的標準驗證實踐：不僅描述其能力，更要量化其與人工結果的差距。限制方面，「真值」依賴的已發表 Meta 分析本身也可能有缺失，需謹慎挑選；驗證資料集的代表性會影響結論的泛化能力。未來可擴充至跨疾病領域、跨研究設計的驗證集，並建立持續整合（CI）每次更新都自動跑驗證的流程。

# 連結

GitHub：htlin222/meta-pipe-validation
主要語言：Python
最後更新：2026-04-23

meta-pipe：AI 輔助、端對端可重現的 Meta 分析管線

Sun, 12 Apr 2026 00:00:00 +0000

# Introduction（引言）

Meta 分析雖被譽為證據金字塔頂端，但其完整流程從文獻搜尋、篩選、資料萃取到統計合成往往耗時數月。傳統工具（如 RevMan、Covidence）雖支援工作流，但在自動化與可重現性上仍有空間。隨著 LLM 在文獻處理上的能力大幅提升，是否能將 Meta 分析從「人工為主、工具為輔」翻轉為「工具為主、人工為輔」成為值得探索的方向。本專案即提供一套 AI 輔助、端對端可重現的 Meta 分析管線。

# Methods（方法）

管線以 Python 為主，分為以下階段：（1）文獻搜尋，整合多個資料庫 API 並產出符合 PRISMA 流程圖的紀錄；（2）標題摘要篩選，由 LLM 依預設納入排除標準先行分類，人工僅審核邊緣案例；（3）全文擷取與資料萃取，LLM 從 PDF／HTML 中擷取結構化欄位（PICO、效應量、變異）；（4）統計合成與敘事化結論，採用既有套件（如 metafor、PythonMeta）執行森林圖、異質性分析與敏感性分析。

關鍵設計為「人類在環」：LLM 處理重複性高、規則明確的任務，研究者則在每階段交叉口進行決策確認。所有 LLM 呼叫皆紀錄 prompt 與輸出，確保可追溯。

# Results（結果）

管線可在合理時間內完成大量原本需數月人工的工作，並產出可被同儕審查的中間產物（PRISMA 流程圖、納入研究表、效應量計算腳本）。對個別研究者而言，這降低了從問題形成到投稿的時間；對教學者而言，管線可作為 EBM 課程的具體實作範例。

# Discussion（討論）

本專案展現了 AI 輔助 Meta 分析的可行性，並建立可被驗證的方法論基礎（與姊妹專案 meta-pipe-validation 配對）。限制方面，文獻篩選的 LLM 判斷仍受 prompt 設計影響，需在不同主題下重新校準；資料萃取對於非標準報告的論文準確度仍有限。未來方向包括：與既有研究軟體的雙向資料同步、加入網絡 Meta 分析支援、以及多語言文獻的整合。

# 連結

GitHub：htlin222/meta-pipe
主要語言：Python
最後更新：2026-04-12

meta-pipe-manuscript：meta-pipe 管線方法論的學術手稿

Mon, 06 Apr 2026 00:00:00 +0000

# Introduction（引言）

當研究者開發新的研究方法工具時，將其轉化為同儕審查文獻是讓社群採用與監督的重要環節。本倉庫即為 meta-pipe（AI 輔助 Meta 分析管線）方法論手稿之 LaTeX 撰寫倉庫，目的不只是描述工具能做什麼，更是揭露其設計決策、驗證範式與限制條件。研究界對於 AI 輔助工具的接受度，仰賴透明的方法學書寫。

# Methods（方法）

手稿以 LaTeX 撰寫並透過 Git 進行版本控制，便於與共同作者協作與審稿迭代。內容組織遵循標準研究方法論論文結構：背景、現有工具不足、meta-pipe 設計、驗證實驗（與姊妹專案 meta-pipe-validation 配對）、限制討論與未來方向。所有圖表皆從原始碼自動生成，避免投稿過程中圖表與內文不同步的問題。

撰寫策略採「結構化敘事」：每個章節先以一句結論起頭，再展開支撐證據。引用管理透過 BibTeX 並輔以引文驗證，確保所有引文真實存在且符合語境。

# Results（結果）

手稿構成 meta-pipe 工具家族的學術門面，使後續使用者能引用一份規範化文獻，而非僅是 README。對作者個人而言，撰寫過程亦為自我審視管線設計的過程：很多隱含假設在被迫寫成段落後才浮現。

# Discussion（討論）

本專案展示了「工程作品需要以論文形式被討論」的學術慣性：開源專案若缺乏方法論層次的書寫，難以被嚴肅評價。限制方面，方法論論文在實作演進時可能與最新版本脫鉤，需在發表後維持版本對照表；審稿過程亦可能耗時數月。未來可探索將工具版本與論文版本以 DOI 雙向對應，形成可被引用的實作─文本配對。

# 連結

GitHub：htlin222/meta-pipe-manuscript
主要語言：TeX
最後更新：2026-04-06

conductor-playground：多代理人編排框架的探索性 TypeScript 實驗

Wed, 18 Mar 2026 00:00:00 +0000

# Introduction（引言）

當 LLM 應用從單一 Agent 進入多 Agent 階段，「指揮（conductor）」的角色變得關鍵：誰決定哪個 Agent 處理哪個任務？如何協調彼此的輸出？如何避免無限循環？這些問題並無業界標準解，需要透過實作累積經驗。本專案即是作者探索多 Agent 編排設計的私人實驗場，以 TypeScript 撰寫不同編排策略並比較其行為。

# Methods（方法）

實作以 TypeScript 為主，以模組化方式設計多種編排原型：中央指揮型（一個 conductor 分派任務）、消息總線型（Agent 之間自由訂閱事件）、流水線型（任務依序傳遞）。每種原型皆以同樣的範例任務（如「對一組病例做摘要與分類」）測試，量化比較其延遲、token 用量與正確率。

整體採取「先嘗試再評論」原則：不預設哪種編排最佳，而是透過實際運行收集行為資料。所有實驗紀錄與結論留存於倉庫內，作為日後設計決策的參考。

# Results（結果）

不同編排在不同情境下展現各自優勢：中央指揮在任務界線清晰時最穩定，但 conductor 本身成為瓶頸；消息總線在開放式探索任務上表現靈活，但更難除錯；流水線適合線性流程但缺乏彈性。這些觀察直接影響了作者其他多 Agent 專案（如 agentic-holdem）的架構選擇。

# Discussion（討論）

本專案實踐了「實驗倉庫驅動工程決策」的方法：在缺乏明確最佳解時，以可觀察的小型原型代替長篇辯論。限制方面，實驗任務簡化過後可能與真實場景行為差異；TypeScript 語言生態雖適合 web 整合，對於後端編排亦有 Python 等替代選項值得比較。未來可擴展為公開的多 Agent 編排基準測試，並接入更多 LLM 供應商以排除模型特異性。

# 連結

GitHub：htlin222/conductor-playground
主要語言：TypeScript
最後更新：2026-03-18