專案
將處理高維度、高雜訊資料的方法,從神經科學遷移到製造、金融與語言領域,從資料管線、模型評估到上線維運都有實作經驗。公開專案附完整程式碼與分析報告,所有專案皆以 Claude Code 協助開發。
引用溯源的 RAG 系統 / Dissertation RAG Copilot
針對學術文獻庫的嚴格引用溯源 RAG 助理,內建可量化的幻覺率評估。檢索是簡單的那一半——能量化幻覺率,才是這個系統可以被信任的原因。
- Prompt 與 context engineering:生成端用強制引用的 XML prompt,每個宣稱都必須附段落編號與逐字引文,否則只能回覆固定的拒答語句;評審只看宣稱與段落、看不到生成端的推理,避免自我背書。評審 prompt 依驗證集上量到的失誤逐版改進(v1 → v2 誤放率 27% → 4%)。後續實驗也照同一套標準取捨:生成端 prompt v2 改善陷阱題卻讓 7B 模型格式錯誤增加、評審加入分類步驟的 v4/v5 反而誤放率上升,都未採用——對 7–14B 模型,確定性規則檢查比繼續加長 prompt 更可靠。
- 混合檢索(dense embeddings ⊕ BM25,RRF 融合):學術文字充滿
ISFC、TFCE這類精確術語,純語意向量會把它們模糊掉。 - 切塊消融實驗:依章節結構切塊在 26 題人工 golden set 上達 Hit@5 100% / MRR 0.952,固定長度基準為 88% / 0.794。
- 驗證層由便宜到昂貴:逐字引文必須出現在被檢索的段落中,否則判為捏造;再交由 LLM 評審判定;另有規則檢查專抓「把研究計畫寫成研究結果」,送人工複核。
- 評審本身也要被驗證:用刻意植入錯誤的已知答案集比較模型與 prompt,選出 phi4(誤放率 5%,95% CI 2–15%);生成模型評自己的輸出反而最弱。
- 逐則稽核系統錯誤,發現部分誤判出在 context 而非模型(段落缺少章節標題、引文跨段),補上後嚴格引用精確率 84% → 97%(30/31);所有比率都附 Wilson 信賴區間,並註明小樣本下差異多半不顯著。至今沒有任何錯誤宣稱以「有出處支持」的狀態呈現給使用者。
- 可完全離線運行(本地 Ollama),也支援期刊 PDF 語料。
影像特徵萃取與時序對齊 / fMRI Video Feature Analysis
量化比較「自然」與「都市」自然情境影片中的低階視覺、動態、語義與物件層級資訊,以每個 TR(0.752 秒)為單位萃取熵值與能量指標。
- 以 OpenCV、HOG 特徵與 YOLOv8 建立多層次特徵管線。
- 把原始影片轉成能通過統計檢驗的迴歸變項序列,供 fMRI 分析使用。
中文對話風險分流系統 / LINE Group Health Triage
針對 LINE 工作群組對話的健康度分流系統:自動分析對話、計算風險指標、產出 PDF 優先處理報告。把非結構化的中文對話紀錄,變成可排序、可行動的風險訊號。
- 六項指標:未回應提問年齡、客戶回應延遲 P90(皆以業務時間計算)、最老未解議題(LLM 抽取)、負面情緒比例、訊息量,以及追蹤對話主題複雜度的語義熵時間序列。
- 非補償性 tripwire:退款、投訴、找主管等升級訊號直接觸發,不會被其他良好指標平均掉。
- 資料來源支援 LINE 匯出檔、LINE Messaging API webhook 即時接收,以及 Telegram 群組匯出。
- 合成評估:由程式埋入標準答案(風險與誘餌)生成 100 個主管群組(2,667 則訊息),本地 LLM 只負責改寫成台灣口語,對答案計分而非對另一個 AI 的意見計分。規則系統擅長時間判斷、phi4 擅長語意,組合後風險等級正確率 80%(規則 48%、phi4 65%)。再以調整組改進規則系統、驗證組只評分一次:驗證組 50 組風險等級正確率 94%、誘餌零誤報。門檻在合成資料上校準,下一步以全新一批群組再驗證。
- 股票社群模式(約 109 萬則 Telegram 訊息):人工標註 165 則驗證 LLM 多空標註,LLM 標註與人工的一致性 Cohen’s κ 最高 0.42(隨機樣本)/ 0.55(加強樣本);以標的 entropy 時間序列預測下一時間窗的話題轉移,AUC 0.62 → 0.71(95% CI 不含 0)。過程中抓出樣本數混淆——先前 AUC 0.82 的高分多半來自它。
國際會議線上報名與金流系統 / PACLIC 40 Registration
第 40 屆 PACLIC(Pacific Asia Conference on Language, Information and Computation,2026/12 於台大舉辦)的線上報名與繳費系統,2026-10-01 正式上線。以既有會議報名系統為基礎,與團隊協作開發,我負責後端功能與上線維運。
- 流程:Google 登入 → 報名表 → 學生上傳學生證 → 藍新金流(NewebPay)刷卡;主辦方後台審核學生證、匯出 CSV 名單。
- 計價改為查表式:新費率的早鳥/一般價差在不同級距不一致,用單一折扣公式算不出來;早鳥資格以付款完成時間判定,截止後自動關閉報名與付款。
- 刻意的設計:金額只由後端依報名內容計算,前端送出的金額一律不採信;學生證審核與付款脫鉤,審核進度不會卡住繳費。
- 個資保護:學生證於會後依保存期限自動刪除。
- 部署與維運:Docker Compose + Nginx、GitHub Actions CI、需手動確認的正式部署流程、資料庫每日加密備份並同步到雲端、還原演練。
半導體品質與良率預測 / Semiconductor Quality ML
橫跨三個公開製造資料集的異常偵測與良率預測:靜態快照(SECOM)、製程時序(PHM 2016 CMP)、生產路徑圖(Bosch)。核心主張是方法選擇應該跟隨資料結構,而不是跟隨潮流。
- PHM CMP 官方競賽測試集達到 MSE 6.24 / MAE 1.82。
- Bosch 產線圖分析定位出站點 L3_S32 的失效率為整體的 7.8 倍——圖結構有助歸因,但無助預測。
- SECOM 走時序部署模擬:在上線前比較四種重訓策略,並量化資料是否足以支撐決策(8 個窗格僅 41 筆失效)——避免投入效益無法驗證的重訓成本。
- 以診斷把關模型選擇:例如 CMP 虛擬量測的 R² 0.993 在主要 MRR 群集內為 0.897;1D-CNN 驗證集最佳、測試集卻最差且跨種子差 49%——避免把資料分布或過擬合造成的假改善帶進部署。
多代理人精度加權投資研究系統 / Precision-Weighted Multi-Agent
借用神經科學預測處理框架中的 precision weighting 概念:財報、新聞、總經/籌碼、供應鏈(知識圖譜)、技術面等專家 Agent 各自產出帶信心值的判斷,仲裁層依各 Agent 的歷史準確度(Brier score EMA 的倒數)動態加權合成。LLM 判讀可接 Claude 或本地 qwen3:8b。
- 無選股偏誤股票池:271 檔、每年依當時成交值取前 100 檔並含下市股,2019–2026 共 8,475 筆 walk-forward 預測;財報設公告遞延,杜絕 look-ahead。
- 關鍵發現:精度加權要奏效,前提是能可靠估計各來源的準確度;實測每期 IC 的標準差是平均的 4 倍,估計誤差與訊號同量級,因此系統改為以表現穩定的財報 Agent 為主。以 0050 為基準檢驗風險調整後報酬,選股策略的 Sharpe 尚未超越大盤。
- 有效訊號:財報 Agent 的產業內選股(IC +0.029,t 2.16),在兩個子期間、21 種取樣起點皆為正,產業中性做多扣成本後每期 +0.26%;樣本外效果較小,正以凍結規則的前瞻驗證確認。
- 月營收驚奇(SUE):依台股文獻選出、以公告期限對齊後,是第一個在 2019–2022 與 2023–2026 兩段都顯著的訊號(產業內 IC +0.032 / +0.059,t 2.0 / 2.9),延後 1–10 日進場仍有效;與 0050 擇時部位各半混合,兩段 Sharpe 都高於 0050。已凍結為第二個前瞻規格(fv2),2026-10-13 起每月自動記錄;加入盈餘驚奇或拉長持有都沒有更好。
- 過度擬合控制:規則於 2026-10-09 凍結並事先登錄評估方式,程式碼指紋一改就拒絕預測,紀錄只能新增;正式前瞻紀錄自 2026-11 起累積。每月由 Windows 工作排程器無人值守執行預測與結算,有新結果時自動重建研究儀表板。
🎮 個人作品
台灣金排球 / Taiwan Gold Volley
純前端的 2D 排球對戰網頁遊戲,主角是 16 種臺灣動物,可對戰電腦、同機雙人或線上對戰,附動物圖鑑(TaiCOL 保育資料)。支援鍵盤、手機觸控與手把,可安裝為 PWA 離線遊玩。
- 決定性物理引擎搭配 rollback 網路同步:雙方各自運算同一套引擎,每幀只交換 1 byte 輸入,每 30 幀以 hash 對帳;透過 WebRTC(PeerJS)點對點連線,不需自架後端。
- 自動化品質把關:單元測試涵蓋決定性、物理、rollback 與鍵位,Playwright 端對端測試在 Chromium 與 WebKit 上執行;推到 main 後測試全數通過才會建置並部署到 GitHub Pages。
更多程式碼與進行中的專案:github.com/JamesLeeCY