我的旅程
依「Apache Spark」篩選中清除
維運2026年4月
升級 30 節點的 HDFS 與 Spark 叢集（HDFS 2.7.7 → 3.3.6、Spark 3.3.2 → 3.5.8）
Research Developer (Infra Team，兼任) · Bridgewell
以逐台 DataNode 升級編排（考量 RF=2 檔案安全）完成約 30 節點叢集的大版本升級，並以平行叢集方式切換 Spark，含全公司 60+ 專案的 CI/CD cutover。
管理約 880.8 TB 資料，升級期間維持資料完整與批次作業可用
查看詳情
機器學習2026年7月
建構 Columnar 特徵工程與 ONNX serving 管線，取代舊 pbb64 離線特徵路徑
Research Developer (Bidder Team) · Bridgewell
以向量化 columnar 特徵生成取代 pbb64 → pythonnet → C# 舊路徑，將前處理 tokenize 編入 ONNX 子圖、輸出單一 full.onnx，並以 FG parity gold 驗證訓練與線上特徵一致。serving 端經 shadow 驗證與 A/B 實驗後，2026-08-31 全量上線為預設 ranker，舊的 C# ranker 與 shadow 路徑同步退場。
訓練與 serving 共用同一份特徵定義，消除 training-serving skew 這一整類問題；線上 A/B 通過不劣性檢定（CTR 信賴區間下緣 −2.05%、購買型 CVR −8.21%，皆在門檻內）後全量上線。
查看詳情