負責大型語言模型(LLM)的預先訓練(Pre-training)、持續訓練(Continual Pre-training)與指令微調(Instruction Fine-tuning)。
建立資料清洗、Tokenization、Dataset 建構與訓練 Pipeline。
設計並維護多 GPU 分散式訓練流程,提升訓練效率與資源利用率。
建立模型評估流程,分析模型品質並持續最佳化。
與產品及研究團隊合作,將模型能力轉化為可落地的產品。
編程能力
熟悉 Python,具備良好的程式設計能力
熟悉 Linux 開發環境與 Git
深度學習
熟悉 PyTorch
理解 Transformer 架構及 Attention 機制
熟悉大型語言模型(LLM)訓練流程
Model Training,具備以下至少數項實務經驗:
Pre-training
Continual Pre-training
Supervised Fine-tuning(SFT)
LoRA/QLoRA
Model Evaluation
Data需具備:
Dataset Cleaning
Tokenization
數據 Filtering
Data Pipeline 建置
Distributed Training,熟悉至少一項:
DeepSpeed
FSDP
Megatron-LM
並理解:
Data Parallel
ZeRO Optimization
GPU理解:
CUDA 基本概念
Mixed Precision(FP16/BF16)
GPU Memory Optimization
純遠端,週休一日。
出差外派
不需出差
上班時段
日班
遠端工作
現場
上班地點
遠端
休假制度
輪班
可到職日
依面談為主
招募人數
1人
股票與獎金
無
工作經歷
不拘
學歷要求
大學或同等學歷以上