負責大型語言模型(LLM)的預先訓練(Pre-training)、持續訓練(Continual Pre-training)與指令微調(Instruction Fine-tuning)。
建立資料清洗、Tokenization、Dataset 建構與訓練 Pipeline。
設計並維護多 GPU 分散式訓練流程,提升訓練效率與資源利用率。
建立模型評估流程,分析模型品質並持續最佳化。
與產品及研究團隊合作,將模型能力轉化為可落地的產品。
編程能力
熟悉 Python,具備良好的程式設計能力
熟悉 Linux 開發環境與 Git
深度學習
熟悉 PyTorch
理解 Transformer 架構及 Attention 機制
熟悉大型語言模型(LLM)訓練流程
Model Training,具備以下至少數項實務經驗:
Pre-training
Continual Pre-training
Supervised Fine-tuning(SFT)
LoRA/QLoRA
Model Evaluation
Data需具備:
Dataset Cleaning
Tokenization
數據 Filtering
Data Pipeline 建置
Distributed Training,熟悉至少一項:
DeepSpeed
FSDP
Megatron-LM
並理解:
Data Parallel
ZeRO Optimization
GPU理解:
CUDA 基本概念
Mixed Precision(FP16/BF16)
GPU Memory Optimization
純遠端,週休一日。
Expatriate
No business trip required
Working Hours
Day Shift
Remote Work
On-site
Job Location
遠端
Holiday
Rostered / Shift
Onboard Day
Based on interview
Number of Vacancies
1 person
Stock and Bonus
None
Experience Required
No experience required
Education Required
University / Bachelor degree or equivalent
符合資格的履歷將在一...