基于 pytorch lightning 和 🤗 transformers 预训练和 fine-tune T5 模型
经过测试已支持预训练和fine-tune的模型有：google/t5，google/mt5，LangBoat/Mengzi，IDEA-CCNL/Randeng-770M，使用Randeng需要将Fengshen框架中的fengshen文件夹放到根目录。
在 run.slurm 中修改训练参数
测试环境 transformers==4.12.0, pytorch-lightning==1.5.10, torch==1.10.0