第三周作业二-实战Transformers模型微调

内容纲要

任务

使用完整的 YelpReviewFull 数据集训练,对比看 Acc 最高能到多少。课程代码( https://github.com/DjangoPeng/LLM-quickstart/blob/main/transformers/fine-tune-quickstart.ipynb

加载本地保存的模型,进行评估和再训练更高的 F1 Score。课程代码( https://github.com/DjangoPeng/LLM-quickstart/blob/main/transformers/fine-tune-QA.ipynb

作业提交方式

将执行完的 ipynb 文件(有运行结果)上传至 GitHub,然后将相关 ipynb 的 GitHub 链接(比如: https://github.com/DjangoPeng/LLM-quickstart/blob/main/transformers/pipelines.ipynb ) 复制到下方的评论框,然后点击“提交”按钮即可。

交付

作业1:https://github.com/QingYang1807/AI-Large-Model-Fine-Tuning-Camp/blob/main/%E4%BD%9C%E4%B8%9A/%E4%BD%9C%E4%B8%9A2/%E7%AC%AC%E4%B8%80%E9%81%8D%E5%B0%9D%E8%AF%95%E5%BE%AE%E8%B0%83/fine_tune_quickstart.ipynb

作业2:
https://github.com/QingYang1807/AI-Large-Model-Fine-Tuning-Camp/blob/main/%E4%BD%9C%E4%B8%9A/%E4%BD%9C%E4%B8%9A2/%E7%AC%AC%E4%B8%89%E9%81%8D%E5%AE%8C%E6%95%B4%E5%BE%AE%E8%B0%83/fine_tune_quickstart_%E5%AE%8C%E6%95%B4%E5%BE%AE%E8%B0%83_ipynb%4020240107.ipynb

评价

作业优点
认真的做了第1份作业,对比了完整版微调的差异,赞

作业缺点
第2份作业的提交还是第1份作业的答案?完整版微调的效果和range 1000的差不多,可以多训练几个epoch看?

改进之处
坚持不懈,加油

Leave a Comment

您的电子邮箱地址不会被公开。 必填项已用*标注

close
arrow_upward