内容纲要
作业描述
使用官方提供的示例,成功微调出广告数据集,要求使用 Lora 进行微调:
你能看到 loss 的下降,并在最终回到 3.2 左右。
你需要自己适配 inference.py 中的代码,并迁移到其他的推理框架中。例如,basic_demo 中没有读取微调模型后的 adapter 的内容,你需要参考 inference.py 的代码并进行修改,让其他 demo 能读入你的微调代码,将其部署到 basic_demo 下的 gradio_demo 中,并能够通过 webui 来进行调用。
作业提交方式:
请将相关代码和微调成功后的效果截图上传至 GitHub 或其他公开链接,然后将链接复制到下方的作业提交框提交即可。
作业交付
1、微调成功截图,微调到loss值在3.2-3.4左右
链接
lora微调代码
链接
2、适配 inference.py并迁移到basic_demo 中其他的推理框架中的代码
链接
把basic_demo中的全部代码都改造成了读取微调后的模型代码,且运行测试通过,包括:
cli_batch_request_demo
cli_demo.py
cli_demo_bad_word_ids.py
web_demo_gradio.py
web_demo_streamlit.py
作业评价
Lewis
助教
2024-04-10 21:45|第 1 次批改
作业优点
非常认真的完成了作业,赞
作业缺点
本次作业做的较好,暂无
改进之处
持续向前就是胜利,加油