第四周作业一-实战Transformers模型量化

任务

使用 GPTQ 量化 OPT-6.7B 模型。课程代码（ https://github.com/DjangoPeng/LLM-quickstart/blob/main/quantization/AutoGPTQ_opt-2.7b.ipynb ）

使用 AWQ 量化 Facebook OPT-6.7B 模型。Facebook OPT 模型地址： https://huggingface.co/facebook?search_models=opt

课程代码： https://github.com/DjangoPeng/LLM-quickstart/blob/main/quantization/AWQ_opt-2.7b.ipynb

https://github.com/DjangoPeng/LLM-quickstart/blob/main/quantization/AWQ-opt-125m.ipynb

作业提交方式

将执行完的 ipynb 文件（有运行结果）上传至 GitHub，然后将相关 ipynb 的 GitHub 链接（比如： https://github.com/DjangoPeng/LLM-quickstart/blob/main/transformers/pipelines.ipynb ） 复制到下方的评论框，然后点击“提交”按钮即可。

交付

1. https://github.com/QingYang1807/AI-Large-Model-Fine-Tuning-Camp/blob/main/%E4%BD%9C%E4%B8%9A/%E4%BD%9C%E4%B8%9A3/1.%E4%BD%BF%E7%94%A8%20GPTQ%20%E9%87%8F%E5%8C%96%20OPT-6.7B%20%E6%A8%A1%E5%9E%8B%E3%80%82/AutoGPTQ_transformers_2_7B.ipynb

2. https://github.com/QingYang1807/AI-Large-Model-Fine-Tuning-Camp/blob/main/%E4%BD%9C%E4%B8%9A/%E4%BD%9C%E4%B8%9A3/2.%E4%BD%BF%E7%94%A8%20AWQ%20%E9%87%8F%E5%8C%96%20Facebook%20OPT-6.7B%20%E6%A8%A1%E5%9E%8B%E3%80%82/AWQ_transformers_opt125m.ipynb

评价

作业优点
提交了2份作业

作业缺点
同学好像没有对老师的代码做过多的调整，请至少能够成功运行和理解老师的每一行代码

改进之处
坚持不懈，努力学完整个课程，加油