AutoDL GPU型号简介
附GPU型号简介¶ 型号 显存 单精(FP32) 半精(FP16) 详细参数 说明 Tesla P40 24GB 11.76 T 11.76 T 查看 比较老的Pascal架构GPU，对于cuda11…
作者： 林清杨
GPT-SoVITS
Bilibili: https://www.bilibili.com/video/BV12g4y1m7Uw ![](https://1-1256857171.cos.ap-beijing.myqclo…
LangChain-ChatChat
GitHub https://github.com/chatchat-space/Langchain-Chatchat?tab=readme-ov-file GitHub Wiki https://g…
AttributeError: st.session_state has no attribute “history”. Did you forget to initialize it?
问题 AttributeError: st.session_state has no attribute "history". Did you forget to initiali…
GPU显存被占用无法清理问题解决
问题 运行了多个jupyter lab notebook后，发现out of memory 显存不够了，意识到GPU被无用的进程占用 通过nvidia-smi发现，gpu任务占用列表为空，看不到占用情…
爆显存(CUDA OOM)什么原因？
问题 爆显存(CUDA OOM)什么原因？ 原因 A：如果执行程序报错OOM显存不足，那么最简单的调试办法是设置batch size=1然后逐步增大，观察跑到多大bs时OOM，以此为依据再决定升配成多…
如何访问到AutoDL中运行的的Web Gradio
参与AutoDL文档： 开放端口 由于实例无独立公网IP，因此不能任意开启额外的端口。但是AutoDL为每个实例都预留了一个可对外暴露的端口，技术实现为将实例中的6006端口映射到公网可供访问的ip:…
Java版本的LangChain
GitHub： https://github.com/langchain4j/langchain4j 文档：docs.langchain4j.dev 教程：https://docs.langchain…
【系统硬件】英伟达安培卡 vs 老推理卡硬件参数对比
原文地址：https://zhuanlan.zhihu.com/p/441153412
AutoDL HuggingFace连不上问题解决
问题 AutoDL HuggingFace连不上，无法下载ChatGLM3-6B模型 原因 网络原因，无法访问 解决方案 使用ModelScope社区镜像下载 模型下载代码 pip install m…
第五周作业-使用 LangChain，并调用 GPT API Key 实现文本摘要和翻译聊天助手。
任务 使用 LangChain，并调用 GPT API Key 实现文本摘要和翻译聊天助手。 交付 进行中…
第一周作业-大语言模型技术发展与演进
单项选择题 n-gram 模型中的“n”通常代表什么？ A. 神经网络的层数 B. 词汇表的大小 C. 上下文中的词数 D. 可选的参数数量 最大似然估计在 n-gram 模型中的主要目的是什么？ A…
第三周作业二-实战Transformers模型微调
任务 使用完整的 YelpReviewFull 数据集训练，对比看 Acc 最高能到多少。课程代码（ https://github.com/DjangoPeng/LLM-quickstart/blob…
第三周作业一-大模型开发工具库Hugging Face Transformers
任务 替换课程示例代码中的模型（ https://github.com/DjangoPeng/LLM-quickstart/blob/main/transformers/pipelines.ipynb…
第四周作业二-大模型高效微调工具HF PEFT
任务 在“LoRA 低秩适配 OpenAI Whisper-Large-V2 语音识别任务”中，为中文语料的训练过程增加过程评估，观察 Train Loss 和 Validation Loss 变化。…
第四周作业一-实战Transformers模型量化
任务 使用 GPTQ 量化 OPT-6.7B 模型。课程代码（ https://github.com/DjangoPeng/LLM-quickstart/blob/main/quantization/…
实战私有数据微调ChatGLM3
任务介绍 基于 data 目录下的数据训练 ChatGLM3 模型，使用 inference Notebook 对比微调前后的效果。 （可选）：将 gen_dataset Notebook 改写为 p…
大模型分布式训练框架Microsoft DeepSpeed，调整ZeRO-3 配置文件，使其支持 T5-3B 甚至 T5-11B 模型训练
任务介绍 调整 ZeRO-3 配置文件，使其支持 T5-3B 甚至 T5-11B 模型训练。 作业提交方式： 提交运行起来后 NVIDIA-smi 和 htop 的输出截图即可，跟视频里给老师大家展示…
智谱章节-使用AdvertiseGen广告数据集lora微调ChatGLM3-6B作业
作业描述 使用官方提供的示例，成功微调出广告数据集，要求使用 Lora 进行微调： 你能看到 loss 的下降，并在最终回到 3.2 左右。 你需要自己适配 inference.py 中的代码，并迁移…
微调报错解决-ValueError: invalid literal for int() with base 10: ‘.ipynb_checkpoints’
报错日志 You are using an old version of the checkpointing format that is deprecated (We will also silen…