如果要跑大模型，显卡显存计算
问题 1、要跑大模型，要多少显存 2、6B如果要自己搭建，显存要多少 回答 1、显存大小 = 大模型 多少B 2 +2GB富余空间用于存储对话记忆等内容 2、6B 2 + 2 = 14GB以上显存可支…
如何检查Linux操作系统版本：Ubuntu还是CentOS？
标题：如何检查Linux操作系统版本：Ubuntu还是CentOS？ 在使用Linux系统时，有时我们需要快速确认我们使用的是哪个发行版，例如Ubuntu还是CentOS。下面是如何通过命令行检查Li…
为 Hugging Face 用户带来无服务器 GPU 推理服务
为 Hugging Face 用户带来无服务器 GPU 推理服务 原创 Hugging Face Hugging Face 2024-04-08 10:10 广东 https://mp.weixin….
Linux编译安装Python3.11或3.9.9
前置环境准备 sudo apt-get update sudo apt-get install libffi-dev sudo apt install sqlite* sudo apt-get ins…
关于生财有术的信息收集
1 生财有术体验课： 赚钱的底层逻辑：利他，找到他人需求，为他人需求提供解决方案，只有帮助别人解决问题，别人口袋里的钱才会流向你的口袋 财富四大来源： 打工：提升自己的思考和创造力来保证自己的稀缺性，…
Kubernetes
官网：https://kubernetes.io/ 文档：https://kubernetes.io/docs/setup/ GitHub：https://github.com/kubernetes/…
《可复制的领导力》21天线上训练营
一、开营仪式 1.1 概要 讨论了领导与管理的区别。管理是通过权力控制员工行为，而领导是通过个人魅力影响员工思维并改变行为。更重要的是，管理者应该注重员工自主工作的时间。通过个人魅力影响员工思维，改变…
OpenAI 为 DALL-E 3 图像生成器引入编辑功能
打开DALLE，输入提示词生成图片 点击图片，打开编辑页 查看完整的Propmt Imagine a tranquil and serene landscape that evokes a profo…
ComfyUI
介绍 The most powerful and modular stable diffusion GUI, api and backend with a graph/nodes interface….
AutoDL GPU型号简介
附GPU型号简介¶ 型号 显存 单精(FP32) 半精(FP16) 详细参数 说明 Tesla P40 24GB 11.76 T 11.76 T 查看 比较老的Pascal架构GPU，对于cuda11…
GPT-SoVITS
Bilibili: https://www.bilibili.com/video/BV12g4y1m7Uw ![](https://1-1256857171.cos.ap-beijing.myqclo…
LangChain-ChatChat
GitHub https://github.com/chatchat-space/Langchain-Chatchat?tab=readme-ov-file GitHub Wiki https://g…
AttributeError: st.session_state has no attribute “history”. Did you forget to initialize it?
问题 AttributeError: st.session_state has no attribute "history". Did you forget to initiali…
GPU显存被占用无法清理问题解决
问题 运行了多个jupyter lab notebook后，发现out of memory 显存不够了，意识到GPU被无用的进程占用 通过nvidia-smi发现，gpu任务占用列表为空，看不到占用情…
爆显存(CUDA OOM)什么原因？
问题 爆显存(CUDA OOM)什么原因？ 原因 A：如果执行程序报错OOM显存不足，那么最简单的调试办法是设置batch size=1然后逐步增大，观察跑到多大bs时OOM，以此为依据再决定升配成多…
如何访问到AutoDL中运行的的Web Gradio
参与AutoDL文档： 开放端口 由于实例无独立公网IP，因此不能任意开启额外的端口。但是AutoDL为每个实例都预留了一个可对外暴露的端口，技术实现为将实例中的6006端口映射到公网可供访问的ip:…
Java版本的LangChain
GitHub： https://github.com/langchain4j/langchain4j 文档：docs.langchain4j.dev 教程：https://docs.langchain…
【系统硬件】英伟达安培卡 vs 老推理卡硬件参数对比
原文地址：https://zhuanlan.zhihu.com/p/441153412
AutoDL HuggingFace连不上问题解决
问题 AutoDL HuggingFace连不上，无法下载ChatGLM3-6B模型 原因 网络原因，无法访问 解决方案 使用ModelScope社区镜像下载 模型下载代码 pip install m…
第五周作业-使用 LangChain，并调用 GPT API Key 实现文本摘要和翻译聊天助手。
任务 使用 LangChain，并调用 GPT API Key 实现文本摘要和翻译聊天助手。 交付 进行中…