特征工程全面指南：从基础到进阶
特征工程全面指南：从基础到进阶 引言 特征工程是数据科学和机器学习中至关重要的一步，它涉及将原始数据转换为可以有效训练模型的特征。本文将系统性地探讨特征工程的各个方面，包括数据预处理、特征构建、特征选…
分类： AI
要制作代码数据集，常用的代码处理都有哪些
在制作代码数据集时，常用的代码处理涉及以下多个方面，具体操作取决于你需要的数据集类型和目标。以下是常用的代码处理操作类别： 1. 代码清理与预处理 去除注释：移除代码中的单行、多行注释，减少干扰内容。…
开源代码数据集
The Stack（6TB） 下载链接：https://huggingface.co/datasets/bigcode/the-stack The Stack数据集，这是一个具有3.1TB的合法开源代…
深入浅出：LLM大语言模型的数据增强方法全解析
引言 数据增强（Data Augmentation, DA）是一种广泛使用的技术。尤其在低资源条件下，数据增强增加了训练数据的规模，这样不仅可以防止模型过拟合，还能够提高深度神经网络的鲁棒性。最初，数…
LLM资料大全：文本多模态大模型、垂直领域微调模型、STF数据集、训练微调部署框架、提示词工程等
原文：https://cloud.tencent.com/developer/article/2413799?cps_key=1d358d18a7a17b4a6df8d67a62fd3d3d
中国人工智能成熟度模型报告
01｜⼈工智能技术发展历程 02｜中国人⼯智能技术成熟度模型 03｜中国⼈工智能技术⼚厂商⽣生态图谱
ChatGPT的原理是什么
如果被问到 ChatGPT 的原理，可以从以下几个方面进行回答： 基本概念： ChatGPT 是一个基于 Transformer 架构的大规模语言模型，具体来说，它是由 OpenAI 基于 GPT（G…
MacBookPro M3 Max 64GB 用ollama跑llama3.1 8B 和 70B
llama3.1 8B mac M3 Max 64GB，用ollama跑llama3.1 8B，速度飞快，和gpt3.5响应速度差不多 llama3.1 70b 问答前后对比，64GB内存刚好够用，速…
理解并实现NLP中的停用词处理
在构建自然语言处理（NLP）应用时，处理停用词是一个关键步骤，无论是在传统NLP场景还是在大规模模型的数据集制作中。这篇文章将详细介绍停用词的概念、重要性、如何选择停用词列表，以及在不同场景下的应用策…
智谱视频生成模型：CogVideoX
智谱AI刚刚发布了升级版视频生成模型：CogVideoX 前端应用程序叫【清影】，支持文本生成视频和图像生成视频 特点： 1、快速生成：30秒即可生成6秒视频 2、指令遵循能力：能准确理解并执行复杂的…
AutoFlow: LLM Agent 的自动化工作流生成
LLM 在复杂任务解决中显示出巨大潜力，但目前 LLM Agent 通常需要手动设计工作流来指导其操作，这需要大量人力和专业知识。 论文提出了 AutoFlow 框架，可以自动为LLM Agent 生…
最有价值的生成式AI落地场景
瑞典皇家理工学院 @KTHuniversity开源的 「端到端机器学习」项目及课程资源与代码！
瑞典皇家理工学院 @KTHuniversity开源的 「端到端机器学习」项目及课程资源与代码！⚡🤯 涵盖实时交通预测，股票情绪分析，海浪预测，航班延误分析等实用场景🔥 通过 Serverless ML…
基于 Meta LLama 3 70B的开源 AI 搜索引擎项目：OpenPerPlex
使用Cohere 和semantic-chunkers 库进行语义分块 使用JINA API对结果进行重新排序 通过http://serper.dev 集成Google 搜索 使用Groq作为推理引擎…
LLMs-from-scratch——Implementing a ChatGPT-like LLM in PyTorch from scratch, step by step
这本 24.1K Star 的开源 LLM 教程/书籍也太好了！🤯 一边书籍已经被知名的 Manning 出版社出版，一边还在持续的跟进业界进展并加入到书籍中，最近又更新了如何《从 0 开始学习 LL…
编写有效提示词的艺术：全面指南
编写有效提示词的艺术：全面指南 在AI辅助内容创作和问题解决的时代，掌握提示词编写的艺术已成为一项基本技能。无论您是将AI用于个人项目、专业任务还是创意活动，提示词的质量都能显著影响您获得的结果。本指…
Claude
项目 创建项目 与项目沟通
无法连接huggingface下载模型或数据集网络问题解决
问题 OSError: We couldn’t connect to ‘https://huggingface.co’ to load this file, couldn’t find it in t…
中国大模型产品罗盘@202405
用ChatGPT解决各种问题的方法
一、5W1H 简单问题：what、who、when、where ——百度、谷歌 复杂问题：why、how ——GPT why：事实推理 — 事实依据：观点、立场、信仰 推导过程：逻辑自洽 4.0：请用…