Windows下中文微调Llama3单卡8G显存只需5分钟模型可接入GPT4、Ollama实现CPU推理聊天附Colab一键训练脚本。

Llama3模型申请与本地部署
   • Llama 3 模型申请与本地部署的几种方法总有一种适用你。  
AI大模型搭建本地知识库
   • Video  
Llama2微调教程
   • 使用自己的数据微调Llama 2 最简单方法 Llama 2 “烹饪”...  
Llama2申请与本地部署
   • Llama2模型申请与本地部署详细教程  

colab一键训练
https://colab.research.google.com/dri...
unslo本地安装包下载
百度网盘https://pan.baidu.com/s/17XehOXC2LMbn...
谷歌网盘https://drive.google.com/drive/folder...
视频里训练的lorahttps://drive.google.com/file/d/1REtJ...

Windows本地部署条件
1、Windows10/Windows11
2、英伟达卡8G显存、16G内存安装CUDA12.1、cuDNN8.9C盘剩余空间20GB、unsloth安装盘S40GB
3、依赖软件CUDA12.1+cuDNN8.9、Python11.9、Git、Visual Studio 2022、llvm(可选
4、HuggingFace账号上传训练数据集

Windows部署步骤
一、下载安装包
1、安装cuda12.1配置cuDNN8.9
2、安装Visual Studio 2022
3、解压unsloth
4、安装python11
5、安装git
6、设置llvm系统环境变量(可选
二、安装unsloth
1、使用python11创建虚拟环境
python311\python.exe m venv venv
2、激活虚拟环境
call venv\script\activate.bat
3、安装依赖包
pip install torch==2.2.2 indexurl https://download.pytorch.org/whl/cu121
pip install "unsloth[colabnew] @ git+https://github.com/unslothai/unsloth....
pip install nodeps trl peft accelerate bitsandbytes
pip install deepspeed0.13.1+unknownpy3noneany.whl
pip install triton2.1.0cp311cp311win_amd64.whl
pip install xformers
4、测试安装是否成功
nvcc version
python m [xformers.info](http://xformers.info/)
python m bitsandbytes
5、运行脚本
testunlora.py 测试微调之前推理
finetuning.py 用数据集微调
testlora.py 测试微调之后推理
save16bit.py 合并保存模型16位
savegguf4bit.py 4位量化gguf格式
三、4位量化需要安装llama.cpp步骤如下
1、git clone https://github.com/ggerganov/llama.cpp
2、按官方文档编译
mkdir build
cd build
cmake .. DLLAMA_CUBLAS=ON
3、设置Visual Studio 2022中cmake路径到系统环境变量path里
C:\Program Files\Microsoft Visual Studio\2022\Professional\Common7\IDE\CommonExtensions\Microsoft\CMake\CMake\bin
C:\Program Files\Microsoft Visual Studio\2022\Professional
4、编译llama.cpp
cmake build . config Release
5、如果上面这句编译命令无法执行需要做以下操作
复制这个路径下的
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1\extras\visual_studio_integration\MSBuildExtensions
4个文件粘贴到以下目录里
C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\MSBuild\Microsoft\VC\v170\BuildCustomizations
6、编译好以后把llama.cpp\build\bing\release目录下的所有文件复制到llama.cpp目录下
7、重新运行finetuning.py微调保存为

00:00 介绍
00:44 第一部分colab微调
02:18 训练数据集
03:26 微调设置与训练
06:21 微调后用GPT4All推理
07:21 第二部分本地微调
08:46 本地部署训练程序
13:28 本地微调
14:42 本地量化4位模型