ARTICLE DETAIL

资讯详情

深耕郑州网站建设与运营推广的一线实战洞察。

5步把微信记录变成数字分身对话API:WeClone极简微调的本地部署路径

5步把微信记录变成数字分身对话API:WeClone极简微调的本地部署路径 5步把微信记录变成数字分身对话APIWeClone极简微调的本地部署路径【免费下载链接】WeClone One-stop solution for creating your AI twin from chat history Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life.项目地址: https://gitcode.com/GitHub_Trending/we/WeCloneWeClone是一个数字分身对话API构建工具用你的微信聊天记录微调大模型再把结果绑到对话接口上让AI用你的语气说话。 一它能做什么不能做什么这个项目把你的微信聊天记录转成训练数据再用LoRA只训练少量参数的轻量微调方式省显存微调默认的ChatGLM3-6B模型。你得到的是一个说话像你的模型风格上限由数据决定。能微信记录转训练数据再做LoRA微调和对话API部署能命令行、浏览器、微信机器人三种渠道接入同一个微调模型不能不增加任何通识知识模型学的是你的说话习惯回答质量受限于数据数量与质量别拿它做开放域问答图WeClone数字分身的实际对话效果回复带着明显的个人语气⚡ 二从零到可运行的最短路径默认路线LoRA 16位精度、7B模型单卡需要约16GB显存。克隆代码并进入项目目录建议先用conda建独立环境Python 3.10最低3.8再装依赖。git clone https://gitcode.com/GitHub_Trending/we/WeClone cd WeClone pip install -r requirements.txt下载ChatGLM3-6B基础模型README说明了Hugging Face或ModelScope两种方法放到项目根目录的chatglm3-6b目录同时用PyWxDump微信聊天记录导出工具把聊天导出CSV放进data/csv目录跑转换脚本生成训练数据。python make_dataset/csv_to_json.py启动LoRA微调所有训练参数集中在 settings.json。python src/train_sft.py启动对话API服务数字分身对话API本地部署完成访问localhost:8000/docs查看接口文档。python src/api_service.py主要依赖依赖名作用白话版本约束llmtuner大模型微调框架LLaMA-Factory0.5.3itchat-uos微信机器人接口库1.5.0.dev0pandas读取处理CSV聊天记录无openaiAPI客户端0.28chromadb向量数据库工具无️ 三核心交互方式按渠道三种渠道都对接同一个微调模型微信机器人走的是数字分身API接口即src/api_service.py需先启动API服务。命令行CLI启动python src/cli_demo.py输入你叫什么名字啊回复我叫小张你呢clear可清空历史exit退出。CLI对话机器人本地部署最直接训练完一分钟就能验证风格适合开发者验收微调效果。浏览器Web页面启动python src/web_demo.py页面自动打开输入哈喽回复你好。。适合向同事或家人快速演示数字分身效果。微信机器人启动python src/wechat_bot/main.py终端显示二维码扫码后私聊或群聊机器人都能回复发早上好回你去吃早饭了嘛。适合用小账号长期在线挂着。 四数据流与关键配置数据链路三个环节微信记录导出CSV → csv_to_json.py 过滤敏感信息手机号、身份证号、邮箱、网址并组装问答对 →data/res_csv/sft目录下的训练数据供train_sft.py使用。关键配置集中在 settings.json参数建议值一句话说明per_device_train_batch_size4每卡批大小显存不够先降到1gradient_accumulation_steps8梯度累积步数降批大小后调大它保持等效样本量lora_rank4LoRA秩风格没学到位可酌情调大num_train_epochs3训练轮数loss降得太低要停手小心过拟合低配显卡不足16GB显存可改用QLoRA量化低秩微调README给出的估算表中7B模型4bit量化仅需约6GB显存。 五避坑清单下面5种情况最容易踩。回复风格不像自己→ 聊天数据量与质量不足 → 多聚合几个联系人的记录重跑数据脚本loss持续下降且回复开始复读→ 过拟合记住了数据 → 减少训练轮数loss约3.5即可停微信机器人被封号→ 主账号风险高 → 换小账号并先绑定银行卡担心敏感信息进数据集→ 原始记录含个人隐私 → 默认已过滤手机号与身份证可再往禁用词表里加训练显存爆掉OOM→ 显存低于16GB → 调小批大小或改QLoRA 4bit下一步试试运行python src/test_model.py用一组常见聊天问题给微调后的模型做个体检。【免费下载链接】WeClone One-stop solution for creating your AI twin from chat history Fine-tune LLMs with your chat logs to capture your unique style, then bind to a chatbot to bring your digital self to life.项目地址: https://gitcode.com/GitHub_Trending/we/WeClone创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表