Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
thomas-yanxin
953abfb74b
|
1 year ago | |
|---|---|---|
| __pycache__ | 1 year ago | |
| docs | 1 year ago | |
| img | 1 year ago | |
| modelscope | 1 year ago | |
| nltk_data | 1 year ago | |
| Dockerfile | 1 year ago | |
| LICENSE | 1 year ago | |
| README.md | 1 year ago | |
| app.py | 1 year ago | |
| chatllm.py | 1 year ago | |
| chinese_text_splitter.py | 1 year ago | |
| config.py | 1 year ago | |
| requirements.txt | 1 year ago | |
README.md
🔥项目体验
本项目提供基于HuggingFace社区和ModelScope魔搭社区的在线体验, 欢迎尝试和反馈!
👏项目介绍
受langchain-ChatGLM启发, 利用LangChain和ChatGLM-6B系列模型制作的Webui, 提供基于本地知识的大模型应用.
目前支持上传 txt、docx、md、pdf等文本格式文件, 提供包括ChatGLM-6B系列、Belle系列等模型文件以及GanymedeNil/text2vec-large-chinese、nghuyong/ernie-3.0-base-zh、nghuyong/ernie-3.0-nano-zh等Embedding模型.
效果如下:
🚀使用方式
提供ModelScope版本和HuggingFace版本.
需要Python>=3.8.1
使用步骤
- git clone本项目:
git clone https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui.git - 进入本项目目录：
cd LangChain-ChatGLM-Webui - 安装依赖包：
pip3 install -r requirements.txt - 执行app.py：
python3 app.py
Docker编译
- 编译镜像：
docker build -t langchain-chatglm-webui . - 运行镜像：
docker run -it --rm --runtime=nvidia --gpus all --network host langchain-chatglm-webui
Docker运行
- 运行镜像：
docker run -d --name langchain-ChatGLM-webui --runtime=nvidia --gpus all --network host registry.cn-beijing.aliyuncs.com/public-development-resources/langchain-chatglm-webui:latest - 挂载cache 方式容器重启或者更新需要重新下载相关模型。
-v langchain-ChatGLM-webui-cache:/root/.cache/ - 挂载外部模型，选择 LocalModels 使用本地模型。
-v ~/THUDM_chatglm-6b/:/models - 访问服务：
http://ip:7861 - 运行环境，镜像大小约16G。
- 自适应多GPU场景, 增加多GPU并行处理能力.
- 镜像默认加载模型chatglm-6B
- nvidia-runtime 请参考: container-toolkit
支持模型
若存在网络问题可点击以下链接快速下载:
| large language model | Embedding model |
|---|---|
| ChatGLM-6B | text2vec-large-chinese |
| ChatGLM-6B-int8 | ernie-3.0-base-zh |
| ChatGLM-6B-int4 | ernie-3.0-nano-zh |
| ChatGLM-6B-int4-qe | ernie-3.0-xbase-zh |
| Vicuna-7b-1.1 | simbert-base-chinese |
| BELLE-LLaMA-7B-2M | |
| BELLE-LLaMA-13B-2M | |
| Minimax |
💪更新日志
详情请见: 更新日志
项目处于初期阶段, 有很多可以做的地方和优化的空间, 欢迎感兴趣的社区大佬们一起加入!
❤️引用
- ChatGLM-6B: ChatGLM-6B: 开源双语对话语言模型
- LangChain: Building applications with LLMs through composability
- langchain-ChatGLM: 基于本地知识的 ChatGLM 应用实现
🙇感谢
- langchain-ChatGLM提供的基础框架
- 魔搭ModelScope提供展示空间
- OpenI启智社区提供调试算力
- @online2311进行多卡测试、增加外部访问支持、增加ChatGLM-6b-local 本地模型读取路径、修复text2vec 无法加载的错误、增加 Dockerfile、增加Docker 使用说明
Star History
加群沟通
基于LangChain和ChatGLM-6B的针对本地知识库的自动问答
Python Dockerfile Text
