太通透了!大模型训练和推理优化技术最全汇总!
1、关键内容：DeepSpeed的ZeRO技术能够减少单卡的内存负担，通过数据并行和零冗余优化模型存储，提高训练效率。Torch FSDP + cpu Offloading：关键内容：FSDP可以优化内存使用，而CPU Offloading技术则能够动态地在gpu和CPU之间转移参数，以减轻GPU的负载。
2、DeepSpeed分布式训练： ZeRO技术减少单卡内存负担，通过数据并行和零冗余优化模型存储。Torch FSDP + CPU Offloading： FSDP优化内存使用，CPU offload动态地在GPU和CPU间转移参数。3D并行： 除数据并行外，模型并行和流水线并行也是优化手段。
3、- **模型训练**：微调框架SWIFT已支持Qwen5全系列模型的微调和推理，以自我认知任务为例给出千问5-7b-chat模型的训练参数配置。- **训练参数配置**：ms-bench数据集、Loss收敛情况、训练的显存使用情况。- **训练后推理效果**：提供脚本进行推理。
4、程式性现代设计方法研究设计的全过程，要求设计者从产品规划、方案设计、技术设计、施工设计到试验、试制进行全面考虑，按步骤有计划地进行设计。强调设计、生产与销售一体化。
【文章综述】LLM驱动的UI自动化:大家都是怎么做的?
文章1：DroidBot-GPT：为android应用UI自动化注入gpt力量。该方法通过自然语言描述任务，由DroidBot-GPT自动生成并执行操作，如创建联系人Alice，并保存其手机号、邮箱等信息。核心步骤包括组合任务描述、界面状态、操作历史和输出要求为LLM提示。
自动化生成：通过chrome插件，用户模拟操作后，平台能够自动生成测试脚本，支持常见的UI操作。降低手写成本：解决了手写测试脚本成本高、易出错的问题。数据沙箱：隔离测试数据：通过数据沙箱技术，隔离和控制测试数据，确保测试的稳定性和可重复性。
Open API：支持与开发、发布流程无缝集成，通过API调用执行测试，实现自动化测试的标准化流程。 平台的实现原理涉及目标元素定位的增强、基于LLM的智能识别、DOM压缩以及Prompt设计，通过这些技术，即使页面结构发生改变，也能保持测试的有效性。
GPT在中文语境下识别不友好。AutoGen处理预定义动作存在问题。GPT4V成本高昂。未来计划将图像识别本地化处理，减少Token消耗和执行耗时。面向业务的GPT需要不断训练，以增强系统识别和测试能力。
从 web 诞生之日起，UI 自动化就成了测试的难点，尽管发展了很多的 webdriver 驱动和图片 diff 驱动的工具，但它们的投入产出比一直被质疑，自动化率越高维护成本越高，大部分都做着就放弃了，还有一部分在做与不做间纠结。本文结合一些开源的项目探索使用 GPT 自动做 UI 测试的可能性。
一文教你基于LangChain和ChatGLM3搭建本地知识库问答
1、LangChain组件：通过Models、Prompts、Indexes、Chains等组件实现大语言模型与外部数据的集成。实战案例：在ModelARTS平台上，利用LangChain和ChatGLM3构建本地知识库问答系统，展示从代码运行到功能测试的全过程。总结：基于LangChain和ChatGLM3搭建本地知识库问答系统，需要结合大语言模型与外部数据源，利用LangChain框架的组件实现集成。
2、基于LangChain+GLM搭建知识本地库的步骤如下：准备阶段：选择模型：默认使用GanymedeNil/text2veclargechinese作为嵌入模型，并使用ChatGLM6B作为语言模型。同时，系统也支持其他模型如Vicuna、Alpaca、LLaMA、Koala、RWKV等通过fastchat api接入。
3、部署基于 Langchain 与 ChatGLM 的本地知识库问答应用 LangChain-Chatchat，我尝试了私有化部署，遵循仓库内的 readme 和 INSTALL.md。过程中遇到了一些小问题，如缺少某些库，导致一键启动脚本启动的服务无法通过服务器IP外部访问。
4、受GanymedeNil和AlexZhangji的启发，我们构建了一个全开源模型驱动的本地知识库问答系统，支持ChatGLM-6B和其他模型通过fastchat api接入，包括Vicuna、Alpaca、LLaMA、Koala、RWKV等。默认使用GanymedeNil/text2vec-large-chinese作为嵌入，并使用ChatGLM-6B作为语言模型。
5、本文介绍如何安装和使用LangChain-Chatchat，一个基于Langchain与ChatGLM等大语言模型的本地知识库问答应用。安装步骤分为三种方式：autoDL、docker和本地部署。本地部署虽然较为麻烦，但能提供更灵活的调试环境和深入了解项目运行机制的机会。
6、普通的对话体验与单独使用ChatGLM26b相似。知识库问答部分能够从上传的文档中提取信息并提供答案，但问答过程缺乏指导，需要用户自行探索有效提问方式。总结：LangchainChatchat作为本地知识库问答应用，在文档内容提取和问答方面展现了一定的拓展能力。
