1。近年来的基本介绍，大规模模型的开发主要由大型技术公司主导，其主要核心是大而高质量的数据资源。但是，这些公司通常不会传播其用于数据和数据处理的原始工具，这使学术界很难与大型培训数据的构建和优化保持最新状态，并且非常有限。尽管近年来有大型数据集的开源，但在准备大型模型数据方面，学术界仍然面临许多挑战。当前，大规模培训数据的清洁和构建主要基于各种研究设备，以“在闭门造车后面工作”，并且缺乏系统性和高效的工具。现有的数据处理工具Hadoop和Spark倾向于主要是传统方法，该方法支持尚未基于较晚的智能操作员的操作员ST领先的语言模型（LLM）。支持培训数据以构建大型和高级模型是有限的。为此，Zhang Winao团队和学术E Weinan提出了一个以数据为中心的系统，称为DataFlow。 IT系统根据规则，大型本地模型或大型模型实现了100多个数据治理操作员，并基于此建立了八个预先建立的数据处理管道（管道）。使用思想链合成强大的推理数据。提取和合成抹布数据以及其他常规数据政府要求。该系统允许用户灵活地组织现有操作员，开发新操作员，修改现有管道，组装个性化管道并遵守各种数据政府任务。当前，DataFlow完全在文本模式下完全接受数据治理，可用于先前的调整，受监视的设置和增强功能。治理数据可以有效地改善推理和搜索电容IES的一般学科的大规模语言模型，以及某些学科的表现，例如医疗，财务和法律。此外，数据流的多模式版本完全完全。它是指导的，我将在不久的将来见面。官方文件：https：//opendcai.github.io/dataflow-docgithub仓库：https：//github.com/opendcai/dataflow2。设计数据流框的数据处理逻辑主要分为操作员层和管道层。其次，FlowData通过数据管理类（存储）和大型后端类（LLMSServinving）实施阅读和写作管理，承认操作员调用大型模型，从而可以进行过滤，放大和得分复杂数据。此外，我们设计了数据流模块的代理。使用大型代理来执行多个智能数据的数据治理数据。 （1）根据用户的说明自动调整操作员，而新管道（2）自动根据用户的说明（3）代理自动求解数据分析任务。 2.1 MARCO设计数据管理：当前数据流主要支持大型文本数据处理。为了提高可用性，数据流内核使用数据框数据表作为读取和写入数据的载体。 Model BackendSlarge：当前，DataFlow允许两个后端：（1）使用VLLM或SGLANG作为本地推理后端，并实现大型模型作为本地GPU的推理服务。承认运营商的决定。 （2）使用应用程序方法向大型服务提供商的API启动请求（Chatgpt，DeepSeek等），以同时允许多个进程的请求。 2.2功能设计数据流操作员是实现基于规则的处理逻辑，深度学习模型或大型语言模型（LLM）的基本数据处理单元。 DataFlow管道是针对完成的多个数据流动器的有序处理ng数据处理的完整任务。 DataFlow当前有八个参考，我们提供了一个完整的管道，用户可以从中自定义和修改。 DataFlow代理是一种基于多个代理的协作的AU任务处理SystemTomatized，它涵盖了“任务分解 - 工具注册 - 执行编程 - 结果 - 结果 - 报告的生成”的完整过程，并承诺智能管理和执行复杂的任务。 2.3数据流的具体示例：评估操作员的示例：主要通过“一般评估运算符”和“独特的评估操作员”评估。采用典型的操作员，例如示例，主要是尺寸，例如文本的结构，多样性和复杂性，安全性，流动性，理解，教育价值，内容精度和有效性。有关更多信息，请参见官方文档https://opendcai.github.io/dataflow-doc/zh/guide/f50mqhmb/data处理vixine示例。示例：pRovides多个推荐的数据处理管道。 （1）典型的PR Pipetext数据职业主要包括对操作员的重复，重写和过滤，这允许消除冗余字符并提取有效信息的处理效果。有关更多信息，请参见官方文档https://opendcai.github.io/dataflow-doc/zh/guide/textpipepeline/。下图中的实验结果表明，在多个评估维度中，干净的数据改善了。 （2）强推理数据的合成流量主要包含三个操作员，可以支持数据综合和多维数据评估：1。问题管理：过滤非出现问题，整合新问题，验证问题的纠正并执行难度分数和分类。 2。答案和处理的生成：基于标准答案或问题模型生成的回答，包括格式过滤，长度过滤一个d精确验证。 3。数据删除：估计生成的数据和答案，以确保数据集的质量。有关更多信息，请参见官方文档https://opendcai.github.io/dataflow-doc/zh/guide/rasoniver ngpipepeline/。下图中的实验结果表明，随着多个评估维度，合成数据有所改善。 （3）文本2SQL数据合成管主要由以下步骤组成：1。数据过滤：SQL过滤和与问题描述相冲突的非valid数据。 2。难度分类：根据SQL语法的复杂性和执行批准率，将难度分开。 3。方案处理：摘录和格式数据库数据库信息。 4.知识生成：在SQL咨询中建立自然语言问题的其他知识要求。 5。问题优化：标准化问题的方程； 6。快速生成：建立一个高质量的问题被取代用于培训。有关更多信息，请参阅官方文档https://opendcai.github.io/dataflow-doc/zh/guide/text2sqlpipepeline/。以下图中的实验结果表明，处理的数据在多个评估维度中得到了改善。 （4）代理抹布数据处理过程主要由以下操作员组成：1。片段选择：选择和过滤重要文本。 2。建筑问答序列：根据现有片段信息建立成对的问题和答案。这对问题和答案需要原始文本支持。 3.问题质量评估：评估和分类的问题和答案对以及培养基原始的质量，以促进抹布知识基础的构建。 4。弗斯特水平问题：合并多对问题和答案的内容，以提高问题的复杂性和范围。 5。垂直合并问题：融合多对问题和答案中的多个问题这需要多次搜索。有关更多信息，请参见官方文档https://opendcai.github.io/dataflow-doc/zh/guide/agentirag_pipepeline/。下图的实验结果表明，合成数据训练模型在多个评估维度中有所改善。 （5）代理自动数据处理过程该代理主要由以下六个模块组成：它可以添加运算符并调整为现有运算符以实现自动数据处理管道。 1。计划代理：解决方案的任务，任务链。 2。派遣任务代码：分配任务。 3。执行代理：生成工具，过程任务。 4。工具记录：注册工具。 5。评估剂：纯化和验证。 6。分析代理：生成摘要和报告。有关更多信息，请参见官方文档https://opendcai.github.io/dataflow-doc/zh/guide/agent/agent/agent_for_data/ the Effects。效果如下：3。现在，您可以根据卷卷曲使用代码存储库t代码在数据流中实现并使用PIP。数据流是基于Pytorch操作员的组织以及所谓的。操作员的语句是通过__init__函数实现的，并且操作员操作是通过执行函数实现的。该界面简单，清晰且易于使用。官方GitHub存储库：https：//github.com/opendcai/dataflow用法文档还提供详细的教程文档。还要感谢通信源，提供有趣的信息，丰富并改善文档内容，确保数据流对初学者友好并促进开始。官方文件：https：//opendcai.github.io/dataflow-doc3.2它使用无线拖放和释放基于边界。单单击调用数据准备管道：为执行/执行特定方案的行业提供最佳实践模板。代理自动化管设计：通过多个C了解和分析客户的需求倒置回合，就数据过滤，数据集成，管道设置等提供合理的建议，并在确认后仅一键配置它们。该项目的官方开源文档：https：//opendcai.github.io/dataflow-docgithub仓库：https：//github.com/pithub.com/pithub.com/pithub.com/pithub.com/opendcai/opendcai/dataflow zhang Zhang weta研究人员是Innovation and Algorithm in of Shanghai的创新助理。主要研究地址是以数据为中心的学习，大型模型，数据管理。 [email protected] Vinan学者，中国科学院，上海算法创新研究所学术委员会主任和北京大学教授。主要的研究讲话是自动学习，IA以数据，计算数学，应用数学和AI4Science为中心。 [email protected]