以简单的方式重建数据工程底座
LongData 把复杂而易错的机制收进系统,留下简单、明确、可验证的工作面,并用独立于智能体的确定性验证证明每一次结果。让工程师的工作变简单的这些设计,正是智能体需要的工作环境。

一次真实运行:智能体编写的作业,平台对每一项运行保证与验收条件给出的裁决。
行业现状
数据工程正在进入智能体时代
数据工程与软件工程有一个关键差异:代码可以从编译、测试和运行结果中得到大量确定性反馈,数据工程的程序即使运行成功,结果仍然可能是错的。这类错误不以报错的形式出现,往往在数月之后的对账中才被发现。会产生幻觉的模型不会减少这类错误,只会让它们出现得更快、更多。
投入增加,资源仍然紧张
Deloitte 的 2025 年 CDO 调研显示,54% 的受访者在过去一年扩充了数据团队,63% 预计下一年继续扩充;48% 仍将预算和资源限制列为 AI 应用的主要挑战。
维护占用一半工程时间
Fivetran 对 500 名大型企业数据与技术负责人的调研显示,工程团队平均将 53% 的时间用于维护数据管道。
Fivetran《Enterprise Data Infrastructure Benchmark 2026》|500 名大型企业负责人 ↗
AI 主要加快了编码
dbt Labs 对 363 名从业者与管理者的调研显示,72% 优先考虑 AI 辅助编码,仅 24% 优先考虑包含测试、可观测性和质量控制的管道管理。
质量和治理仍是基础
BARC 对 1,795 名参与者的全球调研中,数据质量管理位列第二,数据治理位列第四;AI 与自动化没有取代这些基础能力。
现有数据工程体系为人类工程师设计,它的复杂性交给智能体之后,就成了几乎没有边界的动作空间。LongData 的判断是:智能体能否承担数据工程,关键不在模型本身,而在它工作的环境。
设计范式
三次分离:计算与存储、计算与程序、计算与语义
计算与存储分离已被业界验证,计算与程序分离、计算与语义分离由 LongData 作为范式提出。SQL 在程序与计算引擎之间划出了一条稳定、精确的边界;LongData 的意图在业务方与实现者之间划出另一条:业务方定义什么结果是对的,AI 编写实现,引擎完成计算,平台负责裁决。
计算与存储分离
计算不再绑定特定的数据存储。存储与计算独立扩展,已成为现代数据平台的基本架构。
计算与程序分离
全部计算从应用与数据管道中抽离,交给数据库与计算引擎。程序只充当胶水与协调控制,不承担计算。
计算与语义分离
业务需求,包括目标、口径、业务逻辑、规则、码值与验收标准,从 SQL、脚本和执行实现中抽离。实现可以重新生成和替换,业务语义成为长期资产。
计算与程序、计算与语义这两次分离之后,数据工程程序变得简单得多。这是智能体能够可靠地生成项目作业的原因,也是它从辅助编写管道走向完成数据工程的前提。
产品概览
LongData 由五个部分组成
LongData 不是在传统 ETL 系统之上增加 AI,而是以简单的方式重新设计的一套数据工程底座,智能体在这个底座上完成开发。
确定性执行内核
增量、窗口、并发、幂等、删除、故障恢复、批量处理、运行记录与运行前检查等通用机制由框架统一实现,每一次运行的行为确定、可复现。
意图
业务需求的机器可读形式:由智能体从业务方的需求文档翻译而来,独立于实现,按开放标准书写,版本化管理。
agent 循环
智能体从业务方的需求文档出发,编写、运行、验证并修正,直至交付一个完整的项目。
技能
承载平台的工程知识与企业自己的业务知识,经人工签字后供给智能体;企业的业务知识一经签字,在它的所有项目之间复用。
证据
每一次开发、运行、裁决与签字都自动留下记录,构成可审计的证据链。
产品价值
核心价值有两条,确定性验证是让这两条能被放心采用的保证
核心价值
运行更快
性能在设计时一次决定,智能体在这套设计之内编写。批处理作业的耗时可以从小时级降到分钟级,管道 7×24 小时以连续微批运行,延迟达到秒级。
核心价值
开发更省人
需求分析、编写、测试、修正与对账这些原本需要工程师排期数周的工作,由智能体在开发环境中完成。业务分析师提交一份需求文档,即可得到一个完整、经过验证的项目。
保证
每一个结果都经过校验
验收标准由业务方设定,裁决由平台执行,智能体无法改变裁决方式。执行前的检查不通过,作业不会运行,数据不会被改动;执行后,平台针对这次处理的数据逐项裁决。
交付流程
从需求文档到完整项目
agent 循环让会产生幻觉的模型在有限的预算内稳定收敛:智能体从业务方的需求文档出发,交付一个经过验证、可以上线运行的完整项目。
需求文档
业务分析师用业务语言写清目标、口径、码值定义与判定样本,不受任何模板约束。需求文档由人签字,是项目的语义源头。
开发与验证
智能体把需求文档译成项目的总体意图,逐层分解,直到每个目标可以由一个作业完成;为每个作业选用工具或生成实现,在开发环境运行,读取裁决,在出错的地方修正。
语义缺口上报
一个没有定义的码值、一个没有说明的口径,智能体不会猜测,而是停下并提交工单,由业务方答复。表结构的变更经工单交给 DBA。
签字与生产
平台冻结交付所运行的全部文件,在冻结的文件上从头重放整个项目,业务方依据完整的证据链签一次字。生产环境只运行签过字并晋升的版本,完全确定,没有 AI 参与。
运行裁决
每一次运行针对它处理的这批数据逐项裁决;阻断级条件不成立,结果标为不通过。
- 通过
schema_compatible执行前:目标可以无损地容纳每一个源值
- 通过
source_fully_read窗口内的源数据全部读到
- 通过
row_count_balanced源读 = 目标写 + 删除 + 拒绝 + 过滤
- 通过
rejects_captured_to被拒绝的行连同原因一并落库
- 不通过
codeMap源端出现码值表以外的值,作为语义缺口上报业务方
运行保证由各类作业自带,业务条件写在意图中。裁决由平台执行,智能体可以读取裁决,但无法改变裁决方式。
平台能力
平台内置的数据工程能力
智能体可靠的根本原因在于动作空间有界:数据工程中细节最多、最容易出错的机制,已经作为经过生产验证的能力沉淀在平台里。
数据同步与装载
全量与增量同步,按主键合并写入,跨系统的大批量装载。源端删除的数据按意图的声明在目标中标记或移除。
连续运行
管道 7×24 小时以连续微批运行,每一个微批取到源端最新的变更。
数据加工
码值映射、表达式计算、跨表关联与汇总下推到数据引擎执行;超出 SQL 能力的加工写成独立的加工代码。
对账
从行数核对到逐行比对,深度可选,两端可以位于不同的系统,也可以独立用于审计并非由本平台建设的管道。
元数据目录
自动采集各数据源的库、表与字段并持续更新,是智能体编写与平台检查共同依据的事实来源。
表结构变更
建表与改表始终由 DBA 执行。写入之前,平台检查目标能否无损地容纳每一个源值。
管道
多个作业组成管道,以编舞方式运行:增加或删除节点互不影响,运行不依赖中央调度器和外部协调服务,可以跨引擎、跨云迁移。
数据工程开发技能
平台随安装提供一整套数据工程开发技能,是多年数据工程实践的积累,指导智能体规划、设计与编写每一个作业。
治理、血缘与数据资产
治理所需的记录在每一次正常运转中自动产生:数据血缘无需人工登记,每一批数据可以追溯到产生它的意图、实现与运行;元数据、语义、证据与能力四类资产随使用持续沉淀。
运行裁决
每一次运行都经过裁决
LongData 不把可信定义为 AI 声称自己的结果正确。可信意味着:一个数据工件能够证明自己满足企业已经明确声明、版本化并授权采用的一组要求。
执行前拦截不可逆的损害
写入会导致截断、类型变化,或者把空值写进非空字段时,作业在运行前即被拒绝,并指明问题字段。
业务条件与运行保证
每一次运行都针对它处理的这批数据裁决:业务条件写在意图中,运行保证由各类作业自带。
对账深度可选
从行数一致、各列汇总值与空值数一致、主键一一对应,直至逐行比对。“可信到什么程度”由此成为一个可度量、可交付的产品属性。
验证只能加强,削弱必须留痕
业务方增加验收条件,可信度只会提高;删除已声明的条件需要重新签字,关闭运行保证必须写明理由并在报告中列出。
可信不是永不出错,而是始终明确当前结果被验证到了什么程度。
面向的角色
产品面向的第一角色是业务分析师
业务分析师同时掌握业务语义与技术理解,既懂口径与规则,也懂表与字段;LongData 让业务分析师不必再把需求转交给数据工程师。
业务分析师与数据分析师
用业务语言写需求文档,不写 SQL,得到一个经过验证的完整交付。
数据工程师
智能体无法独立完成开发时开出工单,数据工程师随即介入,找到问题所在,新增或改进技能,帮助智能体完成开发任务。
DBA
表结构与元数据目录仍由 DBA 掌控。平台把所需的变更连同建议方案提交给 DBA,从不自行执行。
数据治理与合规负责人
元数据目录、业务语义、验证结论以及开发与运行的记录随日常运转自动沉淀,可以直接用于数据资产入表与审计。
AI 平台负责人
一个任意智能体都可以驱动、无需人工文档即可自举的平台接口,可以作为 MCP 工具接入企业现有的智能体体系。
这一分工的推论
业务分析师既是需求的作者,也是交付的签字人,智能体因此只需做加速器,不必做完全正确的决策者。一个多数时候正确、其余情况能被验收条件当场拦下并交回给人的智能体,在这一分工下已经可用。
部署、安全与集成
数据与计算留在客户的数据库中
数据不出域
数据存储与大规模计算留在客户侧,平台只流转意图、裁决结果、记录与元数据这类小数据:数据不出域,没有出口费用,不被锁定。部署支持本地、混合与跨云。
模型不绑定厂商
企业可以使用云端的前沿模型、区域托管的模型服务,也可以使用本地部署的模型,并为不同的开发阶段选择不同的模型。
四种集成方式
在 Python 中直接调用,作为 MCP 工具接入企业现有的智能体体系,通过 HTTP 接口供其他系统调用,以及通过 Web 控制台供人操作。四种方式调用同一套实现,结论一致。
安全原则
凭证不进入项目,只读数据源不会被写入,表结构变更只由 DBA 执行,裁决不受智能体影响,每一次开发与运行全程留痕。
与我们联系
聊聊吧。
无论您的组织在内部承担数据交付、为客户建设数据系统,还是有意投资,都欢迎与我们联系。