以简单的方式重建数据工程底座

LongData 把复杂而易错的机制收进系统,留下简单、明确、可验证的工作面,并用独立于智能体的确定性验证证明每一次结果。让工程师的工作变简单的这些设计,正是智能体需要的工作环境。

确定性执行内核意图agent 循环技能证据
LongData 运行裁决:智能体编写的作业,每一项运行保证与验收条件都标注了通过或跳过

一次真实运行:智能体编写的作业,平台对每一项运行保证与验收条件给出的裁决。

行业现状

数据工程正在进入智能体时代

数据工程与软件工程有一个关键差异:代码可以从编译、测试和运行结果中得到大量确定性反馈,数据工程的程序即使运行成功,结果仍然可能是错的。这类错误不以报错的形式出现,往往在数月之后的对账中才被发现。会产生幻觉的模型不会减少这类错误,只会让它们出现得更快、更多。

投入增加,资源仍然紧张

Deloitte 的 2025 年 CDO 调研显示,54% 的受访者在过去一年扩充了数据团队,63% 预计下一年继续扩充;48% 仍将预算和资源限制列为 AI 应用的主要挑战。

Deloitte《Chief Data Officer Survey 2025》 ↗

维护占用一半工程时间

Fivetran 对 500 名大型企业数据与技术负责人的调研显示,工程团队平均将 53% 的时间用于维护数据管道。

Fivetran《Enterprise Data Infrastructure Benchmark 2026》|500 名大型企业负责人 ↗

AI 主要加快了编码

dbt Labs 对 363 名从业者与管理者的调研显示,72% 优先考虑 AI 辅助编码,仅 24% 优先考虑包含测试、可观测性和质量控制的管道管理。

dbt Labs《State of Analytics Engineering 2026》|363 名受访者 ↗

质量和治理仍是基础

BARC 对 1,795 名参与者的全球调研中,数据质量管理位列第二,数据治理位列第四;AI 与自动化没有取代这些基础能力。

BARC《Data, BI & Analytics Trend Monitor 2025》|1,795 名参与者 ↗

现有数据工程体系为人类工程师设计,它的复杂性交给智能体之后,就成了几乎没有边界的动作空间。LongData 的判断是:智能体能否承担数据工程,关键不在模型本身,而在它工作的环境。

设计范式

三次分离:计算与存储、计算与程序、计算与语义

计算与存储分离已被业界验证,计算与程序分离、计算与语义分离由 LongData 作为范式提出。SQL 在程序与计算引擎之间划出了一条稳定、精确的边界;LongData 的意图在业务方与实现者之间划出另一条:业务方定义什么结果是对的,AI 编写实现,引擎完成计算,平台负责裁决。

业界已验证

计算与存储分离

计算不再绑定特定的数据存储。存储与计算独立扩展,已成为现代数据平台的基本架构。

LongData 的主张

计算与程序分离

全部计算从应用与数据管道中抽离,交给数据库与计算引擎。程序只充当胶水与协调控制,不承担计算。

LongData 的主张

计算与语义分离

业务需求,包括目标、口径、业务逻辑、规则、码值与验收标准,从 SQL、脚本和执行实现中抽离。实现可以重新生成和替换,业务语义成为长期资产。

计算与程序、计算与语义这两次分离之后,数据工程程序变得简单得多。这是智能体能够可靠地生成项目作业的原因,也是它从辅助编写管道走向完成数据工程的前提。

产品概览

LongData 由五个部分组成

LongData 不是在传统 ETL 系统之上增加 AI,而是以简单的方式重新设计的一套数据工程底座,智能体在这个底座上完成开发。

  1. 确定性执行内核

    增量、窗口、并发、幂等、删除、故障恢复、批量处理、运行记录与运行前检查等通用机制由框架统一实现,每一次运行的行为确定、可复现。

  2. 意图

    业务需求的机器可读形式:由智能体从业务方的需求文档翻译而来,独立于实现,按开放标准书写,版本化管理。

  3. agent 循环

    智能体从业务方的需求文档出发,编写、运行、验证并修正,直至交付一个完整的项目。

  4. 技能

    承载平台的工程知识与企业自己的业务知识,经人工签字后供给智能体;企业的业务知识一经签字,在它的所有项目之间复用。

  5. 证据

    每一次开发、运行、裁决与签字都自动留下记录,构成可审计的证据链。

产品价值

核心价值有两条,确定性验证是让这两条能被放心采用的保证

核心价值

运行更快

性能在设计时一次决定,智能体在这套设计之内编写。批处理作业的耗时可以从小时级降到分钟级,管道 7×24 小时以连续微批运行,延迟达到秒级。

核心价值

开发更省人

需求分析、编写、测试、修正与对账这些原本需要工程师排期数周的工作,由智能体在开发环境中完成。业务分析师提交一份需求文档,即可得到一个完整、经过验证的项目。

保证

每一个结果都经过校验

验收标准由业务方设定,裁决由平台执行,智能体无法改变裁决方式。执行前的检查不通过,作业不会运行,数据不会被改动;执行后,平台针对这次处理的数据逐项裁决。

交付流程

从需求文档到完整项目

agent 循环让会产生幻觉的模型在有限的预算内稳定收敛:智能体从业务方的需求文档出发,交付一个经过验证、可以上线运行的完整项目。

  1. 需求文档

    业务分析师用业务语言写清目标、口径、码值定义与判定样本,不受任何模板约束。需求文档由人签字,是项目的语义源头。

  2. 开发与验证

    智能体把需求文档译成项目的总体意图,逐层分解,直到每个目标可以由一个作业完成;为每个作业选用工具或生成实现,在开发环境运行,读取裁决,在出错的地方修正。

  3. 语义缺口上报

    一个没有定义的码值、一个没有说明的口径,智能体不会猜测,而是停下并提交工单,由业务方答复。表结构的变更经工单交给 DBA。

  4. 签字与生产

    平台冻结交付所运行的全部文件,在冻结的文件上从头重放整个项目,业务方依据完整的证据链签一次字。生产环境只运行签过字并晋升的版本,完全确定,没有 AI 参与。

运行裁决

每一次运行针对它处理的这批数据逐项裁决;阻断级条件不成立,结果标为不通过。

  • 通过
    schema_compatible

    执行前:目标可以无损地容纳每一个源值

  • 通过
    source_fully_read

    窗口内的源数据全部读到

  • 通过
    row_count_balanced

    源读 = 目标写 + 删除 + 拒绝 + 过滤

  • 通过
    rejects_captured_to

    被拒绝的行连同原因一并落库

  • 不通过
    codeMap

    源端出现码值表以外的值,作为语义缺口上报业务方

运行保证由各类作业自带,业务条件写在意图中。裁决由平台执行,智能体可以读取裁决,但无法改变裁决方式。

平台能力

平台内置的数据工程能力

智能体可靠的根本原因在于动作空间有界:数据工程中细节最多、最容易出错的机制,已经作为经过生产验证的能力沉淀在平台里。

数据同步与装载

全量与增量同步,按主键合并写入,跨系统的大批量装载。源端删除的数据按意图的声明在目标中标记或移除。

连续运行

管道 7×24 小时以连续微批运行,每一个微批取到源端最新的变更。

数据加工

码值映射、表达式计算、跨表关联与汇总下推到数据引擎执行;超出 SQL 能力的加工写成独立的加工代码。

对账

从行数核对到逐行比对,深度可选,两端可以位于不同的系统,也可以独立用于审计并非由本平台建设的管道。

元数据目录

自动采集各数据源的库、表与字段并持续更新,是智能体编写与平台检查共同依据的事实来源。

表结构变更

建表与改表始终由 DBA 执行。写入之前,平台检查目标能否无损地容纳每一个源值。

管道

多个作业组成管道,以编舞方式运行:增加或删除节点互不影响,运行不依赖中央调度器和外部协调服务,可以跨引擎、跨云迁移。

数据工程开发技能

平台随安装提供一整套数据工程开发技能,是多年数据工程实践的积累,指导智能体规划、设计与编写每一个作业。

治理、血缘与数据资产

治理所需的记录在每一次正常运转中自动产生:数据血缘无需人工登记,每一批数据可以追溯到产生它的意图、实现与运行;元数据、语义、证据与能力四类资产随使用持续沉淀。

运行裁决

每一次运行都经过裁决

LongData 不把可信定义为 AI 声称自己的结果正确。可信意味着:一个数据工件能够证明自己满足企业已经明确声明、版本化并授权采用的一组要求。

执行前拦截不可逆的损害

写入会导致截断、类型变化,或者把空值写进非空字段时,作业在运行前即被拒绝,并指明问题字段。

业务条件与运行保证

每一次运行都针对它处理的这批数据裁决:业务条件写在意图中,运行保证由各类作业自带。

对账深度可选

从行数一致、各列汇总值与空值数一致、主键一一对应,直至逐行比对。“可信到什么程度”由此成为一个可度量、可交付的产品属性。

验证只能加强,削弱必须留痕

业务方增加验收条件,可信度只会提高;删除已声明的条件需要重新签字,关闭运行保证必须写明理由并在报告中列出。

可信不是永不出错,而是始终明确当前结果被验证到了什么程度。

面向的角色

产品面向的第一角色是业务分析师

业务分析师同时掌握业务语义与技术理解,既懂口径与规则,也懂表与字段;LongData 让业务分析师不必再把需求转交给数据工程师。

  • 业务分析师与数据分析师

    用业务语言写需求文档,不写 SQL,得到一个经过验证的完整交付。

  • 数据工程师

    智能体无法独立完成开发时开出工单,数据工程师随即介入,找到问题所在,新增或改进技能,帮助智能体完成开发任务。

  • DBA

    表结构与元数据目录仍由 DBA 掌控。平台把所需的变更连同建议方案提交给 DBA,从不自行执行。

  • 数据治理与合规负责人

    元数据目录、业务语义、验证结论以及开发与运行的记录随日常运转自动沉淀,可以直接用于数据资产入表与审计。

  • AI 平台负责人

    一个任意智能体都可以驱动、无需人工文档即可自举的平台接口,可以作为 MCP 工具接入企业现有的智能体体系。

这一分工的推论

业务分析师既是需求的作者,也是交付的签字人,智能体因此只需做加速器,不必做完全正确的决策者。一个多数时候正确、其余情况能被验收条件当场拦下并交回给人的智能体,在这一分工下已经可用。

部署、安全与集成

数据与计算留在客户的数据库中

数据不出域

数据存储与大规模计算留在客户侧,平台只流转意图、裁决结果、记录与元数据这类小数据:数据不出域,没有出口费用,不被锁定。部署支持本地、混合与跨云。

模型不绑定厂商

企业可以使用云端的前沿模型、区域托管的模型服务,也可以使用本地部署的模型,并为不同的开发阶段选择不同的模型。

四种集成方式

在 Python 中直接调用,作为 MCP 工具接入企业现有的智能体体系,通过 HTTP 接口供其他系统调用,以及通过 Web 控制台供人操作。四种方式调用同一套实现,结论一致。

安全原则

凭证不进入项目,只读数据源不会被写入,表结构变更只由 DBA 执行,裁决不受智能体影响,每一次开发与运行全程留痕。

数据可以继续留在企业现有的数据库或存储中,例如OraclePostgreSQLDb2SQL ServerMySQLSparkSnowflakeDatabricksMinIO

与我们联系

聊聊吧。

无论您的组织在内部承担数据交付、为客户建设数据系统,还是有意投资,都欢迎与我们联系。