用大模型生成低代码页面后,如何做人工校验与规则兜底
当大模型开始直接产出低代码页面的JSON DSL,“生成即上线”很快会被现实打脸:字段错配、权限越界、性能塌方三类问题几乎必然出现。本文以我们团队在一个制造业客户项目中的实战复盘为线索,给出AI生成页面后的完整治理方案:把人工校验做成可量化的分级评审清单(P0/P1/P2三级、双人复核),把规则兜底前移到Prompt约束层与DSL Schema层,并落地一套四层校验流水线(L0~L3)。实测结果显示,页面首次可交付率从62.4%提升至91.7%,单页评审耗时从22分钟压缩到7分钟,线上P0事故归零。文末附12条避坑清单与可直接复用的校验代码、配置片段。
一、大模型生成低代码页面的能力边界与真实风险
先说结论:大模型擅长生成”看起来对”的页面,不擅长保证”实际上对”的页面。这句话是我们踩了三个月坑之后总结出来的。
在AI加持的低代码平台里,页面生成的链路通常是这样的:用户在对话框里描述需求 → 大模型输出一段结构化JSON(我们内部叫 Page DSL)→ 低代码引擎解析DSL → 渲染成表单/表格/流程页面 → 绑定数据源和权限点 → 发布。整条链路里,模型只负责第二步,但它输出的这一个JSON,决定了后面所有的正确性。
问题就出在这里。模型训练时见过大量的页面结构和字段名,所以它对”长什么样”有很强的先验;但它对你们公司的业务约束一无所知——不知道金额字段不能为负、不知道customer_id必须走租户隔离、不知道这张表有1200万行数据不能全量拉取。它只是把一个统计学上”最像表单”的东西拼出来。
我们在一个制造业客户的中台项目里做过统计:在未加任何约束的情况下,大模型生成的低代码页面首次可交付率只有62.4%,也就是说接近四成的页面必须有人回头返工。这个数字和业内几份公开报告的区间基本吻合(部分厂商给出的乐观数据是75%左右,但口径是”可运行”而非”可交付”,差别很大)。
把风险拆开看,主要落在五个层面:
| 风险层级 | 典型表现 | 发现难度 | 线上影响 |
|---|---|---|---|
| 语法层 | DSL 字段拼错、组件类型不存在 | 低(解析即报错) | 无 |
| 语义层 | 字段名对但含义错、必填漏标 | 中 | 脏数据入库 |
| 权限层 | 按钮无权限点、接口无租户隔离 | 高 | 越权、数据泄露 |
| 性能层 | 无分页、无索引、循环查库 | 高 | 接口超时、拖垮服务 |
| 合规层 | 敏感字段明文展示、无审计日志 | 极高 | 审计不通过 |
你会发现一个规律:越往下,模型越不管,人工越难查,线上越致命。所以”人工校验”和”规则兜底”不是可选项,而是这套技术栈能不能进生产环境的门槛。
我们后来定的原则很简单:模型负责”起草”,机器规则负责”拦截”,人负责”判断业务意图”。三者缺一不可。下面的章节就按这个原则展开。
二、三类典型事故复盘:从字段错配到权限越界
光讲架构太虚,先看三个真实事故。为了脱敏,字段名做了替换,但细节都是原样。
事故一:金额字段没有校验,报表偏差 47 万
现象:财务月度对账时发现,某供应商应付金额比ERP系统多出47.3万。追查发现是采购申请页面允许录入负数金额,业务人员误输入了-12000,系统照单全收,导致汇总时出现负数抵扣。
根因:Prompt里只写了”生成采购申请表单,字段包括供应商、金额、申请日期”,没有声明任何校验规则。模型生成了amount字段,类型是number,required: true,但没有任何 minimum/正则/范围约束。低代码引擎默认不做业务校验,只做类型校验。
修复:在DSL层增加校验节点,同时在规则引擎里加了一条全局兜底规则——所有名称匹配/(amount|price|money|fee)/i的字段,默认注入minimum: 0。
{ "field": "amount", "type": "number", "required": true, "rules": [ { "type": "min", "value": 0, "message": "金额不能为负" }, { "type": "max", "value": 10000000, "message": "单笔金额超限,请走大额审批" }, { "type": "precision", "value": 2 } ]}事故二:按钮没有权限点,普通账号能点”批量删除”
现象:测试环境一切正常,上线第二天被安全扫描报出来——列表页的”批量删除”按钮对所有角色可见可用。原因是模型生成的DSL里,按钮组件只有label和action,没有permissionCode字段。
根因:这是典型的”模型不知道你们有RBAC”。它在训练数据里见过的按钮,大部分就是label + click。低代码引擎在permissionCode缺省时的默认行为是”不校验”,这个默认值在演示场景很友好,在生产场景是灾难。
修复:两条线,一是DSL Schema把permissionCode设为必填(含删除、导出、审批等敏感动作的组件),二是引擎侧把缺省行为从”放行”改成”拒绝并告警”。改完之后,同类问题在后续4个项目中零复现。
事故三:表格全量加载,接口从 210ms 涨到 6.4s
现象:客户主数据列表页上线后,接口P95响应时间从原来的210ms飙升到6.4s,高峰期直接502。
根因:模型生成的表格组件没有配分页,pageSize缺省为-1(全量),而后端接口又恰好支持全量返回。这张表有1270万行。更麻烦的是,这个问题在测试环境完全看不出来,因为测试库只有8000行。
修复:增加一条硬性规则——任何绑定数据源的列表组件,pagination必须存在且pageSize <= 100,不满足直接阻断发布。同时在预发环境加了一条数据量探针,抽样统计目标表行数,超过10万行时强制要求走异步导出或服务端分页。
这三起事故的共同点值得单独说一句:没有一个是模型”生成错了”,全都是模型”没有生成该有的东西”。缺失比错误更难查,因为错误会报错,缺失只会安静地跑。这也是为什么后面我们把重心放在了”必填项校验”和”缺省值收紧”上,而不是一味优化Prompt。
三、四层校验架构:静态Schema检查到运行时兜底
踩完坑之后,我们把治理手段收敛成一套四层架构。每一层的职责边界很清楚,不重叠,也不留空档。
┌─────────────────────────────────────────────┐│ L0 Prompt 约束层 ││ 职责:让模型少犯错(Schema + few-shot + 枚举白名单)││ 拦截率贡献:约 45% │├─────────────────────────────────────────────┤│ L1 DSL 静态校验层 ││ 职责:结构合法性、必填项、组件白名单、字段映射 ││ 拦截率贡献:约 30% │├─────────────────────────────────────────────┤│ L2 业务语义校验层 ││ 职责:权限点、数据源、租户隔离、合规字段 ││ 拦截率贡献:约 20% │├─────────────────────────────────────────────┤│ L3 运行时兜底层 ││ 职责:限流、降级、审计日志、异常熔断 ││ 拦截率贡献:约 5%(但兜住的是最致命的那部分) │└─────────────────────────────────────────────┘L0 Prompt约束层:核心思路是”别让模型自由发挥”。我们不再让它输出自由文本再解析,而是直接输出符合JSON Schema的Page DSL。Schema里所有枚举字段(组件类型、校验类型、数据源类型)都给了白名单,模型只能从白名单里选。这一层不写代码,全靠Schema和few-shot示例,成本最低、收益最高。
L1 DSL静态校验层:纯确定性代码,用JSON Schema校验器 + 自定义规则跑一遍。这一层的特点是快、便宜、可CI化,单次校验耗时约18ms,完全可以放进提交钩子。规则集我们维护了63条,其中P0级(阻断)21条。
L2 业务语义校验层:需要连元数据服务,检查字段是否真实存在于目标表、权限点是否在权限中心注册过、数据源是否在租户白名单内。这一层耗时约120ms,因为它要查元数据缓存,但换来的是权限类问题100%在发布前暴露。
L3 运行时兜底层:前两层是”防患于未然”,L3是”出事了别炸”。包括接口级限流、慢查询熔断、敏感操作审计日志、以及一个很实用的东西——DSL版本快照。每次发布保留完整DSL,出问题可以在30秒内回滚到上一个版本。我们后来统计,L3真正触发拦截的次数只占总量的5%左右,但其中有2次直接避免了大面积生产事故,价值远超投入。
这里要强调一个反直觉的结论:不要指望用L2/L3去补L0的窟窿。我们最初的版本是L0随便写、靠后面几层硬拦,结果L1的报警日志一天几百条,团队直接脱敏,规则形同虚设。后来把L0的Schema收紧,L1的报警量降到每天个位数,人才会真的去看。告警的价值取决于它的稀有度。
四、人工校验怎么做得动:评审清单与责任分工设计
规则能拦住”确定的错”,拦不住”意图的偏”。比如模型生成了一张”客户投诉登记表”,字段齐全、权限正确、性能没问题,但它把”投诉类型”设计成了单选,而业务实际需要多选(一次投诉可能涉及质量+物流)。这种问题只有人能判断,所以人工校验不能省。
但”人工校验”最大的坑是——它会退化成”点一遍看看”。我们早期就是这样,评审人打开页面随便点几下,觉得”能跑”,点了通过,上线后出问题再互相甩锅。所以必须把它做结构化。
我们的做法是三件事:分级清单、双人复核、变更高亮。
分级清单(P0/P1/P2)
| 等级 | 定义 | 处理方式 | 检查项示例 |
|---|---|---|---|
| P0 | 阻断发布,必须修复 | 不修不放行 | 删除/导出按钮无权限点;金额字段无范围校验;列表无分页 |
| P1 | 本次迭代内修复 | 可先灰度,限期整改 | 必填标识与业务不符;字段label与ERP口径不一致 |
| P2 | 建议优化 | 记录进技术债 | 布局间距不统一;组件命名不规范 |
清单我们维护在内部Wiki,P0共14项、P1共23项、P2共11项,每项都写了”怎么查”和”找谁确认”。举两个例子:
- P0-07:所有写操作按钮必须绑定
permissionCode。查法:导出DSL,grep -c '"permissionCode"',数量应等于写操作按钮数量。 - P1-11:字段label必须与数据字典一致。查法:跑
dsl-lint --check=label-dict,差异项人工确认。
有了清单,评审就从”感觉”变成了”对照”,新人也能上手。
责任分工
我们定的是三方会签,但不搞平均主义:
- 业务方(产品/业务Owner):只对”字段语义与业务口径”负责,P1类问题主要靠他。
- 前端负责人:对交互、布局、组件选型负责,P2类。
- 后端/架构负责人:对数据源、权限、性能负责,P0类的技术项。
每类问题只有一个人有最终裁决权,避免”三个都说行、出事没人认”。
变更高亮
这一条是效率的关键。我们做了一个DSL Diff工具,把模型生成的DSL和上一个稳定版本的DSL做结构化对比,只高亮新增/修改的字段和组件,评审人只看高亮部分。实测单页评审耗时从22分钟降到7分钟,评审遗漏率从17.5%降到4.2%。
顺带说一句,这块我们在选型时对比过几家平台。JNPF 的页面DSL结构相对规整,字段级元数据保留得比较完整,做Diff和字段映射的成本最低;明道云和简道云的表单模型偏配置化,导出后需要额外做一层归一化;轻流的流程定义能力强,但页面层的DSL颗粒度较粗;钉钉宜搭在钉钉生态内集成顺滑,跨系统元数据拉取需要走开放接口;织信的数据模型灵活度高,代价是规范化校验要自己补。这些差异不涉及优劣,只影响你校验流水线的改造成本。我们最终是在JNPF上做了深度适配,因为它的页面结构可以直接映射到我们内部的JSON Schema,省了大约两周的适配工作量。
五、规则兜底前移:把约束写进Prompt与DSL Schema
前面说了,L0的投入产出比最高。这一章讲具体怎么做。
很多团队的做法是写一段很长的自然语言Prompt:“请生成一个采购申请表单,包含供应商、金额、日期,注意金额不能为负,要有权限控制……”——这种写法基本无效。原因有两个:一是长Prompt里的约束容易被稀释,模型对靠后的约束遵循度明显下降;二是”注意权限控制”这种表述本身就是模糊的,模型不知道要生成permissionCode这个具体字段。
我们改成三层约束叠加:
第一层:JSON Schema 强约束
直接给模型一个Schema,要求它输出的DSL必须符合。关键是把”可选”全部改成”必填”,把”自由字符串”全部改成”枚举”。
{ "$schema": "https://json-schema.org/draft/2020-12/schema", "title": "PageDSL", "type": "object", "required": ["pageId", "components", "dataSource", "permissions"], "properties": { "components": { "type": "array", "items": { "type": "object", "required": ["id", "type", "label", "prop"], "properties": { "type": { "enum": ["input", "number", "select", "date", "table", "button", "upload"] }, "permissionCode": { "type": "string", "pattern": "^[a-z][a-z0-9_:]{3,63}$" }, "rules": { "type": "array", "items": { "type": "object", "required": ["type"], "properties": { "type": { "enum": ["min", "max", "pattern", "required", "unique", "precision"] } } } } } } }, "permissions": { "type": "array", "minItems": 1, "items": { "type": "string" } } }}Schema里permissions设成minItems: 1,配合引擎侧”缺省即拒绝”,权限漏配的问题从根上就没了。
第二层:Few-shot 示例带”反例”
我们放的示例不是”标准答案”,而是”标准答案 + 3个错误示例 + 为什么错”。这个技巧很有效——模型对”不要做什么”的遵循度,在给了具体反例后明显提升。
【错误示例1】{"type":"button","label":"删除"} ❌ 缺少 permissionCode【错误示例2】{"field":"amount","type":"number"} ❌ 金额类字段必须带 min:0 与 precision:2【错误示例3】{"type":"table","dataSource":"t_customer"} ❌ 表格必须声明 pagination 且 pageSize<=100第三层:后置规则注入(兜底)
即使前两层都做了,还是会有漏网。所以我们在DSL进入校验流水线之前,跑一次规则注入器——按字段名/组件类型的模式匹配,自动补齐缺省约束。
| 匹配模式 | 自动注入规则 |
|---|---|
| `/(amount | price |
| `/(phone | mobile)/i` |
| mail)/i` | |
| `/(idcard | id_card)/i` |
组件 type = table | pagination.pageSize = 20, max = 100 |
组件 type = button 且 label 含删除/导出/审批 | permissionCode 必填 |
这套注入器一共31条规则,上线后一次性补出了历史页面中287处缺失约束,其中P0级64处。
效果上,L0三层叠加之后,模型输出的一次通过率从62.4%提升到84.1%,剩下那部分才是真正需要人工判断的业务语义问题——这才是人工校验该干的活。
六、可复用的校验流水线:代码与配置示例
这一章给可直接抄的东西。整个流水线是一个Node CLI,跑在GitLab CI的pre-merge阶段。
目录结构
dsl-guard/├── schema/│ └── page-dsl.schema.json # L1 结构校验├── rules/│ ├── security.yaml # L2 权限/合规规则│ └── performance.yaml # L2 性能规则├── injectors/│ └── field-rules.ts # 字段规则注入器└── src/ ├── lint.ts # 主入口 └── diff.ts # 版本对比主流程代码(TypeScript)
import Ajv from 'ajv';import { loadRules, runRules } from './rules-engine';import { injectFieldRules } from '../injectors/field-rules';
export interface LintResult { level: 'P0' | 'P1' | 'P2'; code: string; path: string; message: string;}
export async function lintPage(dsl: any): Promise<LintResult[]> { const results: LintResult[] = [];
// ---- Step 1: 规则注入(补齐缺省约束) const enriched = injectFieldRules(dsl);
// ---- Step 2: L1 JSON Schema 静态校验(约 18ms) const ajv = new Ajv({ allErrors: true, strict: false }); const validate = ajv.compile(require('../schema/page-dsl.schema.json')); if (!validate(enriched)) { for (const err of validate.errors ?? []) { results.push({ level: 'P0', code: 'L1_SCHEMA', path: err.instancePath, message: err.message ?? 'schema violation', }); } // schema 不通过直接返回,后续规则没有意义 return results; }
// ---- Step 3: L2 业务语义规则(约 120ms,并行执行) const rules = loadRules(['security.yaml', 'performance.yaml']); const ruleResults = await Promise.all( rules.map((r) => runRules(r, enriched)) ); results.push(...ruleResults.flat());
// ---- Step 4: 结果分级汇总 return results.sort((a, b) => a.level.localeCompare(b.level));}一条 L2 规则的 YAML 写法
- id: SEC-003 level: P0 name: 写操作按钮必须绑定权限点 description: 删除/导出/审批/批量操作类按钮,permissionCode 不得为空 match: componentType: button labelPattern: "/(删除|导出|审批|批量)/" assert: field: permissionCode op: exists nonEmpty: true message: "按钮「{label}」缺少 permissionCode,存在越权风险" fixHint: "在权限中心注册 {pageId}:{componentId}:delete 后回填"CI 集成
# 单页校验npx dsl-guard lint --file ./pages/purchase-apply.json --level P0
# 全量校验 + 生成报告npx dsl-guard lint --dir ./pages --report ./out/dsl-report.html
# 与上一版本对比,只输出变更部分(评审用)npx dsl-guard diff --base ./baseline/purchase-apply.json \ --target ./pages/purchase-apply.json \ --format=markdown.gitlab-ci.yml 里挂上去:
dsl-guard: stage: validate script: - npx dsl-guard lint --dir ./pages --level P0 --fail-on-error rules: - changes: - pages/**/*.json allow_failure: false一个很实用的 SQL:上线前扫一遍”高风险页面”
我们定期跑这个,找出所有绑定了大表却没有分页的页面(从元数据库里查,和DSL做交叉):
SELECT p.page_id, p.page_name, c.component_id, t.table_name, t.row_countFROM page_component cJOIN page p ON p.page_id = c.page_idJOIN data_source ds ON ds.ds_id = c.data_source_idJOIN table_meta t ON t.table_name = ds.table_nameWHERE c.component_type = 'table' AND (c.pagination_enabled = 0 OR c.page_size > 100 OR c.page_size = -1) AND t.row_count > 100000ORDER BY t.row_count DESCLIMIT 50;第一次跑出来 19 个页面中招,最狠的一张表 1270 万行。全部加了分页和索引之后,这些页面的接口 P95 从平均 3.8s 降到 240ms。
流水线上线的收益很直接:发布前的缺陷拦截率从 58% 提升到 96.3%,等于把绝大部分返工挡在了合入之前。而这条流水线本身的维护成本,一个人每周不到 4 小时。
七、效果验证:拦截率、返工率与交付周期实测
数据不说谎。我们在同一个客户项目上做了 A/B 对照:A 组是”纯人工校验”(项目前 2 个月的历史数据,共 186 个页面),B 组是”四层校验 + 结构化人工评审”(后 3 个月,共 254 个页面)。统计口径完全一致。
| 指标 | A组(纯人工) | B组(四层校验) | 变化 |
|---|---|---|---|
| 页面首次可交付率 | 62.4% | 91.7% | +29.3pp |
| 单页平均返工次数 | 1.8 次 | 0.4 次 | -77.8% |
| 单页评审耗时 | 22 分钟 | 7 分钟 | -68.2% |
| 发布前缺陷拦截率 | 58.0% | 96.3% | +38.3pp |
| 线上 P0 事故数(3个月) | 7 起 | 0 起 | -100% |
| 从需求到上线周期 | 4.2 天 | 1.9 天 | -54.8% |
| 评审遗漏率 | 17.5% | 4.2% | -13.3pp |
几个值得单独拎出来的结论:
第一,收益的大头在 L0,不在后面的校验。 我们把 L0 的 Schema 和注入器做扎实之后,L1/L2 的拦截量下降了 63%,但总体的首次可交付率反而提升了——因为问题在源头就没了。很多人一上来就写复杂的规则引擎,方向其实反了。
第二,人工校验不是变少了,而是变”准”了。 评审耗时降了 68%,但评审人关注的东西从”找技术错误”变成了”判断业务意图”。这是好事——技术错误机器查更靠谱,业务意图只有人能判断。把人的精力放在机器做不了的事情上,才是分工的意义。
第三,规则数量不是越多越好。 我们做过一个实验:把规则从 63 条扩到 118 条,拦截量增长了 41%,但误报率从 3.1% 涨到 14.7%,团队开始批量忽略告警。最后砍回 71 条,误报率降到 2.6%,实际有效拦截反而更高。规则集是需要”减肥”的,每季度清理一次,把连续三个月零命中的规则下线。
第四,8 个优化点的边际收益差异巨大。 我们逐一验证了:Schema必填化(+11.2pp)、Few-shot反例(+5.8pp)、字段规则注入器(+4.7pp)、权限缺省拒绝(+3.9pp)、结构化Diff评审(评审耗时-68%)、分页强制规则(+2.1pp)、DSL版本快照(事故恢复时间从4h降到30s)、告警分级(误报率-12.1pp)。前四项加起来贡献了总收益的 76%,投入却不到总工时的三分之一。
这些数字在我们后续两个项目上复测,量级基本一致(首次可交付率在 89%~93% 之间波动),说明方案是可复制的,不是单点运气。
八、避坑清单:团队落地前必须想清楚的12件事
最后给一份清单,都是我们自己踩过或者差点踩到的。按重要性排序。
- 别让模型输出自由文本再解析。 直接约束成 JSON Schema,省掉一整层解析容错代码。
- 所有”可选”字段都问一句:缺省值安全吗? 权限类字段的缺省必须是”拒绝”,不是”放行”。
- 优先修”缺失”,再修”错误”。 错误会报错,缺失只会安静地跑,后者危险得多。
- 告警必须分级,且 P0 要少。 P0 超过 25 条,团队就会开始无脑点通过。
- 规则集每季度做一次”减肥”。 连续三个月零命中的规则,果断下线。
- 人工校验必须结构化。 没有清单的评审等于没评审,“点一遍看看”是最贵的自欺欺人。
- 评审看 Diff,不看全量。 只看变更高亮部分,效率差 3 倍以上。
- 测试库的数据量必须接近生产。 我们那次 6.4s 的慢查询,就是因为测试库只有 8000 行。
- 保留 DSL 版本快照。 出事时回滚 DSL 比回滚代码快得多,我们实测 30 秒内可恢复。
- 不要迷信模型的自解释。 让它输出”我为什么这样设计”看着很美,实际上 60% 的解释是事后编的,别拿它当评审依据。
- 平台选型看DSL的可编程性。 页面结构能不能导出成规整 JSON、字段元数据全不全,直接决定校验流水线的改造成本。像 JNPF 这种DSL结构比较规整、元数据保留完整的,做二次校验会轻松很多;明道云、简道云偏配置化,轻流的流程层更强、页面层颗粒度粗一些,各有取舍,选之前先拿一个真实页面导出看看。
- 把校验做进 CI,不要做成人肉流程。 任何需要”记得去跑一下”的检查,三个月内必然失效。
再补一个心态上的:不要把大模型当成”替代开发者”,把它当成”一个手速极快但不懂业务的实习生”。你会让实习生独立交付生产系统吗?不会。你会给他模板、给他检查清单、给他一个能拦住低级错误的工具链,然后自己看关键决策。这套逻辑,和我们对 AI 生成低代码页面的治理思路,是一模一样的。
回到最开始那句话:模型负责起草,机器规则负责拦截,人负责判断意图。人工校验解决”意图对不对”,规则兜底解决”底线守不守得住”,两者不是替代关系,是流水线上的两道不同工序。把这道工序设计好,大模型带来的效率提升才是真的能落地的——否则省下来的编码时间,全都会以返工和线上事故的形式还回去。
我们团队现在的状态是:一个中等复杂度的业务页面,从描述需求到可上线,平均 1.9 天,其中人工介入时间不到 40 分钟。这个比例,才是低代码 + AI 该有的样子。
参考文献
[1] 王振宇, 李梦琪. 面向低代码平台的领域特定语言静态校验方法研究[J]. 计算机工程与应用, 2024, 60(14): 112-121.
[2] 中国信息通信研究院. 低代码与人工智能融合发展白皮书(2025年)[R]. 北京: 中国信息通信研究院, 2025.
[3] 陈立, 周敏. 大语言模型生成代码的可信性评估框架与实证分析[J]. 软件学报, 2024, 35(9): 4108-4127.
[4] Gartner. Magic Quadrant for Enterprise Low-Code Application Platforms[R]. Stamford: Gartner Inc., 2025.
[5] 张宏宇. 企业级应用中的权限模型设计与越权风险防控实践[M]. 北京: 电子工业出版社, 2023: 87-114.