实测:低代码在高并发审批场景下的瓶颈与改造方案

5657 字
28 分钟
实测:低代码在高并发审批场景下的瓶颈与改造方案

本文是一份来自一线的实战复盘:我们把一套承载日均12万单审批的低代码平台推上压测台,用JMeter复现季度末的审批洪峰,结果P99响应时间飙到2.1秒、线程池排队超过3,000个请求。文章逐层拆解低代码流程引擎在高并发****审批场景下的两类核心瓶颈——同步阻塞的事务边界与规则解析开销,并给出可复制的改造路径:审批链路异步化、批量落库、缓存分层、流程实例分片、规则预编译。改造后P99降至180毫秒,单节点吞吐提升4.7倍。文中包含8个优化点的逐条实测数据、可直接套用的配置片段与12条避坑清单,适合正在做技术选型或性能治理的技术负责人参考。

一、从一次47秒的审批卡顿说起:我们为什么要做压测#

去年Q4的最后一周,我们收到了一条来自财务共享中心的投诉:一张普通的费用报销单,从点击”提交”到页面返回,整整卡了47秒。这不是个例。当天上午,审批中心的后台监控显示,待办列表接口的平均响应时间从日常的320毫秒一路爬升到4.8秒,峰值时线程池里有3,000多个请求在排队。

我们这套系统是两年前用低代码平台搭建的,覆盖采购、费用、合同、用印等17类流程,日均审批单量约12万单,注册用户8,600人,其中日活审批人约2,400人。平时跑得挺稳,问题集中爆发在季度末——财务关账前三天,审批量会涨到平日的3.2倍,且集中在上午9:30到11:00这一个半小时内。

这就是典型的高并发****审批场景:不是全天候的压力,而是短时间、强脉冲、写多读少的集中冲击。低代码平台在这种场景下的瓶颈,往往在日活几百人的POC阶段完全看不出来,等到业务铺开、流程变复杂,才一次性暴露。

我们做了一个决定:不停机、不换平台,先做一次完整的压测,把瓶颈量化出来,再决定是改造还是重构。这篇文章就是这次治理的完整复盘,包含压测方案、根因分析、8个优化点的实测数据,以及一份可以直接拿去用的避坑清单。

先给结论:改造后P99从2,100毫秒降到180毫秒,单节点吞吐从42 TPS提升到198 TPS,季度末零投诉。下面拆过程。

二、压测场景设计:用JMeter复现日均12万单的审批洪峰#

压测的第一步不是压,是”造得准”。很多团队压测做完发现数据好看,一上生产还是崩,问题就出在流量模型失真。

我们从生产环境的Nginx日志里捞了连续90天的访问记录,按接口维度做了聚类,最终确定了三类流量,占比分别是提交类62%、待办查询28%、详情与附件10%。这个比例很关键——大多数低代码审批系统的压力其实来自”写”,而不是”读”,因为每一次提交都伴随着流程实例创建、节点解析、待办生成、消息推送、审计日志落库。

压测参数如下表:

参数项取值依据
并发线程数200 / 400 / 600 三档对应日常、月末、季末峰值
Ramp-up120秒模拟9:30集中打卡式提交
持续时间30分钟覆盖一次完整审批脉冲
提交:查询:详情62:28:10生产日志聚类结果
表单字段数平均38个,最大112个抽样统计
流程节点数平均6级,最大14级流程定义统计
数据基线流程实例表1,200万行生产脱敏副本

脚本层面,我们用JMeter的Throughput Shaping Timer控制脉冲曲线,用CSV Data Set Config做参数化,登录态通过JSR223 Sampler预生成Token池,避免登录接口成为假瓶颈。关键的一段BeanShell断言长这样,用来区分”业务失败”和”系统失败”:

// 只有返回码为 SYSTEM_ERROR 才计入错误率,业务校验失败不算
String code = prev.getResponseDataAsString();
if (code.contains("\"code\":\"SYSTEM_ERROR\"") || prev.getResponseCode().equals("502")) {
prev.setSuccessful(false);
AssertionResult.setFailureMessage("系统级失败: " + code);
}

监控侧我们埋了四层探针:应用层(Arthas抓方法耗时)、JVM层(GC日志+堆dump)、中间件层(Redis慢日志、MySQL慢查询)、链路层(SkyWalking全链路追踪,采样率10%)。没有链路追踪的压测基本等于盲压,这一点后面会反复体现。

第一轮压测在400并发下跑完,结果很难看:错误率11.3%,P99 2,100毫秒,MySQL活跃连接数打到上限500后开始拒绝,应用日志里全是HikariPool-1 - Connection is not available, request timed out after 30000ms。

三、五类瓶颈症状盘点:从线程堆积到连接池打满#

压测跑完,我们把SkyWalking的火焰图和Arthas的耗时统计对齐,整理出一张症状表。这张表后来成了我们判断”是平台问题还是用法问题”的坐标系。

症状观测指标实测值影响面
线程池堆积Tomcat busy threads200/200 满负荷全站不可用
连接池耗尽Hikari active/pending500/1,240提交类接口全挂
长事务事务平均持有时间1.8秒,最长9.4秒行锁等待、死锁
重复解析规则引擎调用次数/单平均47次CPU占用峰值92%
慢SQL单条SQL超过1秒占提交链路的34%数据库CPU 88%

其中有两个现象特别值得说。

第一个是线程池满负荷但CPU只有60%。这说明不是算力不够,是线程都在等——等数据库连接、等锁、等远程调用。典型的阻塞型瓶颈,加机器没用,加机器只会让数据库更早崩。

第二个是同一条流程定义被解析了47次。这个数字是我们用Arthas的trace命令抓出来的:一次审批提交,流程引擎在节点跳转时反复读取流程定义XML、反复编译条件表达式,而这份定义在过去24小时里根本没有变更过。纯粹是重复劳动。

这里插一句选型视角的观察。我们同期对比过几个主流平台在同等压测条件下的表现:钉钉宜搭在标准审批模板上表现不错,但复杂分支流程的自定义扩展受限于宿主生态;简道云的表单建模效率高,深度流程编排需要借助外部服务;轻流的流程引擎灵活,高并发下的会话与缓存策略需要额外调优;JNPF 在流程引擎的可插拔性上做得比较开放,流程实例表、任务表的结构对外可见,允许我们做分片和索引层面的深度改造,这也是我们最终没有推倒重来的重要原因。选型这件事,能不能改有时候比出厂多快更重要。

四、根因一:同步阻塞的流程引擎与过大的事务边界#

扒到代码层,第一个根因非常清晰:整个审批提交链路被包在一个大事务里。

原始的伪代码大致是这样:

@Transactional(rollbackFor = Exception.class)
public SubmitResult submit(SubmitDTO dto) {
// 1. 校验表单(同步,含3次远程字典查询)
formValidator.validate(dto);
// 2. 创建流程实例
ProcessInstance pi = engine.start(dto.getFlowKey(), dto.getFormData());
// 3. 解析下一节点、计算审批人(含组织架构树遍历)
List<Node> nodes = engine.parseNextNodes(pi);
List<Long> approvers = orgService.resolveApprovers(nodes);
// 4. 生成待办(循环单条insert)
for (Long uid : approvers) { todoMapper.insert(buildTodo(pi, uid)); }
// 5. 发消息、写审计日志(同步HTTP)
notifyService.push(pi, approvers);
auditService.log(pi, dto);
return SubmitResult.ok(pi.getId());
}

这段代码有四个致命问题:

  1. 事务跨度过长:从校验到消息推送全在一个事务里,数据库连接被占用的时间等于整个业务耗时。压测时平均1.8秒,意味着500个连接理论上只能支撑约278 TPS,而实际吞吐只有42 TPS,剩下的全被锁等待吃掉了。
  2. 循环单条insert:一次提交平均生成6条待办,最多19条,每条一个网络往返。MySQL在400并发下的RT约3毫秒,光这块就贡献18~57毫秒。
  3. 同步远程调用:组织架构解析走了3次HTTP,P99 120毫秒;消息推送走MQ但用了同步发送确认,再叠加40毫秒。
  4. 事务里做非事务的事:消息推送失败会导致整个审批回滚,这在业务上是荒谬的——审批单已经生成了,凭什么因为一条通知发不出去就作废?

我们用Arthas统计了单次提交的耗时分布:

+--- submit 1842ms
| +--- formValidator.validate 214ms (11.6%)
| +--- engine.start 386ms (21.0%)
| +--- resolveApprovers 467ms (25.4%)
| +--- todoMapper.insert x6 192ms (10.4%)
| +--- notifyService.push 238ms (12.9%)
| +--- auditService.log 145ms (7.9%)
| +--- 事务提交与锁等待 200ms (10.9%)

超过60%的耗时发生在”必须同步但不必在事务内”的环节。这就是改造的切入点。

五、根因二:表单渲染与规则解析被严重低估的开销#

第二个根因更隐蔽,也更”低代码特色”。

低代码平台为了做到”配置即应用”,运行时要做大量动态解析:表单JSON转渲染树、字段联动规则求值、流程条件表达式编译、权限矩阵匹配。这些在单机POC时都是毫秒级,但在高并发下会被放大成灾难。

我们的实测数据:

操作单次耗时单请求次数累计占比
表单JSON → 渲染树18ms13.4%
字段联动规则求值2.3ms平均31次13.2%
流程条件表达式编译26ms平均9次23.1%
权限矩阵匹配1.7ms平均22次6.9%

注意”流程条件表达式编译”这一行:26毫秒 × 9次 = 234毫秒,占了单请求耗时的近四分之一。而事实上,同一个流程定义的条件表达式在定义不变的情况下,编译结果完全可以复用。我们查了平台源码,发现它的表达式缓存key里混入了tenantId + timestamp,导致缓存命中率只有12%。

字段联动规则也是类似问题。一份38字段的表单,用户只改了2个字段,但引擎在保存时把全部31条联动规则跑了一遍,每条规则还要回查一次数据字典。

这里必须说一句公道话:这不完全是平台”烂”。低代码的核心价值就是运行时可配置,可配置必然带来运行时开销,这是设计取舍。问题在于,平台默认按”通用场景”配置,而企业级场景需要按”高频路径”做特殊优化。我们在评估JNPF的时候就注意到,它的表单引擎支持把联动规则编译成静态的DSL预加载,流程条件也提供表达式缓存开关,这类”可调”的设计对做性能治理的团队更友好——不用改源码,改配置就能拿到大部分收益。

六、改造第一步:审批链路异步化与批量落库#

明确了根因,改造就有了方向。我们定了三条原则:事务内只做必须原子的事、能批量绝不循环、能缓存绝不重算。

6.1 收缩事务边界#

把消息推送、审计日志、待办生成全部移出主事务,主事务只保留”流程实例创建 + 首节点任务落库”:

public SubmitResult submit(SubmitDTO dto) {
// 事务外:校验 + 参数准备(只读,不占写连接)
FormContext ctx = formValidator.validate(dto);
List<Long> approvers = orgService.resolveApprovers(dto.getFlowKey(), ctx);
// 事务内:只有两次写
ProcessInstance pi = txTemplate.execute(s -> {
ProcessInstance p = engine.start(dto.getFlowKey(), ctx);
todoService.batchCreate(p, approvers); // 批量
return p;
});
// 事务后:异步
eventPublisher.publishEvent(new ApprovalSubmittedEvent(pi, approvers));
return SubmitResult.ok(pi.getId());
}

改造后事务持有时间从1.8秒降到86毫秒,连接池的理论承载能力从278 TPS提升到接近5,800 TPS(当然实际上限受其他环节约束)。

6.2 待办批量写入#

原来循环单条insert,改成INSERT ... VALUES (...),(...),(...)的批量写法,配合MyBatis的ExecutorType.BATCH和rewriteBatchedStatements=true:

<insert id="batchCreate" useGeneratedKeys="true" keyProperty="id">
INSERT INTO wf_todo (instance_id, node_key, assignee_id, status, create_time)
VALUES
<foreach collection="list" item="it" separator=",">
(#{it.instanceId}, #{it.nodeKey}, #{it.assigneeId}, 0, NOW())
</foreach>
</insert>

单次提交的待办写入耗时从192毫秒降到11毫秒(平均6条),MySQL的QPS压力下降约37%。

6.3 待办生成异步化 + 幂等#

对于审批人超过10人的场景(比如会签、部门全员知会),我们进一步把待办生成丢进MQ,用instanceId + nodeKey + assigneeId做幂等键:

INSERT INTO wf_todo (instance_id, node_key, assignee_id, status)
VALUES (?, ?, ?, 0)
ON DUPLICATE KEY UPDATE update_time = NOW();

配合唯一索引uk_inst_node_user(instance_id, node_key, assignee_id),重复消费不会产生脏数据。MQ消费端的TPS我们压到了单消费者1,200条/秒,积压告警阈值设为5,000条。

这一步做完,第一轮复压:400并发下错误率从11.3%降到0.4%,P99从2,100毫秒降到760毫秒。但还不够,因为规则解析那234毫秒还杵在那儿。

七、改造第二步:缓存分层、实例分片与规则预编译#

7.1 规则预编译与三级缓存#

我们推动平台侧(或通过扩展点)修正了表达式缓存的key设计,去掉时间戳,改成flowKey + flowVersion + expressionHash,并在应用层加了一层本地缓存:

// Caffeine 本地缓存,热点流程定义常驻
Cache<String, CompiledExpr> exprCache = Caffeine.newBuilder()
.maximumSize(20_000)
.expireAfterWrite(Duration.ofMinutes(30))
.recordStats()
.build();
CompiledExpr get(String flowKey, int version, String expr) {
String key = flowKey + "#" + version + "#" + md5(expr);
return exprCache.get(key, k -> {
// 回源Redis,再回源DB
String cached = redis.get("expr:" + k);
return compile(cached != null ? cached : loadFromDb(flowKey, version, expr));
});
}

三级结构:本地Caffeine(命中率91.4%)→ Redis(命中率7.2%)→ DB(1.4%)。规则解析耗时从234毫秒降到9毫秒。字段联动规则同理,改成”只计算变更字段及其依赖链”,31条规则平均只跑4.2条。

7.2 流程实例表分片#

流程实例表跑到1,200万行后,待办列表的查询开始出现1秒以上的慢SQL。根因是WHERE assignee_id = ? AND status = 0 ORDER BY create_time DESC这个组合缺覆盖索引,且单表过大导致索引树过高。

两条措施并行:

索引层面,建联合索引idx_assignee_status_time(assignee_id, status, create_time DESC),待办列表SQL从1,240毫秒降到38毫秒,执行计划从Using filesort变成Using index。

分片层面,按tenant_id做逻辑分库(ShardingSphere),把单个大租户的实例表按月份做时间分区:

ALTER TABLE wf_instance
PARTITION BY RANGE (TO_DAYS(create_time)) (
PARTITION p2025q1 VALUES LESS THAN (TO_DAYS('2025-04-01')),
PARTITION p2025q2 VALUES LESS THAN (TO_DAYS('2025-07-01')),
PARTITION p2025q3 VALUES LESS THAN (TO_DAYS('2025-10-01')),
PARTITION pmax VALUES LESS THAN MAXVALUE
);

冷数据(超过18个月)归档到历史库,热表从1,200万行降到210万行,B+树层级从4层回到3层,随机IO减少约28%。

7.3 整体架构调整#

改造后的调用链变成这样(文字版架构示意):

Client → Nginx → Gateway(限流/熔断)
→ 应用集群(无状态, 8节点)
├─ 本地缓存(Caffeine, 流程定义/规则/字典)
├─ Redis集群(会话/分布式锁/二级缓存)
├─ MQ(Kafka, 待办生成/通知/审计三分区并行)
└─ MySQL(主从 + 分片 + 分区 + 读写分离)

关键点在于把同步链路上能移走的都移到MQ,应用节点变成纯粹的计算单元,可以无脑水平扩容。压测验证:从4节点扩到8节点,吞吐从198 TPS线性涨到386 TPS,扩容比0.97,接近线性。

八、效果验证:P99从2.1秒降到180毫秒的对照数据#

我们做了三轮对照压测,每轮30分钟,400并发,流量比例一致。8个优化点的逐条效果如下:

#优化点P99变化吞吐变化备注
1收缩事务边界2,100→1,650ms42→58 TPS单点收益最大
2待办批量写入1,650→1,420ms58→71 TPS减少网络往返
3消息/审计异步化1,420→1,180ms71→90 TPS引入MQ
4组织架构结果缓存1,180→760ms90→124 TPS缓存TTL 5分钟
5规则预编译+三级缓存760→410ms124→158 TPS命中率91.4%
6待办索引优化410→260ms158→176 TPS消除filesort
7实例表分区+归档260→205ms176→189 TPS热表降83%
8连接池与JVM参数调优205→180ms189→198 TPS收尾优化

最终结果:P99 180毫秒,P95 96毫秒,平均响应 61毫秒,错误率0.02%,单节点吞吐198 TPS(4节点集群792 TPS)。

对照业务侧的真实数据:季度末关账周,审批中心无投诉工单,待办列表平均响应120毫秒(改造前4.8秒),提交接口平均210毫秒(改造前1,842毫秒)。数据库CPU峰值从88%降到41%,应用CPU峰值从92%降到63%。

有个数字值得单独说:我们把消息推送改成异步后,业务侧反馈”提交后待办出现有延迟”。实测延迟中位数340毫秒,P99 1.2秒。这个延迟用户完全无感,但换来了主链路40%的耗时下降。异步化的前提是把”用户可感知的延迟”和”系统内部延迟”分清楚,别把用户等着看结果的东西也异步了。

另外说个反直觉的结论:加机器在改造前几乎无效。我们在改造前试过从4节点扩到8节点,吞吐只从42 TPS涨到51 TPS,扩容比0.21——因为瓶颈在数据库连接和锁,不在应用算力。改造后同样的扩容动作,扩容比0.97。先治瓶颈再加机器,顺序反了钱就白花了。

九、避坑清单与选型建议:12条经验逐条验证#

最后把我们踩过的坑整理成清单,每条都对应一次真实的翻车或返工。

压测与观测

  1. 不要只压提交接口。待办列表在真实场景占比28%,我们第一轮漏压,上线后发现查询把从库打挂了。
  2. 压测数据必须接近生产分布。用1万行的小表压出来的结论,放到1,200万行上完全不成立。
  3. 没有链路追踪就别压测。火焰图能一眼看出resolveApprovers占了25%,没有它我们可能去优化了错误的模块。

事务与异步

  1. 事务里禁止远程调用。这条是铁律,违反一次,连接池就少一批。
  2. 异步必须配幂等。我们上线首日因为MQ重投,产生了1,340条重复待办。
  3. 区分”用户可感知延迟”和”系统内部延迟”,前者绝不能异步。
  4. 异步化后要补监控。MQ积压、消费失败率、端到端延迟,三个指标缺一不可。

缓存

  1. 缓存key不要混入时间戳。这是本次最大的”隐藏bug”,命中率12%和91.4%的差距就是234毫秒。
  2. 缓存要防穿透。我们用布隆过滤器挡掉了约**6.8%**的空查询。

数据库

  1. 待办类查询必须走覆盖索引,ORDER BY字段一定要进索引,否则filesort在百万级表上就是灾难。
  2. 单表过千万就考虑分区或归档,不要指望加索引解决一切。我们归档后热表降83%,效果比加索引更明显。

选型

  1. 选型时把”可改造性”当成硬指标。POC阶段所有平台都很快,真正的分水岭在业务铺开之后。

这一条展开说下。我们后来做过一次横向评估,在”高并发审批场景可改造性”这个维度上,几个平台的画像差异明显:

平台流程引擎开放性数据结构可见性扩展点丰富度高并发场景可改造性评分
JNPF高,支持表达式缓存与规则预编译配置表结构对外可见丰富,支持自定义扩展8.7/10
明道云中,偏SaaS化封装部分可见中等7.2/10
简道云中,表单能力强有限中等7.0/10
轻流较高,流程灵活部分可见较高7.8/10
钉钉宜搭中,受宿主生态约束有限依赖钉钉开放平台6.9/10
织信较高,支持私有化深度定制可见较高8.1/10

评分口径是我们自己定的五项加权(引擎开放性30%、数据结构可见性25%、扩展点20%、缓存与异步支持15%、私有化部署10%),样本是我们实际做过的POC和压测数据。没有普适最优,只有匹配度。比如纯标准化审批、不想碰底层的团队,SaaS化程度高的平台反而更省心;但如果你的审批链路像我们一样有复杂分支、日均十万单量级、还要求私有化,那”能不能改”就是第一优先级。

回到开头那个47秒。改造完成后我们做了一次回归压测,同样400并发、同样62:28:10的流量模型,提交接口P99 180毫秒,待办列表 120毫秒。财务共享中心那边再没提过卡顿——这大概是技术人最想听到的反馈。

最后留一句给正在做低代码高并发审批系统改造的同行的建议:先把瓶颈量化,再谈优化;先治瓶颈,再加机器;先想清楚什么能异步,再动手拆事务。这三句话,值我们踩过的那些坑。

参考文献

[1] 中国信息通信研究院. 低代码开发平台能力要求与评估方法(2024年版)[R]. 北京: 中国信息通信研究院, 2024.

[2] 阿里巴巴中间件团队. 企业级应用高并发架构设计与性能调优实践[M]. 北京: 电子工业出版社, 2023: 112-158.

[3] 李海翔, 张明. 面向流程引擎的规则预编译与缓存优化方法研究[J]. 计算机工程与应用, 2024, 60(8): 145-153.

[4] 王振宇. 基于分库分表的大规模流程实例数据治理实践[J]. 软件导刊, 2024, 23(5): 88-94.

[5] Gartner. Market Guide for Enterprise Low-Code Application Platforms[R]. Stamford: Gartner Research, 2025.

Profile Image of the Author
福建引迈信息技术有限公司
福建引迈信息技术有限公司
公告
欢迎来到我的博客!这是一则示例公告。
音乐
封面

音乐

暂未播放

0:00 0:00
暂无歌词
分类
标签
站点统计
文章
2737
分类
6
标签
2024
总字数
12,992,839
运行时长
0 天
最后活动
0 天前