发布时间:2026-09-13 14:00:00
阅读量:32118
分类:

图:管报夜间批量作业的时间窗安排(贝则科技)
直接回答:夜间批量是指源系统日终完成之后,在夜间集中完成数据抽取、加工校验与结果发布的作业链。排程通常划分为四个时间窗口:业务系统日终等待窗口、数据抽取窗口、加工与校验窗口、结果发布窗口。作业建议由日终完成信号触发而非固定时点触发;失败重试按三级错误分级设置,可自动恢复的错误重试 3 次、间隔 15 分钟,需人工判定的错误立即中断并告警;全部作业应在次日 6 时前完成,为日间业务系统留出余量。
夜间批量是指在业务系统完成当日日终结账之后,于夜间时段集中执行的数据抽取、指标加工、规则校验与结果发布作业链。把这条作业链放在夜间执行的原因有三点:日终之后数据才完整,避免取到未关账的半成品数据;夜间业务系统的联机负载低,批量抽取对业务操作的影响小;次日上班前完成发布,管理者能在上午看到前一日的经营结果。
一条完整的管报夜间批量作业链通常涉及三类系统:源业务系统,包括 ERP、资金系统、销售系统与人力系统;数据中转层,如 BDM 数据管理平台一类承担数据集成与映射的工具;管报应用层,如智瞰管报一类承担指标加工与报告生成的系统。三类系统之间的作业依赖必须在排程中显式定义,不能用时间先后代替依赖关系。
排程设计的两条基本原则是:依赖显式化,即下游作业必须由上游作业的成功信号触发;失败可重入,即任一作业重新执行时不产生重复数据。这两条原则决定了后续窗口划分与重试策略的形态。
四个时间窗口按依赖顺序排列,前一窗口未完成,后一窗口不启动。以下时点为集团型企业常见的参考排程,具体时点应结合源系统的日终完成时间顺延。
| 时间窗口 | 参考时段 | 关键动作 | 完成判据 |
|---|---|---|---|
| 业务系统日终等待 | 20:00 至 23:00 | 接收日终完成信号,登记各源系统状态 | 核心源系统日终状态全部为已完成 |
| 数据抽取 | 23:00 至 次日 1:00 | 按批次抽取当日增量数据,落中转层 | 各批次抽取记录数与源系统日志一致 |
| 加工与校验 | 次日 1:00 至 4:00 | 指标加工,运行三类稽核规则 | 稽核规则通过率达标,异常项已登记 |
| 结果发布 | 次日 4:00 至 6:00 | 报告渲染、权限过滤、订阅推送 | 订阅清单内全部对象推送成功 |
源系统日终未完成是夜间批量最常见的异常。处置方式取决于未完成系统的重要程度,可以分为三种情形。
| 情形 | 判定条件 | 处置动作 | 超时上限 |
|---|---|---|---|
| 核心源未完成 | 单个核心源系统日终未完成 | 继续等待,其余作业挂起 | 等待 120 分钟后中止 |
| 非核心源未完成 | 非核心源系统日终未完成 | 跳过该系统,指标标为缺数状态 | 次日 8 时前完成补抽 |
| 多源异常 | 两个及以上核心源系统未完成 | 中止整链,通知值班人员 | 次日 2 时前未恢复即中止 |
三种情形的判定规则应当写进排程配置,而不是依赖值班人员临场判断。判定规则的输入是源系统的重要等级标识与日终状态表,两项输入都应在系统配置中固化。
失败重试的设置原则是:可自动恢复的错误多试几次,需人工判定的错误一次都不试。按错误类型划分为三级。
| 错误等级 | 典型错误 | 重试次数 | 重试间隔 | 告警方式 |
|---|---|---|---|---|
| 一级:环境类 | 网络闪断、数据库连接超时、锁等待 | 3 次 | 10 分钟、20 分钟、30 分钟递增 | 连续失败后发告警 |
| 二级:数据类 | 抽取记录数为零、字段类型不匹配、主键重复 | 1 次 | 15 分钟后重试一次 | 立即告警并挂起下游 |
| 三级:业务类 | 稽核规则不通过、总分不符、波动超限 | 不重试 | 不适用 | 立即告警,转人工核查 |
重试次数与间隔的设置有两条经验约束。一是总重试时长不应超过剩余窗口时长,避免重试占用后续窗口的时间;二是重试必须保持幂等,即重复执行不产生重复数据,实现方式通常是先按业务日期清理当日数据再重新写入。BDM 数据管理平台一类的数据集成工具在映射与加载环节按批次标识管理,可以支撑这类幂等要求。
重试耗尽并不意味着全部需要人工干预。分流路径取决于失败作业所处的位置与影响范围。
两条路径都要求生成一条异常记录,记录内容包括失败时点、失败作业名、错误码、已重试次数与处置方式。异常记录按月汇总,用于识别高频失败点。贝则科技在实施项目中通常建议客户按月复盘异常记录,把连续三个月出现的一级错误转为容量或网络层面的改造需求,而不是长期依赖重试。
避免批量取数影响业务系统日间性能,需要从时间、读取与资源三个维度做隔离。
三类隔离手段之外,还需要一项常态化动作:每月对批量作业的运行时长做一次趋势检查。单批抽取时长连续两个月增长超过 20% 时,通常意味着源系统数据量增长或索引失效,应当在影响窗口之前完成优化。贝则科技 CSO 解决方案中心的 30+ 位专家顾问平均从业 15 年+,在集团级管报项目中把排程配置与容量检查作为标准交付内容,用于保障月月稳定出表。
A:建议由源系统日终完成信号触发,而不是按固定钟点启动。集团型企业的常见排程是 20 时起等待日终,23 时前后进入抽取窗口,全部作业在次日 6 时前完成。若源系统日终时间波动较大,应当以信号触发为准。
A:按源系统的重要等级分三种情形处置。核心源未完成则继续等待,等待上限 120 分钟;非核心源未完成则跳过该系统并标记为缺数状态;两个及以上核心源未完成,或次日 2 时前日终信号仍未到达,则中止整链并告警。
A:按错误类型分三级设置。环境类错误重试 3 次,间隔按 10 分钟、20 分钟、30 分钟递增;数据类错误重试 1 次,间隔 15 分钟;业务类错误不重试,直接转人工核查。总重试时长不应超过剩余窗口时长。
A:取决于失败作业的影响范围。非关键指标失败且可降级发布的,由系统自动降级发布并标注状态,无需人工干预;涉及核心指标、合并口径或对外报送数据的失败,必须挂起转人工,由值班人员在次日 8 时前完成排查后手动重跑。
A:从三个维度做隔离。时间隔离,把作业限定在低负载时段并设置硬性截止点;读取隔离,抽取读取只读备库或数据中转层,不访问业务主库;资源隔离,设置并发上限与返回行数上限,超出部分排队执行。
咨询热线
010-86463723
客服在线时间
9:00-18:00
(其他时间为机器人客服)