批量文件的設(shè)計(jì)和業(yè)務(wù)邏輯

消費(fèi)場景分為零售和批發(fā)，那么在不同的系統(tǒng)信息傳輸?shù)闹g，也存在零售和批發(fā)，零售即上節(jié)課講的api設(shè)計(jì)，每次只進(jìn)行一次信息交互。

批發(fā)意味著一次性要處理大批量的數(shù)據(jù)， 性質(zhì)這就決定了批量數(shù)據(jù)處理和單次數(shù)據(jù)處理在方案上有不同性。

批量數(shù)據(jù)傳輸方式

1、數(shù)據(jù)生成者數(shù)據(jù)拋送kafka ；

2、通過批量文件批量交互。

1、kafka模式

即生產(chǎn)者生產(chǎn)（produce）各種信息，

消費(fèi)者消費(fèi)（consume）（處理分析）這些信息，

消息系統(tǒng)：而在生產(chǎn)者與消費(fèi)者之間，需要一個(gè)溝通兩者的橋梁-消息系統(tǒng)。

特點(diǎn)：

高性能：單機(jī)測試能達(dá)到 100w tps；

低延時(shí)：生產(chǎn)和消費(fèi)的延時(shí)都很低，能夠?qū)崟r(shí)消費(fèi)；

2、批量文件模式

數(shù)據(jù)提供系統(tǒng)在約定的時(shí)間內(nèi)，一般是夜間T+1，把需要批量更新的數(shù)據(jù)推送到文件服務(wù)器上，然后數(shù)據(jù)獲取系統(tǒng)根據(jù)約定的規(guī)則，去文件服務(wù)器獲取文件目錄。

今天我們詳細(xì)講一下批量文件的交互邏輯。

一、批量文件格式

文件描述：指標(biāo)描述

文件名稱 ：按照當(dāng)天的營業(yè)時(shí)間生成

格式：場景_系統(tǒng)A_系統(tǒng)B_yyyymmdd ,例如：放款明細(xì)_資金_資產(chǎn)_20220813

文件描述：該文件用于放款時(shí)，系統(tǒng)與平臺(tái)對(duì)賬

執(zhí)行時(shí)間：T+1日2：00

生成時(shí)間：T+1日3：00

FTP路徑：待補(bǔ)充

推送方向：系統(tǒng)A→系統(tǒng)B

處理邏輯：ＸＸX

前置批量：　批量A是批量B的前置條件，舉例核心切日批量是放款對(duì)賬批量的前置；

文件格式：

txt： （ ｜區(qū)分不同字段 ）比如 放款 流水號(hào)｜放款時(shí)間｜放款金額

csv：

二、作業(yè)的系統(tǒng)流程

• 系統(tǒng)A啟動(dòng)作業(yè)，開始推送文件。由于推送有一定的時(shí)間段，比如需要N個(gè)小時(shí)
• 系統(tǒng)A文件推送完成之后，推送ok文件到文件服務(wù)器
• 系統(tǒng)B輪詢查詢文件服務(wù)器，如果發(fā)現(xiàn)ok文件，那么獲取業(yè)務(wù)文件
• 系統(tǒng)B對(duì)獲取的業(yè)務(wù)文件進(jìn)行邏輯處理以及更新數(shù)據(jù)庫。

三、作業(yè)的實(shí)現(xiàn)邏輯

實(shí)現(xiàn)批量作業(yè)的啟動(dòng)、暫停、終止、續(xù)跑功能，完成作業(yè)啟動(dòng)公共參數(shù)的設(shè)置，記錄作業(yè)執(zhí)行狀態(tài)，批量異常短信告警。

四、作業(yè)的處理邏輯

作業(yè)執(zhí)行

• 檢查作業(yè)當(dāng)日是否已完成、
• 檢查作業(yè)是否正在執(zhí)行中（暫停、執(zhí)行中）
• 檢查前置作業(yè)已完成
• 組裝作業(yè)流水、作業(yè)日期
• 批處理服務(wù) 開始執(zhí)行作業(yè)
• 如果異常發(fā)送告警短信
• 更新調(diào)度表，返回調(diào)度系統(tǒng)

作業(yè)暫定、作業(yè)重啟、作業(yè)終止略

五、常見批量場景

1、內(nèi)部系統(tǒng)之間

常見的文件有以下，看具體場景需要：

核心-網(wǎng)貸：放款明細(xì)、還款明細(xì)、借據(jù)文件、還款計(jì)劃文件

支付-網(wǎng)貸：放款對(duì)賬文件、還款對(duì)賬文件（建立在支付有一套對(duì)賬平臺(tái)的基礎(chǔ)）

額度系統(tǒng)-網(wǎng)貸 ：額度變更推送

貸后-網(wǎng)貸：貸中調(diào)價(jià)變更推送

用戶中心-網(wǎng)貸：用戶信息變更

2、資產(chǎn)和資金之間

常見的文件有以下，看具體場景需要：

借據(jù)明細(xì)

還款明細(xì)

放款明細(xì)

還款計(jì)劃明細(xì)

授信明細(xì)

當(dāng)日總賬

累計(jì)總賬

六、批量文件字段實(shí)例

當(dāng)日還款明細(xì)示例

借據(jù)號(hào)：借據(jù)單號(hào)

還款交易流水號(hào)：本次還款交易的交易流水號(hào)，成功、處理中時(shí)取對(duì)應(yīng)交易的交易流水號(hào)

還款時(shí)間：該筆還款的發(fā)起日期

授信合同號(hào) ：該借據(jù)對(duì)應(yīng)的授信合同號(hào)

放款時(shí)間 ：該筆借據(jù)放款成功的時(shí)間

放款總金額 ：該借據(jù)的放款總金額

執(zhí)行利率 ：該用戶該筆借據(jù)的執(zhí)行利率，年利率(日利率*360)

還款總額 ：本次還款的總額，包括本金、利息、罰息和其他費(fèi)用

還款本金 ：本次還款中的本金部分

還款利息 ：本次還款中的利息部分

還款類型 ：”01 歸還欠款、02 提前結(jié)清、03 逾期還款

逾期天數(shù) ：本筆借據(jù)在本次還款時(shí)已逾期的天數(shù)

逾期罰息 ：本筆借據(jù)在本次還款時(shí)產(chǎn)生的罰息

還款狀態(tài) ：”S 還款成功  F 還款失敗”

對(duì)賬日期：該對(duì)賬文件產(chǎn)生日期