為構建業務、技術、數據一體化的企業基礎數字技術平臺,促進形成標準統一、規范采集、有序流動、合理共享的數據資源能力,近年來,福建煙草按照“強后臺、厚中臺、薄前臺”的架構,打造“服務共享”式的開放平臺,最大化利用數據中臺對技術、數據、業務的支撐和共享能力,構建福建煙草大數據資源目錄,形成數據共享服務體系,提供數據服務的設計、開發、測試、上線到銷毀的全生命周期管理,依托數據中臺提供數據服務的發布及訪問,不斷沉淀共性數據服務,實現數據資源的共享和應用。
福建煙草數據中臺的整體規劃
以IAAS、PAAS層組件工具為支撐,福建煙草圍繞全領域、全終端“一切業務數據化,一切數據業務化”戰略目標,全面推進數字化轉型,形成“數據集中統一、應用百花齊放”的格局,最終實現業務、數據應用智能化升級。
具體而言,福建煙草數據中臺的總體架構分為統一賦能前臺、統一數據平臺、統一計算后臺三層。
統一賦能前臺:通過數據平臺提供的數據能力,打造“智慧營銷”“智慧物流”“智慧煙葉”等福建煙草大數據應用體系,實現消費者畫像、零售客戶洞察等通用基礎服務能力,以及銷量預測、智能配貨等個性化場景的分析服務能力,以數據賦能前端業務,實現數據分析價值化與服務化。
統一數據平臺:依托福建煙草沉淀的數據資產,整合產業鏈供應鏈各環節數據,并實行統一管理、運營,形成四個“統一”模式。一是數據整合,包括公共數據存儲(緩沖數據層、公共數據層、萃取數據層)和數據開發;二是數據標準,建立新的面向大數據管理和應用的技術標準;三是數據服務,通過對數據中臺各方面能力的總結、提煉,實現數據共享能力的目錄化、服務化;四是數據治理,包含權限控制、資產管理、質量管理、運維管理等。
統一計算平臺:基于福建煙草的專有云平臺能力,借助大數據組件及分布式計算存儲框架,實現企業大數據存儲,同時為數據中臺提供基礎計算能力。通過離線計算平臺MaxCompute、流計算平臺Stream Computed等提供的數據管理和計算能力,為數據整合、數據分析算法提供高效的計算支持,支撐離線計算、實時計算、在線分析等大數據分析計算能力。
通過對數據中臺的整體規劃,福建煙草數據中臺充分發揮大數據底座能力,整合各業務系統數據,構建數據挖掘模型,以數據驅動營銷、物流、專賣、煙葉等業務的決策管理,為業務提供共享、可靠的數據服務,通過數據賦能業務,逐步實現系統集成、資源整合、信息共享,構建數據中臺的能力,推進企業數字化轉型。
打造資源共享:通過構建數據中臺,有效整合數據資源,做到數據共享和資源統籌,從全局視角實現全域管控和應用集成,賦能行業資源配置和管理效率不斷提升,推進行業生產鏈供應鏈的高效運轉。
促進業務協同:福建煙草數據中臺實現不同業務系統數據的高效集成,通過數據處理分析、價值挖掘,建立了結構完備、組織有序、靈活可拓展的數據資源體系,支持跨部門、跨領域業務協同;構建營銷、物流、專賣、煙葉、財務等應用,通過數據資源共享,實現信息、數據在不同業務系統中的交互,增強橫向業務協同,助推福建煙草構建統一、集成和可擴展的信息化平臺。
提供開放服務:通過搭建統一的數據服務總線,福建煙草數據中臺能夠提供統一的API服務和服務管理能力。支持將現有API注冊到開放服務平臺進行統一發布和管理。同時,開放服務平臺和API網關打通,能夠將API服務一鍵發布到API網關。開放服務平臺與API網關一同為用戶提供低成本、易上手、安全穩定的數據開放共享服務。
進一步完善面向應用的標準體系
福建煙草按照一體化平臺信息分類編碼規范要求建立數據標準體系,進一步推進數據元、主數據、數據建模、多級數據傳輸的標準化建設。在福建煙草現有數據標準體系基礎上,結合大數據建設要求,在新的數據源、采集方式和應用需求驅動下,對原有數據標準體系進行適配性升級,建立新的面向大數據管理和數據應用的標準體系。
建立數據采集標準。基于數據中臺的數據采集需要面向更多異構、實時數據的對接和交換需求,包括各種物聯網設備、外部數據等,數據類別也涉及半結構化與非結構化的數據。根據數據特征,針對不同業務類型、技術架構,福建煙草制定了不同的數據采集策略,建立完善標準規范的數據采集體系。
建立數據模型標準。對福建煙草企業級數據模型進行規范定義,包括定義數據維度、業務過程、原子指標、業務限定等。數據標準定義范圍從事實明細數據、匯總數據的寬表模型,到萃取數據的標簽模型、指標模型。通過構建數據模型的標準化體系,實現數據模型的規范化管理。
建立數據服務標準。數據服務是面向應用系統提供的數據處理、算法模型、標簽分析等服務形式,以數據服務化為目標,構建數據服務工廠理念,建立數據服務目錄,對服務的申請、使用、對接、運行維護進行規范化約束,構成數據服務標準。
標準體系搭建后,福建煙草數據中臺根據大數據治理需求,堅持問題導向,構建數據中臺治理體系,實現福建煙草數據資產的系統性治理。福建煙草數據中臺貫穿數據全生命周期打造“四化”數據治理體系。
治理范圍“全域化”。數據治理具備企業數據資產全鏈路管理能力,以元數據、主數據、數據質量和數據生命周期管理為基礎,對企業的標簽庫、模型庫、指標庫和規則庫等核心數據進行一體化管理,同時依托數據血緣關系圖譜、資源運營視圖和端到端運維監控實現數據全生命周期完整跟蹤。
治理模塊“協同化”。數據治理體系統籌管理企業數據資產,包括數據標準管理、元數據管理、數據質量管理、數據資產管理、數據安全管理等,各模塊協同運營,確保數據中臺的數據一致、共享、有效。在福建煙草現有代碼管理中心、主數據管理系統基礎上,構建、完善福建煙草大數據相關模塊的協同化管理。
治理模式“規范化”。隨著時間推移,數據存量不斷增加,治理成本、治理難度不斷加大。為避免產生“成本中心”,數據治理需要考慮建立完備的組織、角色、制度、流程,構建企業全域的數據標準、數據架構、存儲架構等規范,實現數據中臺對數據資產的管和用,提升挖掘數據價值的能力。
治理能力“可靠化”。數據資產建設完畢后,充分盤點資產分布和使用情況、計算存儲成本情況以及資源應用情況,保障資產的可用和正常運營;對資產的使用價值進行評估,通過機制、工具和方法保障優質資產,對質量較差的資產進行完善和優化;實現問題發現、缺陷預警和質量處理的功能,保障數據質量和數據安全。
篤行致遠 2024中國煙草行業發展觀察