【轉(zhuǎn)載】跨行業(yè)規(guī)?；瘧?yīng)用，先進(jìn)數(shù)通IMOIA.SMS完善數(shù)據(jù)調(diào)度機(jī)制

越來越多的政府、企業(yè)等機(jī)構(gòu)開始意識到數(shù)據(jù)正在成為組織最重要的資產(chǎn)，數(shù)據(jù)分析能力正在成為組織的核心競爭力。如何通過數(shù)據(jù)整合分析為企業(yè)提供全方位的調(diào)度、監(jiān)控、管理等功能，從而最大程度提供更加專業(yè)化和個(gè)性化的服務(wù)，已成為企業(yè)關(guān)注的焦點(diǎn)。作為國內(nèi)先進(jìn)的企業(yè)數(shù)據(jù)整合解決方案提供商，北京先進(jìn)數(shù)通信息技術(shù)股份公司(簡稱“先進(jìn)數(shù)通”)曾獲得IBM頒發(fā)的IBM信息管理(IM)卓越解決方案全球大獎，并獲得中國建設(shè)銀行數(shù)據(jù)大集中工程主要軟件服務(wù)提供商及網(wǎng)絡(luò)系統(tǒng)集成服務(wù)商等資質(zhì)。公司參與了國有商業(yè)銀行等金融機(jī)構(gòu)和大型企事業(yè)單位的信息化工程項(xiàng)目，擁有眾多的成功案例及自有知識產(chǎn)權(quán)的產(chǎn)品群，并在金融渠道應(yīng)用、信息資產(chǎn)管理和分析、個(gè)人金融服務(wù)、網(wǎng)絡(luò)集成服務(wù)等領(lǐng)域保持著業(yè)界領(lǐng)先地位。

先進(jìn)數(shù)通擁有完全具備自主知識產(chǎn)權(quán)的數(shù)據(jù)管理產(chǎn)品家族IMOIA，并發(fā)布了新一代監(jiān)控調(diào)度平臺IMOIA.SMS，全面支持IBM Datastage、Informatica等ETL工具，為數(shù)據(jù)處理業(yè)務(wù)提供調(diào)度、管理、監(jiān)控等全方位的專業(yè)支持，確保數(shù)據(jù)處理業(yè)務(wù)安全、穩(wěn)定、高效地運(yùn)行，幫助用戶穩(wěn)步進(jìn)入大數(shù)據(jù)時(shí)代。

構(gòu)建數(shù)據(jù)交換平臺生態(tài)環(huán)

長安汽車在數(shù)據(jù)交換平臺建設(shè)的過程中技術(shù)難題不斷出現(xiàn)：數(shù)據(jù)交換平臺涉及集團(tuán)各業(yè)務(wù)平臺，系統(tǒng)接口繁雜，接口參數(shù)難于管理，需要及時(shí)傳輸數(shù)據(jù)，數(shù)據(jù)交換作業(yè)要循環(huán)執(zhí)行，整個(gè)平臺的任務(wù)并發(fā)量難以控制，處理服務(wù)器存在配置差異，任務(wù)的均衡分配受到挑戰(zhàn)。為此，長安汽車與先進(jìn)數(shù)通公司合作，引入調(diào)度產(chǎn)品MOIA作為數(shù)據(jù)交換平臺的調(diào)度核心，采用iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)方案。該系統(tǒng)實(shí)現(xiàn)了資料數(shù)據(jù)庫、數(shù)據(jù)交換平臺、業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫三網(wǎng)融合，最大可能的滿足數(shù)據(jù)交換平臺的高速通訊需要。

該系統(tǒng)通過Agent實(shí)現(xiàn)對DataStage作業(yè)以及命令行等的執(zhí)行調(diào)度，借助iMOIA.SMS的調(diào)度系統(tǒng)，形成了事件服務(wù)、調(diào)度決策服務(wù)、資源分配服務(wù)等機(jī)制，實(shí)現(xiàn)對數(shù)據(jù)交換任務(wù)的準(zhǔn)實(shí)時(shí)循環(huán)調(diào)度，實(shí)現(xiàn)數(shù)據(jù)交換任務(wù)異常狀態(tài)實(shí)時(shí)短信預(yù)警，通過業(yè)務(wù)流程展現(xiàn)數(shù)據(jù)交換流程，清晰把控業(yè)務(wù)流程。

通過iMOIA.SMS產(chǎn)品應(yīng)用實(shí)施，系統(tǒng)目前已管理作業(yè)達(dá)到1200余個(gè)，實(shí)現(xiàn)了即時(shí)調(diào)度數(shù)據(jù)處理任務(wù)實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)與財(cái)務(wù)系統(tǒng)間的訂單信息傳遞，保證業(yè)務(wù)的及時(shí)性和連續(xù)性，并清晰展現(xiàn)出數(shù)據(jù)傳輸作業(yè)間的關(guān)系，有效梳理出數(shù)據(jù)傳輸平臺的數(shù)據(jù)鏈路。

高效利用集中統(tǒng)一調(diào)度平臺

問題同樣出現(xiàn)在使用DataStage作為其ETL工具的友邦保險(xiǎn)，友邦保險(xiǎn)之前的數(shù)據(jù)交換主要集中在業(yè)務(wù)系統(tǒng)到數(shù)據(jù)中心的數(shù)據(jù)加工處理，以及業(yè)務(wù)系統(tǒng)與BI系統(tǒng)間的數(shù)據(jù)傳輸和交換。但隨著ETL作業(yè)所涉及的業(yè)務(wù)種類的增加，ETL作業(yè)量開始迅速增長，系統(tǒng)間的數(shù)據(jù)交換關(guān)系也越來越復(fù)雜。首先，ETL作業(yè)較多，統(tǒng)一管理困難，其次，ETL服務(wù)器需要集中為統(tǒng)一的資源池，共同負(fù)載ETL作業(yè)，ETL作業(yè)需要動態(tài)均衡地分配到各ETL服務(wù)器上，服務(wù)器的資源管理存在一定難度，此外還需要專門針對DataStage作業(yè)進(jìn)行調(diào)度，應(yīng)用接口復(fù)雜。

為應(yīng)對復(fù)雜的ETL作業(yè)調(diào)度場景，iMOIA.SMS調(diào)度采用事件驅(qū)動機(jī)制，該機(jī)制是在調(diào)度過程中進(jìn)行決策的一種策略，即跟隨當(dāng)前時(shí)間點(diǎn)上出現(xiàn)的事件，調(diào)動可用資源，執(zhí)行相關(guān)任務(wù)。在項(xiàng)目中iMOIA.SMS系統(tǒng)建立了ETL作業(yè)的調(diào)度控制核心、數(shù)據(jù)中心平臺的管理中心、資源控制中心、安全保障中心。

隨著iMOIA.SMS引入實(shí)現(xiàn)其多臺ETL服務(wù)器資源的整合，為其3000多的ETL作業(yè)統(tǒng)一分配ETL服務(wù)器的計(jì)算資源，實(shí)現(xiàn)資源的動態(tài)負(fù)載均衡和高可用。

數(shù)據(jù)調(diào)度促進(jìn)大數(shù)據(jù)應(yīng)用

先進(jìn)數(shù)通公司是國內(nèi)最重要的IT集成與實(shí)施廠商之一，多年來致力于為中國企業(yè)的信息化建設(shè)提供專業(yè)服務(wù)。多年來一直關(guān)注ODS/DW/BI領(lǐng)域，目前先進(jìn)數(shù)通iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)在國內(nèi)銀行、證券、保險(xiǎn)、制造等行業(yè)均有大量的用戶，受到了行業(yè)用戶的認(rèn)可。

在零售行業(yè)大數(shù)據(jù)領(lǐng)域，先進(jìn)數(shù)通參與李寧體育ODS ETL數(shù)據(jù)調(diào)度統(tǒng)一管理的建設(shè)工作，通過將先進(jìn)數(shù)通iMOIA.SMS調(diào)度監(jiān)控管理系統(tǒng)部署在李寧體育ODS ETL等系統(tǒng)之上，實(shí)現(xiàn)了對零售系統(tǒng)、庫存系統(tǒng)的每日數(shù)據(jù)抽取控制，以及對ETL服務(wù)器進(jìn)行資源整合，實(shí)現(xiàn)資源的充分應(yīng)用。

在證券行業(yè)大數(shù)據(jù)領(lǐng)域，先進(jìn)數(shù)通參與華泰證券收購聯(lián)合證券后，數(shù)據(jù)中心系統(tǒng)已實(shí)現(xiàn)各業(yè)務(wù)系統(tǒng)間的信息整合建設(shè)工作。華泰證券使用MOIA調(diào)度平臺以實(shí)現(xiàn)其多臺ETL服務(wù)器資源的整合，為其2000多的ETL作業(yè)統(tǒng)一分配ETL服務(wù)器的計(jì)算資源，實(shí)現(xiàn)資源的動態(tài)負(fù)載均衡和高可用。

在銀行業(yè)大數(shù)據(jù)領(lǐng)域，先進(jìn)數(shù)通參與平安銀行企業(yè)級的ETL平臺建設(shè)工作，平安銀行的ETL平臺，需要一個(gè)功能全面、高擴(kuò)展性、高穩(wěn)定性的企業(yè)級調(diào)度平臺，從2008年至今平安銀行的MOIA系統(tǒng)中已經(jīng)部署了55000個(gè)作業(yè)，成為整個(gè)數(shù)據(jù)線建設(shè)最為重要的運(yùn)行平臺。通過MOIA產(chǎn)品的實(shí)施，平安銀行取得如下效果;穩(wěn)定、擴(kuò)展性高的復(fù)雜集群管理;快捷、簡便的調(diào)度開發(fā);統(tǒng)一的作業(yè)調(diào)度監(jiān)控。

隨著中國各行業(yè)信息化水平不斷攀升，越來越多的用戶開始面臨著大量的、復(fù)雜的數(shù)據(jù)調(diào)度難題。而先進(jìn)數(shù)通的行業(yè)大數(shù)據(jù)調(diào)度則抓住了這個(gè)切口，為以上這些用戶的大數(shù)據(jù)價(jià)值挖掘提供了產(chǎn)品和技術(shù)的支持。

（新聞來源：http://nb.ifeng.com/qyzx/detail_2015_01/14/3426810_0.shtml）