12月15日,國(guó)內(nèi)領(lǐng)先的自動(dòng)化數(shù)據(jù)管理軟件提供商 Aloudata(大應(yīng)科技)在線舉辦了「NoETL!重構(gòu)數(shù)據(jù)生產(chǎn)力」戰(zhàn)略與產(chǎn)品發(fā)布會(huì),Aloudata CEO 周衛(wèi)林?jǐn)y創(chuàng)始團(tuán)隊(duì)正式發(fā)布面向未來(lái)的 NoETL 數(shù)據(jù)工程架構(gòu),并發(fā)布 Aloudata AIR 邏輯數(shù)據(jù)平臺(tái)、Aloudata BIG 主動(dòng)元數(shù)據(jù)平臺(tái)和 Aloudata CAN 自動(dòng)化指標(biāo)平臺(tái)三款顛覆性創(chuàng)新產(chǎn)品,為企業(yè)解決數(shù)字化轉(zhuǎn)型中的難點(diǎn)、痛點(diǎn)提供了全新的思路與方案,并為 Data Fabric 數(shù)據(jù)架構(gòu)理念在國(guó)內(nèi)的實(shí)踐落地開(kāi)辟了清晰的路徑?;顒?dòng)還特別邀請(qǐng)了招商銀行總行數(shù)據(jù)智能平臺(tái)負(fù)責(zé)人張軍軍,分享了招商銀行敏捷數(shù)據(jù)分析實(shí)踐與對(duì)未來(lái)趨勢(shì)的展望。 隨著數(shù)智化深入各行各業(yè),用數(shù)需求、用數(shù)人群和數(shù)據(jù)源同時(shí)爆炸性增長(zhǎng),這給企業(yè)的數(shù)據(jù)工程效率、成本與數(shù)據(jù)的有序管理帶來(lái)了巨大挑戰(zhàn),周衛(wèi)林將傳統(tǒng) ETL 工程的痛點(diǎn)歸納為“ETL 鴻溝”。如何跨越鴻溝,實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)力的百倍提升,數(shù)據(jù)管理亟需新思維、新架構(gòu)和新技術(shù)。Aloudata 開(kāi)創(chuàng)性地提出了通過(guò)自動(dòng)化手段消除人工 ETL 的數(shù)據(jù)工程新范式,這便是“ NoETL ”理念。 NoETL 的核心在于轉(zhuǎn)變數(shù)據(jù)生產(chǎn)的驅(qū)動(dòng)力。傳統(tǒng) ETL 是由 ETL 工程師驅(qū)動(dòng),而 NoETL 則由 ETL 智能體(ETL Agent)驅(qū)動(dòng),相當(dāng)于為每個(gè)企業(yè)提供一批 7 x 24 小時(shí)持續(xù)在線的 ETL 專家,從而實(shí)現(xiàn) ETL 任務(wù)的“自動(dòng)駕駛”。NoETL 與近年關(guān)注度持續(xù)走高的 Data Fabric 架構(gòu)理念高度一致,旨在減少或者消除傳統(tǒng)基于人工的 ETL 作業(yè),通過(guò)數(shù)據(jù)管理過(guò)程的高度自動(dòng)化,實(shí)現(xiàn)更加高效的數(shù)據(jù)交付、使用與治理,重構(gòu)數(shù)據(jù)生產(chǎn)力。Aloudata NoETL 數(shù)據(jù)工程架構(gòu)主要有 4 大特性: 1.No Pipelines:去管道,無(wú)需關(guān)心數(shù)據(jù)位置; 2.No Tasks:免運(yùn)維,無(wú)需操心任務(wù)運(yùn)維; 3.No Cubes:自優(yōu)化,無(wú)需擔(dān)心查詢性能; 4.Active MetaData:從被動(dòng)到主動(dòng),實(shí)現(xiàn)數(shù)據(jù)管理的“自動(dòng)駕駛”。 依托 NoETL 數(shù)據(jù)工程架構(gòu)思想,Aloudata 實(shí)現(xiàn)了三項(xiàng)核心技術(shù)突破:數(shù)據(jù)虛擬化引擎、數(shù)據(jù)語(yǔ)義引擎與主動(dòng)元數(shù)據(jù)引擎,它們帶來(lái)了全新的數(shù)據(jù)集成方案、全新的數(shù)據(jù)交互界面和全新的數(shù)據(jù)管理模式,這三大技術(shù)能力構(gòu)成了 Aloudata 產(chǎn)品體系的基石。 Aloudata CPO 肖裕洪介紹了 Aloudata AIR——國(guó)內(nèi)首個(gè) Data Fabric 邏輯數(shù)據(jù)平臺(tái)。它通過(guò)數(shù)據(jù)虛擬化引擎、AI 增強(qiáng)策略引擎和主動(dòng)元數(shù)據(jù)引擎,實(shí)現(xiàn)了多源異構(gòu)數(shù)據(jù)的邏輯集成與整合、自適應(yīng)數(shù)據(jù)加速、自動(dòng)化數(shù)據(jù)鏈路編排、集中數(shù)據(jù)治理管控等功能,幫助企業(yè)輕松打通數(shù)據(jù)孤島,10 倍提升數(shù)據(jù)交付效率,并實(shí)現(xiàn) 50% 以上的存算成本節(jié)約。Aloudata AIR 敏捷數(shù)據(jù)準(zhǔn)備解決方案已在招商銀行落地驗(yàn)證,實(shí)現(xiàn)了全域數(shù)據(jù)的統(tǒng)一訪問(wèn)和管理,顯著提升了業(yè)務(wù)效率和數(shù)據(jù)管理的靈活性,同時(shí)大幅降低存算成本與 ETL 團(tuán)隊(duì)負(fù)擔(dān)。 Aloudata CTO 周泉介紹了 Aloudata BIG——全球首個(gè)實(shí)現(xiàn)算子級(jí)血緣解析的主動(dòng)元數(shù)據(jù)平臺(tái)。借助精細(xì)、準(zhǔn)確、全面的血緣解析能力和主動(dòng)元數(shù)據(jù)管理能力,Aloudata BIG 能夠完善解決企業(yè)數(shù)據(jù)管理中“看不清”、“管不住”的難點(diǎn),讓數(shù)據(jù)管理過(guò)程更加自動(dòng)化,輕松應(yīng)對(duì) EB 級(jí)別的大數(shù)據(jù)管理需求。Aloudata BIG 基于語(yǔ)義分析技術(shù)實(shí)現(xiàn)對(duì) SQL 腳本的算子級(jí)自動(dòng)解析和算子級(jí)血緣圖譜構(gòu)建,實(shí)現(xiàn)了對(duì)全域字段計(jì)算語(yǔ)義的精準(zhǔn)刻畫,并基于對(duì)元數(shù)據(jù)的深入分析和挖掘,為用戶提供高置信的建議或設(shè)計(jì)方案。Aloudata BIG 已在多家大型銀行獲得驗(yàn)證,幫助客戶快速定位鏈路異常,百倍提效模型治理,實(shí)現(xiàn)高效、可靠的全鏈路數(shù)據(jù)質(zhì)量保障。 在數(shù)據(jù)集成、整合之上,企業(yè)在實(shí)際用數(shù)中也常常面臨著指標(biāo)管理的困境:指標(biāo)口徑混亂、交付效率慢、重復(fù)開(kāi)發(fā)成本高、維度不靈活、解釋困難等。針對(duì)上述問(wèn)題,Aloudata 首席業(yè)務(wù)架構(gòu)師杜雪芳介紹了應(yīng)用 Headless BI 理念設(shè)計(jì)的 Aloudata CAN 自動(dòng)化指標(biāo)平臺(tái)。該產(chǎn)品通過(guò)獨(dú)立的指標(biāo)語(yǔ)義層實(shí)現(xiàn)指標(biāo)的一次定義、多處使用,真正實(shí)現(xiàn)指標(biāo)的“定義即生產(chǎn)”和“管用一體”。在某證券行業(yè)客戶的案例中,Aloudata CAN 完美解決了業(yè)務(wù)指標(biāo)口徑不一致的問(wèn)題,指標(biāo)開(kāi)發(fā)周期從周縮短到分鐘級(jí),同時(shí)實(shí)現(xiàn)了統(tǒng)一數(shù)據(jù)資產(chǎn)的沉淀,形成了自上而下統(tǒng)一的用數(shù)語(yǔ)言。 這三大產(chǎn)品作為 NoETL 架構(gòu)的具體實(shí)現(xiàn),共同構(gòu)成了 Aloudata 數(shù)據(jù)工程與管理“自動(dòng)駕駛”解決方案。周衛(wèi)林強(qiáng)調(diào),作為一家以“NoETL 重塑數(shù)據(jù)生產(chǎn)力”為信念的公司,Aloudata 的初心和使命是讓數(shù)據(jù)隨時(shí)就緒、隨需而用。 招商銀行作為中國(guó)數(shù)字化轉(zhuǎn)型領(lǐng)軍企業(yè)之一,認(rèn)為通過(guò)數(shù)據(jù)洞察提升管理和營(yíng)銷的精準(zhǔn)度,讓經(jīng)營(yíng)和服務(wù)變得精細(xì)化和個(gè)性化,是參與下一階段數(shù)字化銀行業(yè)務(wù)競(jìng)爭(zhēng)的核動(dòng)力。經(jīng)過(guò)多年的探索,招商銀行數(shù)字化技術(shù)與業(yè)務(wù)場(chǎng)景的融合逐漸進(jìn)入了深水區(qū),業(yè)務(wù)需求的靈活性給數(shù)據(jù)模型帶來(lái)了空間和時(shí)間復(fù)雜度的新挑戰(zhàn),主要表現(xiàn)在報(bào)表查詢和自助分析的響應(yīng)速度、總分機(jī)構(gòu)之間的數(shù)據(jù)交付效率、數(shù)據(jù)同步和共享時(shí)的語(yǔ)義一致性問(wèn)題等方面。張軍軍介紹了招行商業(yè)智能團(tuán)隊(duì)攜手 Aloudata 為應(yīng)對(duì)上述挑戰(zhàn),共同探索實(shí)踐的敏捷用數(shù)解決方案。該方案通過(guò)自助化的數(shù)據(jù)探索/準(zhǔn)備工具和海量數(shù)據(jù)自適應(yīng)加速引擎,實(shí)現(xiàn)數(shù)據(jù)需求交付模式的創(chuàng)新,并為海量數(shù)據(jù)分析提供了新思路。同時(shí),業(yè)務(wù)化的“數(shù)據(jù)集/指標(biāo)”支持跨 BI 工具、跨總分機(jī)構(gòu)、跨業(yè)務(wù)條線的復(fù)用,有效推進(jìn)企業(yè)級(jí)業(yè)務(wù)邏輯的沉淀和使用的一致性。 張軍軍介紹說(shuō),招商銀行已經(jīng)實(shí)踐了一套 Data Fabric 敏捷數(shù)據(jù)服務(wù)體系,以數(shù)據(jù)虛擬化引擎為基礎(chǔ),連接多源異構(gòu)數(shù)據(jù)源;在此基礎(chǔ)上,提供數(shù)據(jù)準(zhǔn)備、分析和報(bào)表制作等工具;面向用戶提供統(tǒng)一的數(shù)據(jù)語(yǔ)義服務(wù),既能快速交付數(shù)據(jù),又實(shí)現(xiàn)語(yǔ)義的共享。面向未來(lái),招商銀行將繼續(xù)攜手 Aloudata 探索數(shù)據(jù)分析的智能化路徑,推動(dòng)業(yè)務(wù)從自助式用數(shù)向智能化用數(shù)的升級(jí)。 本次發(fā)布會(huì) Aloudata 全面展示的 NoETL 驅(qū)動(dòng)的數(shù)據(jù)工程架構(gòu),依托于公司團(tuán)隊(duì) 20 年的大數(shù)據(jù)技術(shù)實(shí)踐積累,并通過(guò)三款產(chǎn)品的商業(yè)化落地,在國(guó)內(nèi)率先實(shí)現(xiàn)了 Data Fabric 的最佳實(shí)踐。Data Fabric 被 Gartner 列為 2022 年十大戰(zhàn)略趨勢(shì)技術(shù)之首,被國(guó)際公認(rèn)為解決超大規(guī)模數(shù)據(jù)管理問(wèn)題、充分釋放數(shù)據(jù)價(jià)值的趨勢(shì)方案。但該技術(shù)體系因在國(guó)內(nèi)市場(chǎng)尚未形成清晰的認(rèn)知,一度落地路徑不夠明確。Aloudata 的產(chǎn)品與商業(yè)成績(jī)代表著整個(gè) Data Fabric 細(xì)分領(lǐng)域在國(guó)內(nèi)最前沿的進(jìn)展,也為中國(guó)企業(yè)數(shù)智化建設(shè)未來(lái) 5 年的發(fā)展提供了實(shí)踐經(jīng)驗(yàn)和建設(shè)目標(biāo)。 企業(yè)數(shù)智化運(yùn)營(yíng)的浪潮催生了更嚴(yán)峻的數(shù)據(jù)管理挑戰(zhàn),面對(duì)更復(fù)雜行業(yè)場(chǎng)景,作為面向未來(lái)的 Data Fabric 數(shù)據(jù)架構(gòu)理念的引領(lǐng)者,Aloudata 將憑借先進(jìn)的架構(gòu)思想和技術(shù)優(yōu)勢(shì),加速釋放企業(yè)數(shù)據(jù)潛能,為整個(gè)行業(yè)的數(shù)據(jù)管理帶來(lái)深刻的變革。
關(guān)于 Aloudata Aloudata(大應(yīng)科技)是一家自動(dòng)化數(shù)據(jù)管理軟件提供商,國(guó)內(nèi) Data Fabric 架構(gòu)理念引領(lǐng)者,以“讓數(shù)據(jù)隨時(shí)就緒”為使命,致力于消除數(shù)據(jù)管理技術(shù)瓶頸,提升 ETL 工程自動(dòng)化水平,助力企業(yè)平滑升級(jí)至下一代大數(shù)據(jù)基礎(chǔ)設(shè)施。 Aloudata 自主研發(fā)的 Aloudata AIR 邏輯數(shù)據(jù)平臺(tái)支持異構(gòu)數(shù)據(jù)的邏輯集成、整合與查詢,通過(guò)自適應(yīng)物化加速和自動(dòng)回收技術(shù),實(shí)現(xiàn)秒級(jí)查詢響應(yīng)并節(jié)省 50% 以上的存算成本;Aloudata BIG 主動(dòng)元數(shù)據(jù)平臺(tái),基于全球獨(dú)創(chuàng)的算子級(jí)血緣解析技術(shù),讓復(fù)雜數(shù)據(jù)鏈路看得清、管得住、治得動(dòng),實(shí)現(xiàn)更精細(xì)更智能的數(shù)據(jù)管理;Aloudata CAN 自動(dòng)化指標(biāo)平臺(tái),改變“業(yè)務(wù)提需求IT 開(kāi)發(fā)”的傳統(tǒng)模式,支持業(yè)務(wù)人員從任意顆粒度、任何維度靈活分析指標(biāo),實(shí)現(xiàn)指標(biāo)“定義即開(kāi)發(fā)、定義即服務(wù)”。 |