5月13日,在北京舉辦的“騰訊云原生智能數(shù)據(jù)湖”發(fā)布會上,騰訊云首次對外展示完整云端數(shù)據(jù)湖產(chǎn)品圖譜,并推出兩款“開箱即用”數(shù)據(jù)湖產(chǎn)品,數(shù)據(jù)湖計(jì)算服務(wù)DLC和數(shù)據(jù)湖構(gòu)建DLF。
騰訊云大數(shù)據(jù)產(chǎn)品中心副總經(jīng)理雷小平表示:“伴隨著企業(yè)對于數(shù)據(jù)洞察敏捷度要求的不斷提升,騰訊云正在不斷探索更智能、更靈活、更高性價比的大數(shù)據(jù)工具。我們看到,數(shù)據(jù)湖架構(gòu)已經(jīng)成為在數(shù)據(jù)智能時代的新趨勢,而云是數(shù)據(jù)湖最佳的實(shí)踐場所。騰訊云原生智能數(shù)據(jù)湖將助力各行各業(yè)解決多元化數(shù)據(jù)分析場景的新需求,更好地激發(fā)大數(shù)據(jù)在企業(yè)數(shù)字化升級過程中的價值!
六大層級產(chǎn)品構(gòu)筑全方位數(shù)據(jù)湖服務(wù)
云原生數(shù)據(jù)湖可以賦予客戶更高的數(shù)據(jù)敏捷度、更優(yōu)的數(shù)據(jù)存儲分析成本,以及更極致的資源彈性能力,在打破數(shù)據(jù)孤島、實(shí)現(xiàn)多元化數(shù)據(jù)分析等方面具有獨(dú)特優(yōu)勢。
騰訊云此次展示的完整云原生數(shù)據(jù)湖產(chǎn)品矩陣包括數(shù)據(jù)湖存儲、數(shù)據(jù)湖算力調(diào)度、數(shù)據(jù)湖大數(shù)據(jù)分析、數(shù)據(jù)湖AI能力、以及數(shù)據(jù)湖應(yīng)用和云上基礎(chǔ)服務(wù)六個層面,提供一體化的全方位服務(wù)。
騰訊云原生智能數(shù)據(jù)湖產(chǎn)品圖譜
數(shù)據(jù)湖存儲以對象存儲COS服務(wù)為核心,理論上可以存儲任意規(guī)模的異構(gòu)數(shù)據(jù),具有高可靠性和高持久性,同時也支持將其他云端數(shù)據(jù)設(shè)施作為數(shù)據(jù)湖的存儲服務(wù)。在數(shù)據(jù)湖算力調(diào)度方面,基于騰訊云彈性容器服務(wù)EKS,開放的容器化的分析架構(gòu)讓數(shù)據(jù)分析功能可組合性更強(qiáng),擴(kuò)展性更強(qiáng),資源利用率更高。
在數(shù)據(jù)分析層,騰訊云數(shù)據(jù)湖既提供半托管的泛Hadoop服務(wù),滿足用戶自定義需求,也提供全托管的數(shù)據(jù)服務(wù),便于用戶獲取海量數(shù)據(jù)的洞察力。此外,用戶還可利用騰訊云提供的數(shù)據(jù)協(xié)作工具對計(jì)算服務(wù)進(jìn)行編排和調(diào)用,大幅度提升企業(yè)數(shù)據(jù)的便捷性和敏捷度。
值得一提的是,針對越來越多的音視圖文數(shù)據(jù),騰訊云數(shù)據(jù)湖包含豐富的AI服務(wù),為圖像處理、音頻處理、自然語言處理、視頻處理等提供有力的數(shù)據(jù)支撐。在數(shù)據(jù)應(yīng)用服務(wù)中,騰訊云推出基于數(shù)據(jù)湖的數(shù)據(jù)應(yīng)用服務(wù),比如企業(yè)畫像、聯(lián)邦計(jì)算、商業(yè)智能分析等。
最后,云原生的基礎(chǔ)服務(wù)為騰訊云數(shù)據(jù)湖體系提供了有力的保障。
雷小平表示,這六大層面基本涵蓋了客戶的諸多需求,此外,騰訊云還在不斷的研發(fā)更多的數(shù)據(jù)湖產(chǎn)品,以完善云原生智能數(shù)據(jù)湖矩陣。
兩款“開箱即用”數(shù)據(jù)湖新品 消除數(shù)據(jù)孤島
為了幫助客戶快速構(gòu)建和分析數(shù)據(jù)湖,騰訊云此次正式推出兩款開箱即用的數(shù)據(jù)湖產(chǎn)品:數(shù)據(jù)湖計(jì)算服務(wù)(Data Lake Compute,簡稱DLC)和數(shù)據(jù)湖構(gòu)建(Data Lake Formation ,簡稱DLF)。
數(shù)據(jù)湖計(jì)算服務(wù)作為敏捷高效的的數(shù)據(jù)湖分析引擎,采用無服務(wù)器架構(gòu)設(shè)計(jì),用戶無需關(guān)注底層架構(gòu)或維護(hù)計(jì)算資源,使用標(biāo)準(zhǔn)SQL即可完成對象存儲服務(wù)及其它云端數(shù)據(jù)設(shè)施的聯(lián)合分析。此外,用戶無需進(jìn)行傳統(tǒng)的數(shù)據(jù)分層建模,大幅縮減了海量數(shù)據(jù)分析的準(zhǔn)備時間,有效提升了企業(yè)數(shù)據(jù)敏捷度。
數(shù)據(jù)湖構(gòu)建則能幫助用戶快速高效的構(gòu)建企業(yè)數(shù)據(jù)湖技術(shù)架構(gòu),包括統(tǒng)一元數(shù)據(jù)管理、多源數(shù)據(jù)入湖、任務(wù)編排、權(quán)限管理等數(shù)據(jù)湖構(gòu)建工具。同時,借助數(shù)據(jù)湖構(gòu)建,用戶可以極大提高數(shù)據(jù)入湖準(zhǔn)備的效率,方便地管理散落各處的孤島數(shù)據(jù)。
雷小平表示,基于這兩款數(shù)據(jù)湖產(chǎn)品,相比于本地自建大數(shù)據(jù)集群,數(shù)據(jù)湖構(gòu)建時間減少了60%,數(shù)據(jù)分析計(jì)算性能提升35.5%,云端數(shù)據(jù)湖架構(gòu)投入使用后可使存算數(shù)據(jù)量增長75%,配合其他大數(shù)據(jù)服務(wù),在業(yè)務(wù)峰值期可以節(jié)約30%的硬件資源,以及一半的大數(shù)據(jù)工程師和運(yùn)維工程師。
三大趨勢催生國內(nèi)首個云原生智能數(shù)據(jù)湖
騰訊云此次推出云原生智能數(shù)據(jù)湖的背后,是數(shù)智時代的數(shù)據(jù)分析新趨勢,包括以云計(jì)算為中心、以數(shù)據(jù)驅(qū)動業(yè)務(wù)及可組合式數(shù)據(jù)架構(gòu)。
預(yù)計(jì)到2021年低,云將承載80%的應(yīng)用開發(fā)和部署。與此同時,數(shù)據(jù)驅(qū)動業(yè)務(wù)的浪潮席卷了各行各業(yè),據(jù)知名咨詢機(jī)構(gòu)統(tǒng)計(jì),到2025年全球數(shù)據(jù)總量將超過160ZB,全球數(shù)據(jù)總量的近20%將成為影響日常生活的關(guān)鍵數(shù)據(jù),近10%將變?yōu)槌P(guān)鍵數(shù)據(jù)。
為此,企業(yè)迫切需要可以利用多個數(shù)據(jù)源、使用不同的大數(shù)據(jù)分析技術(shù),快速構(gòu)建靈活友好的數(shù)據(jù)架構(gòu),解決多元化分析場景的數(shù)據(jù)需求。
“面對這些變化,騰訊云原生智能數(shù)據(jù)湖應(yīng)勢而生!崩仔∑秸J(rèn)為:“云原生智能數(shù)據(jù)湖,能夠很好的擴(kuò)展計(jì)算和存儲資源,同時能極大地降低運(yùn)維管理難度,實(shí)現(xiàn)業(yè)務(wù)靈活部署!
騰訊云云原生智能數(shù)據(jù)湖具備更高的數(shù)據(jù)敏捷度、更優(yōu)的數(shù)據(jù)性價比、更強(qiáng)的數(shù)據(jù)智能化能力,可以更好地激發(fā)數(shù)據(jù)業(yè)務(wù)價值。同時,它天然具備云服務(wù)的眾多優(yōu)勢,包括多租戶的權(quán)限管控、存儲計(jì)算資源彈性伸縮、底層資源免運(yùn)維、云端服務(wù)高可用高可靠、僅需按照使用量付費(fèi)等。
在應(yīng)用方面,騰訊云正在積極推動數(shù)據(jù)湖在政務(wù)、工業(yè)、零售等領(lǐng)域的大規(guī)模落地。騰訊云數(shù)據(jù)湖體系已服務(wù)眾多內(nèi)外部客戶,其整體算力彈性資源池已達(dá)500萬核,存儲數(shù)據(jù)超過100PB,每日分析任務(wù)數(shù)達(dá)1500萬,每日實(shí)時計(jì)算次數(shù)超過萬億,能支持上億維度的數(shù)據(jù)訓(xùn)練。
業(yè)內(nèi)人士認(rèn)為:“作為數(shù)智時代的新引擎,云原生智能數(shù)據(jù)湖能夠?yàn)橛脩魩砀嗟目赡苄,挖掘更大的?shù)據(jù)潛能。在新一輪的產(chǎn)業(yè)互聯(lián)網(wǎng)浪潮中,政企都需要掛上新引擎,實(shí)現(xiàn)更好的數(shù)智化轉(zhuǎn)型!