近日，TDengine正式開(kāi)放與Apache Spark的無(wú)縫集成通道，為時(shí)序數(shù)據(jù)處理帶來(lái)新的突破。aoo即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

TDengine是高性能、低成本的時(shí)序數(shù)據(jù)庫(kù)，專注于高效存儲(chǔ)與極速查詢；而Spark則是大數(shù)據(jù)分析引擎，擁有強(qiáng)大的分布式處理能力。二者協(xié)同，打通了“數(shù)據(jù)庫(kù)”與“分析引擎”之間的關(guān)鍵鏈路。aoo即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

通過(guò)TDengine提供的Java Connector，Spark不僅能直接讀取TDengine中的歷史數(shù)據(jù)，還可將處理結(jié)果回寫(xiě)數(shù)據(jù)庫(kù)，甚至訂閱實(shí)時(shí)流數(shù)據(jù)進(jìn)行流式計(jì)算。結(jié)合Spark的SQL、MLlib、Streaming等組件，用戶能基于TDengine中的時(shí)序數(shù)據(jù)實(shí)現(xiàn)從基礎(chǔ)報(bào)表到模型訓(xùn)練、趨勢(shì)預(yù)測(cè)、異常檢測(cè)等一系列數(shù)據(jù)分析任務(wù)。對(duì)于TDengine用戶而言，無(wú)需更換系統(tǒng)、遷移數(shù)據(jù)，就能擁有靈活強(qiáng)大的分析引擎。aoo即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

據(jù)悉，TDengine與Spark的集成過(guò)程并不復(fù)雜，只需部署TDengine 3.3.6.0及以上版本、配置taosAdapter、準(zhǔn)備Spark 3.3.2+、加載JDBC驅(qū)動(dòng)即可。完成集成后，用戶可使用SparkSQL查詢TDengine數(shù)據(jù)，實(shí)現(xiàn)跨表、跨庫(kù)的復(fù)雜分析；基于Java提交任務(wù)，實(shí)現(xiàn)批量數(shù)據(jù)寫(xiě)入或結(jié)果回寫(xiě)；通過(guò)標(biāo)準(zhǔn)JDBC接口，實(shí)時(shí)消費(fèi)TDengine中的數(shù)據(jù)流并交由Spark進(jìn)一步處理與計(jì)算。此外，TDengine 官方文檔中還提供了詳盡的代碼樣例，方便用戶快速上手。aoo即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com

隨著各行業(yè)時(shí)序大數(shù)據(jù)的海量提升，數(shù)據(jù)的價(jià)值不僅在于“存得快、查得準(zhǔn)”，更在于“算得動(dòng)、用得上”。時(shí)序數(shù)據(jù)庫(kù)TDengine與Spark的組合讓用戶在應(yīng)對(duì)復(fù)雜業(yè)務(wù)計(jì)算時(shí)如虎添翼，真正把數(shù)據(jù)從存儲(chǔ)系統(tǒng)轉(zhuǎn)化為決策引擎。（咸寧新聞網(wǎng)）aoo即熱新聞——關(guān)注每天科技社會(huì)生活新變化gihot.com