對于企業(yè)來說采用云原生架構(gòu)已經(jīng)成為一種趨勢和必要選擇，可以幫助企業(yè)更好地應(yīng)對業(yè)務(wù)變化和市場挑戰(zhàn)，提高業(yè)務(wù)競爭力和創(chuàng)新能力；云原生架構(gòu)可以為大數(shù)據(jù)在彈性、多租戶、敏捷開發(fā)、降本增效、安全合規(guī)、容災(zāi)和資源調(diào)度等方向上帶來優(yōu)勢。

在這個(gè)背景下，業(yè)界已經(jīng)有很多云原生的大數(shù)據(jù)產(chǎn)品出現(xiàn)，幫助企業(yè)轉(zhuǎn)型云原生架構(gòu)，同時(shí)很多企業(yè)內(nèi)部對大數(shù)據(jù)引擎如何能更好的利用云原生的特性支撐好業(yè)務(wù)也有很多的實(shí)踐。本論壇特別邀請了來自Spark/Flink/Trino等領(lǐng)域內(nèi)專家，分享這些引擎在云原生架構(gòu)上面的一些實(shí)踐經(jīng)驗(yàn)。

點(diǎn)擊鏈接了解更多議題詳情，預(yù)約直播：

(資料圖片僅供參考)

出品人：一新 字節(jié)跳動(dòng) 批式計(jì)算研發(fā)負(fù)責(zé)人

個(gè)人介紹：字節(jié)跳動(dòng)批式計(jì)算負(fù)責(zé)人，支撐公司內(nèi)大規(guī)模的離線數(shù)據(jù)處理&機(jī)器學(xué)習(xí)等業(yè)務(wù)場景，在 Spark/Ray/Primus/Iceberg 等方面做了大量的功能拓展&性能優(yōu)化。

范文臣 Databricks 技術(shù)主管

個(gè)人介紹：范文臣，Databricks 開源組技術(shù)主管，Apache Spark PMC member，Spark社區(qū)最活躍的貢獻(xiàn)者之一。從2013年開始參與Spark的研發(fā)，2015年加入Databricks，目前主要負(fù)責(zé)Spark Core/SQL 的設(shè)計(jì)開發(fā)和開源社區(qū)管理。

演講題目：What"s new in Spark 3.4

演講提綱：本次演講介紹了 Apache Spark 最新版本 3.4 的新增功能和改進(jìn)，包括 SQL, Python, Streamig 和 AI 集成等各個(gè)模塊。

聽眾收益：了解 Spark 最新版本。

程航 字節(jié)跳動(dòng) 計(jì)算引擎開發(fā)工程師

個(gè)人介紹：現(xiàn)任字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)工程師，主要負(fù)責(zé) Spark 內(nèi)核開發(fā)及字節(jié)自研 Cloud Shuffle Service 開發(fā)。

演講題目：字節(jié)跳動(dòng) Spark Shuffle 大規(guī)模云原生化演進(jìn)實(shí)踐

演講提綱：在字節(jié)跳動(dòng)內(nèi)部，Spark 是應(yīng)用最廣泛的計(jì)算引擎，每天任務(wù)數(shù)超過 150W，被廣泛應(yīng)用于大規(guī)模數(shù)據(jù)處理，機(jī)器學(xué)習(xí)等場景。線上集群磁盤類型多樣，包括 SSD、HDD 以及混合等。每天會(huì)產(chǎn)生超過 100PB 以上的 Shuffle 數(shù)據(jù)，同時(shí)單個(gè)任務(wù)的 Shuffle 數(shù)據(jù)量可能達(dá)到數(shù)百 TB。巨量的 Shuffle 數(shù)據(jù)和復(fù)雜的計(jì)算資源環(huán)境給 Spark 運(yùn)行過程中的 Shuffle 性能帶來了很多挑戰(zhàn)。本文會(huì)分享字節(jié)跳動(dòng)在 Spark Shuffle 云原生化方面的大規(guī)模演進(jìn)實(shí)踐。

在提供穩(wěn)定資源的集群，主要以部署 SSD 磁盤為主，我們使用社區(qū) External Shuffle Service (ESS) 作為主要的 Shuffle 方案，將 ESS 云原生化部署，并進(jìn)行深度定制：

- 增加 Shuffle 限流功能，按任務(wù)等級給作業(yè)分配不同 Shuffle QPS，增強(qiáng) ESS 的服務(wù)分級隔離能力。當(dāng) ESS 節(jié)點(diǎn)壓力過大時(shí)，會(huì)自動(dòng)限流低優(yōu)任務(wù)來保證高優(yōu)任務(wù)的正常運(yùn)行；

- 增加 Shuffle 溢寫分裂功能，當(dāng)單個(gè) Executor 產(chǎn)生的 Shuffle 數(shù)據(jù)達(dá)到閾值時(shí)，主動(dòng)釋放該 Executor 并通知調(diào)度器在其他節(jié)點(diǎn)重新調(diào)度，防止打滿磁盤，同時(shí)避免對 ESS 產(chǎn)生壓力；

- 增強(qiáng) ESS 的監(jiān)控能力，并且優(yōu)化 Spark UI，快速定位給 ESS fetch 壓力最大的作業(yè)并進(jìn)行及時(shí)的報(bào)警。同時(shí)通過自研的智能調(diào)優(yōu)系統(tǒng)給作業(yè)推薦最佳的參數(shù)來優(yōu)化作業(yè) Shuffle 性能；

混部場景比較多樣，包括在離線混部、與 HDFS 混部等，該場景下以部署 HDD 磁盤為主，磁盤性能差且容量不足，對 Shuffle 穩(wěn)定性影響大。這種場景我們自研 Cloud Shuffle Service (CSS) 來解決上述問題：

- 該服務(wù)摒棄了 ESS 的實(shí)現(xiàn)思路而是采用了 push-based shuffle 思路。Shuffle write 階段就直接按照 partition 把數(shù)據(jù)寫入到遠(yuǎn)端服務(wù)的 buffer 并最終 flush 到遠(yuǎn)端服務(wù)的磁盤上。Shuffle read 階段直接讀取遠(yuǎn)端服務(wù)磁盤上的連續(xù)文件，避免了大量的磁盤隨機(jī) IO。

- CSS 也增加了 columnar shuffle 的支持，通過列式存儲(chǔ) shuffle 數(shù)據(jù)，獲得更高的編碼和壓縮效率，極大減少 Shuffle 數(shù)據(jù)量

聽眾收益：

1. 介紹云原生環(huán)境下大規(guī)模 Shuffle 作業(yè)管理遇到的挑戰(zhàn)

2. 針對不同場景對超大規(guī)模 Shuffle 作業(yè)進(jìn)行的優(yōu)化與收益

3. Columnar Shuffle 等新功能的研發(fā)支持與上線帶來的收益

劉建剛 快手 技術(shù)專家

個(gè)人介紹：畢業(yè)于北航，先后任職于搜狗、百度，于2018年加入快手并推動(dòng)Flink在快手的深度改造和生產(chǎn)可用。

演講題目：Flink on k8s 在快手的生產(chǎn)實(shí)踐

演講提綱：

1. Flink從yarn向k8s遷移的背景。

2. Flink on k8s的生產(chǎn)可用性改造，包含調(diào)度、metric、debug優(yōu)化等。

3. Flink on k8s的大規(guī)模遷移實(shí)踐，如何幫助用戶無縫遷移。

4. Flink on k8s的未來規(guī)劃。

聽眾收益：

1. 了解云浪潮下的實(shí)時(shí)計(jì)算。

2. 業(yè)內(nèi)少有的大規(guī)模上云經(jīng)驗(yàn)。

3. Flink on k8s的穩(wěn)定性實(shí)戰(zhàn)。

張明磊 嗶哩嗶哩 OLAP 高級開發(fā)工程師

個(gè)人介紹：專注于超大規(guī)模分布式系統(tǒng)的研發(fā)與應(yīng)用實(shí)踐, 之前阿里云數(shù)據(jù)庫OLAP團(tuán)隊(duì)參與ADB產(chǎn)品的研發(fā), 現(xiàn)在在嗶哩嗶哩從事交互式分析產(chǎn)品的研發(fā)。

演講題目：Trino在嗶哩嗶哩湖倉一體平臺中的實(shí)踐

演講提綱：探討 Trino 和 Iceberg 的結(jié)合，以及如何通過它們來優(yōu)化湖倉一體中的大數(shù)據(jù)查詢。其次，會(huì)側(cè)重介紹 Trino 的穩(wěn)定性保障，Trino 如何在保證高速查詢的同時(shí)，也確保了系統(tǒng)的穩(wěn)定運(yùn)行。最后，我們將探索 Trino 的容器化及其計(jì)劃。

聽眾收益：

1. Trino 如何結(jié)合 Iceberg 深度優(yōu)化實(shí)現(xiàn)查詢加速

2: Trino 的穩(wěn)定性保障

3. Trino 的容器化部署

點(diǎn)擊鏈接了解更多議題詳情，預(yù)約直播：

關(guān)鍵詞：