在互聯(lián)網(wǎng)行業(yè)快速迭代、數(shù)據(jù)規(guī)模呈指數(shù)級增長的今天，作為國內(nèi)領(lǐng)先的年輕人文化社區(qū)，嗶哩嗶哩（Bilibili）面臨著海量、多維、實時的數(shù)據(jù)處理挑戰(zhàn)。為了高效賦能業(yè)務(wù)創(chuàng)新、提升用戶體驗并驅(qū)動科學(xué)決策，構(gòu)建一個統(tǒng)一、高效、敏捷的數(shù)據(jù)服務(wù)中臺，尤其是其核心組件——數(shù)據(jù)處理服務(wù)，成為B站技術(shù)演進的必然選擇。本文將探討嗶哩嗶哩在數(shù)據(jù)服務(wù)中臺建設(shè)過程中，數(shù)據(jù)處理服務(wù)的實踐路徑、技術(shù)架構(gòu)與核心價值。
一、建設(shè)背景與核心目標(biāo)
嗶哩嗶哩的業(yè)務(wù)生態(tài)涵蓋視頻、直播、游戲、漫畫、社區(qū)互動等多個板塊，每日產(chǎn)生PB級別的結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)。早期，數(shù)據(jù)處理往往以“煙囪式”架構(gòu)存在于各業(yè)務(wù)線，導(dǎo)致數(shù)據(jù)孤島、計算資源浪費、研發(fā)效率低下、數(shù)據(jù)口徑不一致等問題日益凸顯。為此，數(shù)據(jù)服務(wù)中臺的建設(shè)核心目標(biāo)確立為：
- 統(tǒng)一化：建立標(biāo)準(zhǔn)化的數(shù)據(jù)接入、處理、存儲與服務(wù)出口，打破數(shù)據(jù)壁壘。
- 平臺化：提供自助、易用的數(shù)據(jù)處理工具與平臺，降低數(shù)據(jù)使用門檻，提升研發(fā)效率。
- 服務(wù)化：將數(shù)據(jù)能力封裝成可復(fù)用、可擴展的API服務(wù)，敏捷響應(yīng)前端業(yè)務(wù)需求。
- 智能化：融入實時計算與智能算法，支持實時推薦、風(fēng)險控制、動態(tài)運營等場景。
數(shù)據(jù)處理服務(wù)作為中臺的“加工廠”，承擔(dān)著將原始數(shù)據(jù)轉(zhuǎn)化為清潔、可靠、有價值的數(shù)據(jù)資產(chǎn)的關(guān)鍵職責(zé)。
二、數(shù)據(jù)處理服務(wù)的架構(gòu)演進
嗶哩嗶哩的數(shù)據(jù)處理服務(wù)架構(gòu)經(jīng)歷了從分散到集中、從批處理到批流一體的演進過程。
1. 分層解耦的架構(gòu)設(shè)計：
當(dāng)前的核心架構(gòu)通常分為四層：
- 數(shù)據(jù)采集層：通過自研Agent、日志SDK、數(shù)據(jù)庫Binlog同步等多種方式，實現(xiàn)全端數(shù)據(jù)的高效、可靠接入。
- 數(shù)據(jù)存儲與計算層：這是數(shù)據(jù)處理的核心。結(jié)合Hadoop、Spark、Flink、Kafka等開源生態(tài)，構(gòu)建了強大的批處理和流式計算能力。數(shù)據(jù)倉庫采用分層建模（如ODS、DWD、DWS、ADS），確保數(shù)據(jù)一致性和復(fù)用性。
- 數(shù)據(jù)管理與治理層：建立統(tǒng)一的數(shù)據(jù)資產(chǎn)目錄、元數(shù)據(jù)管理、數(shù)據(jù)血緣和質(zhì)量監(jiān)控體系。通過可視化工具，讓數(shù)據(jù)來源、加工邏輯、數(shù)據(jù)質(zhì)量一目了然，為數(shù)據(jù)可信度奠定基礎(chǔ)。
- 數(shù)據(jù)服務(wù)層：將加工后的數(shù)據(jù)，通過統(tǒng)一查詢服務(wù)、實時數(shù)據(jù)服務(wù)、指標(biāo)平臺、推薦/搜索數(shù)據(jù)服務(wù)等方式，以API或數(shù)據(jù)產(chǎn)品的形式提供給各業(yè)務(wù)方。
2. 批流一體的實踐：
為滿足實時業(yè)務(wù)需求（如實時彈幕分析、實時熱門榜單、實時風(fēng)控），在傳統(tǒng)T+1批處理的基礎(chǔ)上，深度應(yīng)用Apache Flink構(gòu)建了低延遲的實時數(shù)據(jù)處理管道。通過將批流計算在SQL層面進行統(tǒng)一，并共享數(shù)據(jù)存儲（如Hive、Iceberg），實現(xiàn)了“一套代碼，兩種執(zhí)行模式”，簡化了開發(fā)運維復(fù)雜度。
3. 平臺化與自助化：
開發(fā)了面向內(nèi)部用戶的數(shù)據(jù)開發(fā)平臺。數(shù)據(jù)研發(fā)人員可以在平臺上進行任務(wù)編排、SQL/代碼開發(fā)、依賴配置、調(diào)度發(fā)布與監(jiān)控告警。業(yè)務(wù)分析師也可以通過低代碼或SQL界面，自助進行數(shù)據(jù)查詢、報表生成和即席分析，大大縮短了從數(shù)據(jù)需求到數(shù)據(jù)產(chǎn)出的路徑。
三、關(guān)鍵技術(shù)挑戰(zhàn)與解決方案
- 海量數(shù)據(jù)下的效率與成本：通過計算引擎優(yōu)化（如Spark動態(tài)資源分配、Flink增量計算）、存儲格式升級（采用ORC、Parquet及數(shù)據(jù)湖格式）、冷熱數(shù)據(jù)分層存儲與智能壓縮等手段，在保障查詢性能的有效控制了存儲與計算成本。
- 數(shù)據(jù)質(zhì)量保障：建立了貫穿數(shù)據(jù)處理全鏈路的質(zhì)量監(jiān)控體系。在任務(wù)層面，設(shè)置關(guān)鍵指標(biāo)（如記錄數(shù)波動、空值率、數(shù)值異常）的強規(guī)則校驗；在鏈路層面，通過數(shù)據(jù)血緣進行影響分析和故障溯源；推行數(shù)據(jù)資產(chǎn)認責(zé)制度，確保問題可追溯、可定責(zé)、可修復(fù)。
- 復(fù)雜業(yè)務(wù)場景的敏捷支持：面對快速變化的業(yè)務(wù)需求（如新活動、新功能上線），數(shù)據(jù)處理服務(wù)通過以下方式提升敏捷性：
- 模型復(fù)用：沉淀公共數(shù)據(jù)層（DWD/DWS），避免重復(fù)開發(fā)。
- 快速啟動模板：為常見場景（如用戶行為分析、AB實驗）提供標(biāo)準(zhǔn)化數(shù)據(jù)模型與處理模板。
- 服務(wù)化接口：將核心數(shù)據(jù)能力（如用戶畫像查詢、實時計數(shù)）封裝為高可用、低延遲的在線服務(wù)，供業(yè)務(wù)系統(tǒng)直接調(diào)用。
四、核心價值與未來展望
通過數(shù)據(jù)服務(wù)中臺及數(shù)據(jù)處理服務(wù)的建設(shè)，嗶哩嗶哩實現(xiàn)了顯著的業(yè)務(wù)與技術(shù)價值：
- 業(yè)務(wù)賦能：為個性化推薦、內(nèi)容安全、商業(yè)化廣告、運營決策等提供了堅實、及時的數(shù)據(jù)支撐，直接提升了用戶體驗和商業(yè)效率。
- 效率提升：數(shù)據(jù)研發(fā)效率大幅提高，需求交付周期從“周/月”級縮短到“天/小時”級。業(yè)務(wù)方獲取數(shù)據(jù)從“提需求”轉(zhuǎn)變?yōu)椤白灾?wù)”。
- 成本優(yōu)化：統(tǒng)一的資源調(diào)度與存儲管理，避免了重復(fù)建設(shè)，實現(xiàn)了集群資源利用率的整體優(yōu)化。
- 質(zhì)量與信任：標(biāo)準(zhǔn)化的流程與全面的監(jiān)控，構(gòu)建了公司內(nèi)部對數(shù)據(jù)資產(chǎn)的信任文化。
嗶哩嗶哩的數(shù)據(jù)處理服務(wù)將繼續(xù)向更智能、更實時、更易用的方向發(fā)展：深化實時數(shù)倉建設(shè)，探索數(shù)據(jù)湖倉一體化架構(gòu)；加強AI能力注入，實現(xiàn)數(shù)據(jù)處理的智能化運維與異常檢測；進一步降低數(shù)據(jù)消費門檻，讓數(shù)據(jù)能力像水電煤一樣，無縫、高效地流淌到每一個需要的業(yè)務(wù)環(huán)節(jié)，持續(xù)鞏固B站在內(nèi)容生態(tài)領(lǐng)域的核心競爭力。
