智慧點(diǎn)亮廣電，數(shù)據(jù)刻畫未來——大數(shù)據(jù)助力智慧廣電創(chuàng)新發(fā)展

(本文作者：國家廣播電視總局廣播電視規(guī)劃院鄭冠雯，王幸 )

1 背景

當(dāng)今是一個數(shù)據(jù)爆發(fā)的時代，也是一個智慧萌芽的時代。2019年10月，第四屆中國-阿拉伯國家廣播電視合作論壇17日在浙江杭州舉行，國家主席習(xí)近平致賀信。在賀信中，習(xí)近平指出[1]，“推動媒體融合發(fā)展，打造智慧廣電媒體，發(fā)展智慧廣電網(wǎng)絡(luò)”，明確提出了智慧廣電的概念，為廣電行業(yè)創(chuàng)新發(fā)展指明了前進(jìn)的方向。

面向行業(yè)創(chuàng)新發(fā)展，國務(wù)院多次出臺相關(guān)指導(dǎo)意見。國務(wù)院出臺的《關(guān)于加快發(fā)展生產(chǎn)性服務(wù)業(yè)促進(jìn)產(chǎn)業(yè)結(jié)構(gòu)調(diào)整升級的指導(dǎo)意見》[2]明確指出，“推動云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等在生產(chǎn)性服務(wù)業(yè)的應(yīng)用，鼓勵企業(yè)開展科技創(chuàng)新、產(chǎn)品創(chuàng)新、管理創(chuàng)新、市場創(chuàng)新和商業(yè)模式創(chuàng)新，發(fā)展新興生產(chǎn)性服務(wù)業(yè)態(tài)”。國家廣電總局在《關(guān)于促進(jìn)智慧廣電發(fā)展的指導(dǎo)意見》等文件中也多次強(qiáng)調(diào)大數(shù)據(jù)的重要性，提出“充分運(yùn)用和拓展行業(yè)大數(shù)據(jù)資源，進(jìn)一步增強(qiáng)廣播電視服務(wù)能力”。可見，在廣播電視創(chuàng)新發(fā)展的道路上，智慧和數(shù)據(jù)是密不可分的。

2 大數(shù)據(jù)能力中心在，智慧廣電中的重要地位

工欲善其事、必先利其器。大數(shù)據(jù)中心是智慧廣電的重要基礎(chǔ)設(shè)施，它為智慧廣電提供了重要的數(shù)據(jù)基礎(chǔ)和能力平臺。智慧廣電基于大數(shù)據(jù)技術(shù)，融合5G網(wǎng)絡(luò)、人工智能、知識圖譜多種先進(jìn)技術(shù)，利用數(shù)據(jù)進(jìn)行廣電領(lǐng)域的智能分析和智能應(yīng)用，在大數(shù)據(jù)、云計算等基礎(chǔ)資源和網(wǎng)絡(luò)安全體系的重要保障之上，形成三個中心、建設(shè)一個平臺、輸出多種能力，如圖1所示。

三個中心指互聯(lián)網(wǎng)能力中心、大數(shù)據(jù)能力中心、AI算法能力中心。這三個中心并不獨(dú)立存在，而是相互支撐、相輔相成的：隨著有線電視雙向化改造進(jìn)程的持續(xù)推進(jìn)，IPTV、OTT、網(wǎng)絡(luò)視聽等已有IP網(wǎng)絡(luò)能效的進(jìn)一步釋放，以及廣電5G 網(wǎng)絡(luò)先進(jìn)技術(shù)的探索與應(yīng)用，互聯(lián)網(wǎng)能力中心將從“量”上拓展大數(shù)據(jù)采集的范圍與規(guī)模，從“效”上提高大數(shù)據(jù)采集的時效性，從“質(zhì)”上提高大數(shù)據(jù)采集的維度與質(zhì)量。大數(shù)據(jù)中心所采集數(shù)據(jù)“量”、“效”、“質(zhì)”的提升，又為AI算法能力中心提供更加豐富、完善的海量算法訓(xùn)練數(shù)據(jù)。從長遠(yuǎn)的角度看，AI技術(shù)的相關(guān)需求是未來數(shù)據(jù)中心需求增長的重要驅(qū)動力，而AI技術(shù)的發(fā)展又能夠幫助數(shù)據(jù)中心提升運(yùn)營效率，反向促進(jìn)數(shù)據(jù)中心邁向新高度?？梢?，在智慧廣電體系當(dāng)中，大數(shù)據(jù)中心既是承上啟下的重要數(shù)據(jù)樞紐，也是不可或缺的核心數(shù)據(jù)資源。

依托互聯(lián)網(wǎng)能力中心、大數(shù)據(jù)能力中心、AI算法能力中心，在此基礎(chǔ)之上形成智慧廣電業(yè)務(wù)開放平臺，為從現(xiàn)有廣電業(yè)務(wù)到智慧廣電應(yīng)用之間的過渡架起一座橋梁。統(tǒng)一、開放的智慧廣電能力共享平臺將在多方面發(fā)揮重要作用，將業(yè)務(wù)智能、精細(xì)管理、高效服務(wù)進(jìn)行有機(jī)結(jié)合，為廣電內(nèi)部業(yè)務(wù)效能提升提供支撐，為智慧公共服務(wù)能力建設(shè)提供抓手，為廣電相關(guān)產(chǎn)業(yè)轉(zhuǎn)型升級提供保障，依托海量數(shù)據(jù)資源提供智能化、定制化、精細(xì)化的統(tǒng)一服務(wù)。

3 大數(shù)據(jù)助力智慧廣電，創(chuàng)新發(fā)展的關(guān)鍵要素

在大數(shù)據(jù)能力中心的構(gòu)建過程中，應(yīng)依托大數(shù)據(jù)技術(shù)組件、標(biāo)準(zhǔn)和算法等關(guān)鍵要素，形成一套縱向可挖掘、橫向可擴(kuò)展的大數(shù)據(jù)技術(shù)體系架構(gòu)，為智慧廣電頂層應(yīng)用打牢技術(shù)基礎(chǔ)。智慧廣電的相關(guān)技術(shù)體系包括人工智能技術(shù)、大數(shù)據(jù)技術(shù)、音視頻技術(shù)、云計算技術(shù)等。其中，大數(shù)據(jù)技術(shù)一方面基于新一代智能廣電網(wǎng)絡(luò)采集多源異構(gòu)的用戶行為數(shù)據(jù)，另一方面為智慧廣電頂層應(yīng)用提供數(shù)據(jù)分析、數(shù)據(jù)挖掘等技術(shù)支撐，同時為人工智能技術(shù)體系提供海量訓(xùn)練數(shù)據(jù)，是智慧廣電技術(shù)體系的重要一環(huán)。目前，大數(shù)據(jù)技術(shù)體系已經(jīng)趨于成熟，其關(guān)鍵的技術(shù)組件主要包括大數(shù)據(jù)的文件存儲、數(shù)據(jù)同步、資源管理、集群管理與監(jiān)控、分布式協(xié)調(diào)服務(wù)、任務(wù)調(diào)度、日志收集、消息系統(tǒng)、離線計算、流式&實(shí)時計算、K-V&NOSQL數(shù)據(jù)庫、查詢分析、數(shù)據(jù)挖掘&機(jī)器學(xué)習(xí)等等，各個技術(shù)組件代表性的技術(shù)實(shí)現(xiàn)[4][5]等如表1所示。這些技術(shù)組件涵蓋了大數(shù)據(jù)采集、存儲、清洗、分析、處理，挖掘等全流程各個環(huán)節(jié)，是大數(shù)據(jù)支撐頂層業(yè)務(wù)應(yīng)用的必要基礎(chǔ)。

智慧廣電數(shù)據(jù)標(biāo)準(zhǔn)在確保標(biāo)準(zhǔn)一致性、準(zhǔn)確性的基礎(chǔ)上，特別應(yīng)注重標(biāo)準(zhǔn)對于快速迭代新技術(shù)的前瞻性，并充分考慮標(biāo)準(zhǔn)對于異構(gòu)大數(shù)據(jù)的可操作性。具體的，智慧廣電數(shù)據(jù)標(biāo)準(zhǔn)可包含業(yè)務(wù)術(shù)語、數(shù)據(jù)分類、標(biāo)準(zhǔn)數(shù)據(jù)元、數(shù)據(jù)質(zhì)量、安全規(guī)則等要素，同時涵蓋兩個模型和兩個體系。兩個模型是指數(shù)據(jù)模型和算法模型，一個穩(wěn)固、全面和靈活的數(shù)據(jù)模型是數(shù)據(jù)中臺建設(shè)的關(guān)鍵，是支撐各類應(yīng)用的基礎(chǔ);算法模型則是基于廣電業(yè)務(wù)場景確定的計算邏輯進(jìn)行設(shè)計，是經(jīng)驗(yàn)沉淀的載體，是數(shù)據(jù)業(yè)務(wù)化的基礎(chǔ)。兩個體系是標(biāo)簽體系和指標(biāo)體系，標(biāo)簽體系規(guī)定了各類業(yè)務(wù)對象的標(biāo)簽庫，并提供分析和數(shù)據(jù)共享通道，為精細(xì)化、個性化、差異化運(yùn)營分析提供支撐能力;指標(biāo)體系根據(jù)具體的業(yè)務(wù)需求規(guī)定相關(guān)統(tǒng)計指標(biāo)的計算規(guī)則，所輸出指標(biāo)可直接為智慧廣電相關(guān)業(yè)務(wù)場景提供量化的數(shù)據(jù)支撐。

智慧廣電算法主要包括面向音視頻識別的算法(如機(jī)器視覺、語音識別等)和面向大數(shù)據(jù)處理的算法。其中，數(shù)據(jù)壓縮算法、數(shù)據(jù)檢索算法、數(shù)據(jù)分類&聚類算法、回歸分析算法、智能推薦算法等是常見的大數(shù)據(jù)處理與挖掘算法，廣泛應(yīng)用于內(nèi)容選題、素材集成、需求組合、分析預(yù)測、創(chuàng)作生產(chǎn)等領(lǐng)域。目前，在國內(nèi)外的各大開源社區(qū)中，已經(jīng)存在大量如用戶畫像、內(nèi)容推薦等與智慧廣電應(yīng)用密切相關(guān)的開源算法。這些開源算法雖然有著優(yōu)秀的技術(shù)指標(biāo)(如推薦準(zhǔn)確率等)，但絕大數(shù)的開源算法都是僅以技術(shù)指標(biāo)作為衡量算法優(yōu)劣的標(biāo)準(zhǔn)，直接使用往往是不可取的;特別是對于國外開源社區(qū)的算法，在進(jìn)行參考時更要慎之又慎。在廣播電視領(lǐng)域算法的應(yīng)用實(shí)踐當(dāng)中，要堅定不移地使用主流價值導(dǎo)向駕馭算法，從全面提高輿論引導(dǎo)能力出發(fā)，充分考慮廣播電視主流價值導(dǎo)向的輿論宣傳需求，建立算法綜合評價體系，對算法進(jìn)行多角度、全方位的衡量，切忌粗放、盲目地將算法實(shí)施后的點(diǎn)擊量、準(zhǔn)確率等指標(biāo)作為評判算法優(yōu)劣的唯一標(biāo)準(zhǔn)。

4 廣播電視收視大數(shù)據(jù)的，探索與實(shí)踐

實(shí)踐出真知，《關(guān)于促進(jìn)智慧廣電發(fā)展的指導(dǎo)意見》指出，“開展基于大數(shù)據(jù)、全樣本、多方位的用戶收視行為深度分析，通過軟件定義、數(shù)據(jù)驅(qū)動、算法重構(gòu)等多種手段，實(shí)現(xiàn)內(nèi)容選題、素材集成、需求組合、分析預(yù)測、創(chuàng)作生產(chǎn)的全流程智能化”。廣播電視規(guī)劃院依托廣播電視節(jié)目收視綜合評價大數(shù)據(jù)系統(tǒng)，對基于大數(shù)據(jù)的智慧廣電應(yīng)用進(jìn)行了有益的探索和實(shí)踐。該系統(tǒng)堅持以人民為中心的發(fā)展理念，助力智慧廣電建設(shè)，建立與現(xiàn)代廣播電視傳播特點(diǎn)相適應(yīng)的新型收視調(diào)查技術(shù)體系。目前，系統(tǒng)已匯聚超過1.4億用戶規(guī)模數(shù)據(jù)，用數(shù)據(jù)安全管控機(jī)制來確保收視統(tǒng)計的客觀真實(shí)、防操縱、防污染。用多維綜合評價方法，來科學(xué)評價節(jié)目的社會價值、市場價值，引導(dǎo)行業(yè)健康發(fā)展，推動行業(yè)創(chuàng)新發(fā)展。目前，廣播電視節(jié)目收視綜合評價大數(shù)據(jù)系統(tǒng)已經(jīng)探索形成了一套數(shù)據(jù)匯聚、清洗、轉(zhuǎn)換、分析、輸出、應(yīng)用的全鏈運(yùn)行機(jī)制，如圖2所示。

在數(shù)據(jù)匯聚方面，匯入系統(tǒng)的多源異構(gòu)收視數(shù)據(jù)應(yīng)遵循真實(shí)原則、全量原則與保密原則。真實(shí)原則指數(shù)據(jù)提供方應(yīng)確保提供數(shù)據(jù)的客觀性和真實(shí)性;全量原則指所提供數(shù)據(jù)應(yīng)是該數(shù)據(jù)源全部用戶的全量收視行為數(shù)據(jù);保密原則指應(yīng)確保收視數(shù)據(jù)交換過程中個人信息得到有效保護(hù)。同時，面對海量多源異構(gòu)數(shù)據(jù)的接入，為保證數(shù)據(jù)質(zhì)量，系統(tǒng)建立了數(shù)據(jù)的三級稽核機(jī)制，對接入系統(tǒng)的多源異構(gòu)數(shù)據(jù)源進(jìn)行深度核查。其中，第一層是數(shù)據(jù)規(guī)范性核查，確保數(shù)據(jù)符合協(xié)議規(guī)范，使數(shù)據(jù)達(dá)到基本可用;第二層是數(shù)據(jù)完整性核查，確保數(shù)據(jù)不丟失、不重復(fù)，使數(shù)據(jù)達(dá)到基本可信;第三層是數(shù)據(jù)合理性核查，通過對數(shù)據(jù)的深層次、多維度、規(guī)律性分析，使數(shù)據(jù)達(dá)到深度可信。此外，系統(tǒng)對數(shù)據(jù)鏈路的傳輸連通性和各節(jié)點(diǎn)設(shè)備性能進(jìn)行監(jiān)控，確保數(shù)據(jù)傳輸?shù)目煽颗c穩(wěn)定。

在數(shù)據(jù)清洗轉(zhuǎn)換方面，需要對數(shù)據(jù)進(jìn)行抽取、清洗、轉(zhuǎn)換后，將標(biāo)準(zhǔn)化的數(shù)據(jù)存入平臺的數(shù)據(jù)倉庫中。在數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換、入庫等過程中，大數(shù)據(jù)標(biāo)準(zhǔn)起到了關(guān)鍵的作用。首先，應(yīng)按照GD/J 074-2018《電視收視數(shù)據(jù)元素集規(guī)范》[5]中的要求提取關(guān)鍵字段信息，從數(shù)據(jù)源中抽取數(shù)倉中必要的數(shù)據(jù)字段;其次，應(yīng)按照GD/J 076-2018《電視收視數(shù)據(jù)清洗規(guī)范》[6]中的要求，建立統(tǒng)一的收視數(shù)據(jù)清洗規(guī)則配置庫，并在收視數(shù)據(jù)清洗引擎中對重復(fù)數(shù)據(jù)、不完整數(shù)據(jù)、噪聲數(shù)據(jù)、錯誤數(shù)據(jù)等進(jìn)行統(tǒng)一清洗處理;最后，基于GD/J 075-2018《電視收視數(shù)據(jù)交換接口規(guī)范》[7]中第5部分“數(shù)據(jù)交換格式”的要求，從用戶數(shù)據(jù)、終端設(shè)備數(shù)據(jù)、節(jié)目數(shù)據(jù)、收視行為數(shù)據(jù)等方面對格式不一致的數(shù)據(jù)源進(jìn)行歸一化處理，并將結(jié)果存入平臺數(shù)倉當(dāng)中，為后續(xù)數(shù)據(jù)分析提供內(nèi)容完整、結(jié)構(gòu)規(guī)范的基礎(chǔ)數(shù)據(jù)。

數(shù)據(jù)分析挖掘方面，系統(tǒng)將大數(shù)據(jù)技術(shù)的優(yōu)勢與收視分析業(yè)務(wù)的特點(diǎn)進(jìn)行深度結(jié)合，將收視數(shù)據(jù)分析中的各個過程拆解為的計數(shù)、累加、去重等基本運(yùn)算操作，充分發(fā)揮大數(shù)據(jù)平臺善于批量處理海量規(guī)模數(shù)據(jù)基本運(yùn)算操作的優(yōu)勢，使之能夠在大數(shù)據(jù)平臺上采用MapReduce等模型進(jìn)行高效、并行、穩(wěn)定的運(yùn)算。在指標(biāo)計算方面，系統(tǒng)一方面立足大數(shù)據(jù)先天優(yōu)勢，形成觀看用戶絕對數(shù)、收視絕對時長等大數(shù)據(jù)指標(biāo)，數(shù)據(jù)統(tǒng)計精準(zhǔn)到戶、節(jié)目分析精確到秒，為客觀、真實(shí)評價廣播電視節(jié)目收視情況提供了精細(xì)化的數(shù)據(jù)支撐;另一方面深挖數(shù)據(jù)內(nèi)在價值，在單指標(biāo)基礎(chǔ)之上進(jìn)行多維指標(biāo)聯(lián)合分析，對節(jié)目的場景吸引力、節(jié)目粘性、平臺效應(yīng)、收看方式、內(nèi)容供需關(guān)系、播出編排、宣推效果等進(jìn)行綜合考量，進(jìn)而分析節(jié)目傳播效果及其成因，為綜合評價廣播電視節(jié)目的影響力、競爭力提供了有力的數(shù)據(jù)抓手。

在成果應(yīng)用方面，系統(tǒng)一方面形成大數(shù)據(jù)能力平臺，一方面輸出大數(shù)據(jù)分析服務(wù)，以大數(shù)據(jù)助力智慧廣電創(chuàng)新應(yīng)用。前文指出，大數(shù)據(jù)平臺是智慧廣電的關(guān)鍵基礎(chǔ)設(shè)施，而收視綜合評價大數(shù)據(jù)系統(tǒng)正是廣電大數(shù)據(jù)平臺的重要一環(huán)。收視數(shù)據(jù)是廣播電視領(lǐng)域最廣泛、最龐大的用戶行為數(shù)據(jù)，收視大數(shù)據(jù)中心的建設(shè)既是用戶畫像、智能推薦等智慧廣電應(yīng)用的基礎(chǔ)數(shù)據(jù)，也支持面向數(shù)據(jù)挖掘、數(shù)據(jù)二次開發(fā)等需求提供API接口服務(wù)，更能為智慧廣電AI能力中心提供數(shù)據(jù)資源。同時，系統(tǒng)將提供節(jié)目收視大數(shù)據(jù)分析服務(wù)，為智慧廣電創(chuàng)新應(yīng)用提供強(qiáng)有力的數(shù)據(jù)支撐。系統(tǒng)所提供的精細(xì)化、定制化的數(shù)據(jù)分析服務(wù)，將在以下方面發(fā)揮關(guān)鍵作用：一是支撐政府決策，為節(jié)目內(nèi)容題材調(diào)控、引導(dǎo)提供數(shù)據(jù)支撐;二是助力政府監(jiān)管，為遏制行業(yè)亂象提供數(shù)據(jù)抓手;三是服務(wù)行業(yè)發(fā)展，為電視臺與運(yùn)營商明確定位、業(yè)務(wù)升級、精準(zhǔn)投放提供數(shù)據(jù)服務(wù)，讓好節(jié)目進(jìn)入好平臺、好時段;四是回應(yīng)社會關(guān)注，讓“叫好”與“叫座”并存，為滿足人民群眾精神文化需求提供數(shù)據(jù)保障。

5 小結(jié)

智慧廣電需要大數(shù)據(jù)作為思考和決策的基礎(chǔ)，大數(shù)據(jù)也需要智慧廣電作為數(shù)據(jù)價值體現(xiàn)的載體。在智慧廣電創(chuàng)新發(fā)展的道路上，要不斷開放、發(fā)掘、利用廣電大數(shù)據(jù)資源，促進(jìn)創(chuàng)新鏈和產(chǎn)業(yè)鏈深度融合，以大數(shù)據(jù)支撐廣播電視和視聽媒體供給側(cè)改革，助力廣播電視創(chuàng)新發(fā)展，用大數(shù)據(jù)點(diǎn)亮智慧廣電嶄新未來。