3月28日，由國家廣播電視總局、中華全國新聞工作者協會指導，北京市委宣傳部、光明日報社、北京市廣播電視局、北京市新聞工作者協會主辦的首屆新視聽媒體融合創新創意大賽正式公布“媒體融合技術創新”“媒體融合內容創新”“媒體融合模式創新”三大賽道的獲獎名單。
其中，“媒體融合技術創新”賽道一等獎獲得者為中國科學院自動化研究所白祎銘團隊，參賽科目是媒資視頻內容AI檢索科目。
值得一提的是，相關技術已經運用在了人民中科的核心產品，面向內容安全的跨模態視頻搜索引擎——“白澤”上。
那么“白澤”是如何運用這項技術的呢？
01“白澤”的廬山真面目
“白澤”可跨模態實現文本搜圖片、文本搜視頻、圖片搜視頻、視頻搜視頻、圖片搜文字、視頻搜文字等功能，是探索數字世界的重要工具。
“白澤”的主要功能
基于類腦認知過程的“拷貝-檢索-生成” 跨模態智能理解網絡，實現了跨模態內容檢索、視頻內容描述、視頻標簽和標題生成的一體化解決方案。
“白澤”在綜合治理上, 可以在網信、安全等領域，面向互聯網內容風控、輿情感知、情報研判、對象管控、目標落查等業務場景，提供對數字世界的事前、事中、事后全生命周期的空間治理解決方案。
“白澤”在政務服務上，可以提供集約化管理、智能搜索、智能問答等應用服務，實現“按需融合”的智能服務體系，幫助提升利企便民體驗。
“白澤”在互聯網行業，可以提供版權保護、商品監測、監播審核智能風控、智能營銷等應用，助力互聯網企業實現平臺內容統一管控和高效營銷管理。
“白澤”在教育行業，可以提供教師課件內容審核、學生課程作業查重審批、校園風險監測及互聯網涉校輿情感知等應用，為課程思政和規范教學行為提供智能化手段。
“白澤”在金融行業，可以提供合規風險自查自糾、金融業務智能風控、網絡聲譽整體感知以及跨渠道內容/產品精準營銷等應用，助力金融風險智能管控和業務價值提升。
02“白澤”到底怎么應用呢？
看了那么多，或許大家對“白澤”更多還是停留在理論層面，那么讓我來為大家舉幾個例子，看看白澤究竟是如何應用的。
常言道“造謠一張嘴，辟謠跑斷腿”。剔除謠言就是“白澤”的拿手好戲。
去年7月，某市發生疫情期間，有人在社交平臺上發布文章稱，因為全員檢測，造成大量人群聚集，產生了二次疫情傳播的風險，并附有視頻截圖。
為驗證真實情況，通過“白澤”將涉事圖片和相應文本信息輸入檢索后，隨即得出該圖片截取自2021年7月20日NBA總決賽之太陽對雄鹿第六場比賽的場外花絮視頻。
正如其名，“白澤”是用來“捉妖”的，其最重要的應用就是在內容安全領域去發現并斬殺各種“妖魔鬼怪”。
其次，“白澤”在知識產權和品牌形象的保護上也可以派上用場。比如一個作者創作了一條短視頻發在網上，他怎么判斷自己的作品有沒有被別人盜用？或者有沒有人對其作品剪輯后進行二次傳播？這些較為隱秘的侵權問題，通過人工檢索、肉眼甄別的傳統手段，或者是現有的視頻檢索技術手段，均難以有效發現。
但是“白澤”不同，它可以通過輸入情節的文字描述，并輔以關鍵幀圖片和關鍵目標，檢索出被編輯后的視頻內容。無論是鏡像翻轉，還是改變顏色、對比度、分辨率，無論是分鏡重新設計，還是進行片段組合，又或者是插入字幕或臺標、重新編碼，不管“妖魔”怎么變化，在“白澤”的“火眼金睛”下總是無所遁形。
曾經有一家媒體發現國內短視頻平臺上有大量盜用其標志作為頭像的賬號存在，于是該媒體找到人民中科，希望對短視頻平臺上盜用其標志的賬號作一個全面檢索。當然，“白澤”非常輕松地完成了任務。
同時，它還是調查研究以及媒體創作的利器。其中最顯而易見的，就是全媒體素材庫的管理。
比如，某媒體積累了大量的視頻素材，但對這些素材進行整理、歸類、檢索、提取均需要耗費大量的人力，而“白澤”則可以化身為“超級助手”，快速高效地給每個視頻都打上成百上千個標簽，方便歸類、整理、提取、使用。
再比如，在研究金融等領域，將文章、研報等輸入后，通過“白澤”可搜索全網最合適的素材，洽談版權后即可輔助編輯短視頻，將枯燥的圖文報告轉化為更容易傳播的短視頻等等。
其實“白澤”的應用場景遠比想象的更豐富，它的應用場景是全新的，都是人力目前所不能及的領域，在未來有著巨大的想象空間。
關于人民中科
人民中科智能技術有限公司，是人民網與中科院自動化所共同發起設立的“人工智能技術引擎”和科技成果轉化平臺，擁有世界領先的內容理解技術，核心產品是跨模態智能搜索引擎，初始應用場景是數字世界的安全，目標是成為全球內容科技領導企業。
