中國網(wǎng)絡空間安全協(xié)會近日宣布了一項重大舉措，正式推出了中文互聯(lián)網(wǎng)語料資源平臺，這一平臺旨在為用戶提供豐富多樣的中文語料資源。該平臺于1月9日正式上線，并面向全社會開放。
在中央網(wǎng)信辦的指導下，中國網(wǎng)絡空間安全協(xié)會攜手國家互聯(lián)網(wǎng)應急中心，在已有的中文互聯(lián)網(wǎng)基礎語料1.0的基礎上，進一步升級并發(fā)布了中文互聯(lián)網(wǎng)基礎語料2.0。這一新版本經(jīng)過嚴格的信源篩選、內(nèi)容過濾和數(shù)據(jù)去重等處理，確保了數(shù)據(jù)的高質(zhì)量和可信度。據(jù)悉，該語料庫規(guī)模達到了120GB，包含3800萬條數(shù)據(jù)。
平臺的語料數(shù)據(jù)集涵蓋了多個領域和模態(tài)，用戶可以根據(jù)行業(yè)領域、內(nèi)容模態(tài)以及體量規(guī)模等多種標簽進行分類篩選，從而輕松找到所需資源。目前，平臺已經(jīng)吸引了27個語料數(shù)據(jù)集入駐，總數(shù)據(jù)量高達2.7T。
這些語料數(shù)據(jù)集主要分為三類：第一類是由中國網(wǎng)絡空間安全協(xié)會與國家互聯(lián)網(wǎng)應急中心等聯(lián)合建設的中文互聯(lián)網(wǎng)基礎語料；第二類則是由人民網(wǎng)、北京智源研究院、上海人工智能實驗室等單位共享的互聯(lián)網(wǎng)語料；第三類則是由中國網(wǎng)絡空間研究院、中國國家版本館、中國大百科全書出版社、中國社會科學院圖書館等機構提供的優(yōu)質(zhì)中文基礎語料樣本。
用戶只需登錄中國網(wǎng)絡空間安全協(xié)會官方網(wǎng)站，點擊“中文互聯(lián)網(wǎng)語料資源平臺”鏈接，完成注冊和認證程序后，即可自由下載所需的語料資源。這一平臺的推出，無疑為中文信息處理、自然語言處理以及人工智能等領域的研究和應用提供了強有力的支持。
中國網(wǎng)絡空間安全協(xié)會人工智能安全治理專委會負責人表示，數(shù)據(jù)是人工智能發(fā)展的基石，中文互聯(lián)網(wǎng)基礎語料2.0的發(fā)布是各界共同努力、協(xié)同共建高質(zhì)量中文語料的重要成果。未來，專委會將繼續(xù)加強中文互聯(lián)網(wǎng)基礎語料的建設工作，為人工智能技術的創(chuàng)新和產(chǎn)業(yè)發(fā)展提供更加堅實的支撐和保障。
