2020年美國非營利人工智能研究組織OpenAI發(fā)布了GPT-3超大規(guī)模預(yù)訓(xùn)練語言模型,并于當(dāng)年6月開放了GPT-3 API接口。成千上萬的中小開發(fā)者通過其 API 訪問了 GPT-3 模型,開發(fā)者的想象力使得基于GPT-3 API的應(yīng)用百花齊放:方向包括創(chuàng)意生成、效率工具、視頻游戲、心理健康等等。但是OpenAI的GPT-3 API沒有對(duì)中國開發(fā)者開放,并且GPT-3完全基于英文語料訓(xùn)練,不支持中文自然語言處理任務(wù)。
基于此,AI初創(chuàng)公司奇點(diǎn)智源攜手阿里云基于海量的優(yōu)質(zhì)中文預(yù)料和GPT-3的模型架構(gòu)通過阿里云的高性能AI算力集群訓(xùn)練出一系列大型預(yù)訓(xùn)練語言模型,已經(jīng)完成千億級(jí)參數(shù)規(guī)模模型的訓(xùn)練。
為降低中文自然語言處理應(yīng)用的實(shí)現(xiàn)門檻,讓開發(fā)者更容易、更快速地使用到大型預(yù)訓(xùn)練語言模型技術(shù),奇點(diǎn)智源發(fā)布具有百億級(jí)參數(shù)的瑤光模型API供開發(fā)者使用。瑤光大模型著重在小樣本學(xué)習(xí)、知識(shí)問答和文本生成方面提升能力。
模型在CLUE小樣本學(xué)習(xí)測評(píng)任務(wù)多項(xiàng)指標(biāo)名列前矛。作為中文語言理解領(lǐng)域最具權(quán)威性的測評(píng)基準(zhǔn)之一,CLUE涵蓋文本相似度、分類、自然語言推理、閱讀理解、NER等眾多語義分析和理解類子任務(wù)。
瑤光模型除了能進(jìn)行CLUE標(biāo)準(zhǔn)任務(wù)外,模型具備的小樣本學(xué)習(xí)、知識(shí)問答、文本生成等能力使得API更加具備想象空間。
