最近在硅谷引起轟動的GPT-3號的位置是什么？我相信那些對人工智能知之甚少的朋友們最近或多或少看到了一些關於GPT 3的重大新聞，很多人都期待有一個AI寫作機器人，一些媒體甚至稱之為“繼比特幣之后又一項轟動全球的驚人新技術。”
請注意，現在站在你們面前的是：互聯網原子彈，人工智能中的卡麗熙，計算吞食者，黃仁勛，下崗工人制造機器的新關鍵績效指標，以及處於嬰兒期的天網——的最先進的人工智能語言模型GPT-3。
由1750億個參數組成的訓練模型
在離家更近的地方，開放人工智能研究人員上個月發表了一篇描述GPT-3發展的論文，並正式發布了這個由1750億個參數組成的人工智能語言模型。
在自然語言處理領域，通常采用ELMo算法的思想，即在大量的語料庫上對語言模型進行預處理，然后將預處理后的模型遷移到特定的自然語言處理任務中，從而提高模型的處理能力。GPT模型是OpenAI在2018年提出的一種新的ELMo算法模型。基於預訓練模型，該模型只需進行一些微調就可以直接移植到各種自然語言處理任務中，因此具有很強的業務移植能力。
GPT模式主要包括兩個階段。在第一階段，通過使用大量未標記的語料庫對語言模型進行預訓練。然后，在第二階段，對預先訓練的語言模型稍加修改，將其遷移到各種受監督的自然語言處理任務中，並對參數進行微調。
簡而言之，當算法固定時，預訓練模型中使用的訓練材料越多，訓練模型的任務完成精度越高。
那么1750億美元的概念是什么呢？有人曾經開玩笑說，“如果你想提高人工智能的准確性，讓它寫下所有的測試數據？”我沒想到現在有人能實現這個目標。
GPT 3之前，最大的人工智能語言模型是微軟今年2月推出的圖靈NLG。當時擁有170億個參數的圖靈NLG已經被宣傳為威震天-LM的兩倍大，位居第二。是的，在僅僅5個月的時間里，GPT 3號將頭號玩家的參數增加了10倍！Nivdia在黃的老板查看了年初剛繪制的產品計算曲線，發現事情並不簡單。
OpenAI在2019年初發布了GPT 2號。這個基於Transformer的大型語言模型包含15億個參數，並在800萬個網絡數據集上進行訓練，這在當時引起了不小的轟動。在整個2019年，GPT 2號是自然語言處理領域最耀眼的明星之一，並與BERT、Transformer XL、XLNet等大型自然語言處理模型一起，在主要自然語言處理任務列表上創造了最佳記錄。GPT 2號由於其穩定和優異的性能在行業中處於領先地位。然而，GPT-3的參數是GPT-2的116倍，這在2019年降低了所有大規模自然語言處理模型的維數。
如果您有互聯網問題，也可以咨詢我，謝謝！如果你也想一起學習人工智能，歡迎留言交流。