第10章 忽悠傻了
“你被忽悠傻了吧？”
趙立明是江城人，因為擔任騰訊雲高管的緣故，所以常年在鵬城打拚。
今年春節早，他回來的也早。
一回來就聽到自己女兒在給自己講神話故事。
說了一大堆自己認識的朋友多麼神奇，什麼推特開高薪挖人，什麼靠一份郵件折服了伊戈爾·巴布什金。
然後還掏出手機打開推特界麵給他證明。
這些趙立明都信，他本來以為自己女兒要為對方尋求一份實習。
騰訊給ai崗開的實習，價格也不低，一千一天，比不上後來給姚班開的三千一天那麼誇張。
但也是很誇張的數字了。
有伊戈爾·巴布什金的背書，有推特的offer作為佐證，給個實習很合理。
結果自己女兒在那接著說的話實在讓他繃不住了：
“我想的是能不能在騰訊雲調一些卡給他用，讓他訓練一個大模型出來。”
趙立明感覺自己的家庭教育出了大問題，之前冇看出對方是戀愛腦啊。
作為小有家產外加獨生女的家庭，最怕的就是女兒是戀愛腦。
“依據呢？你知道現在國內英偉達的算力卡有多緊俏嗎？什麼叫撥點卡給他用，讓他訓練個大模型？大一學生就想主導大模型的研發？
他是喬布斯還是比爾蓋茨？
他在開源社區有備受推崇的項目嗎？
他是什麼明星科學家嗎？
他靠的是背書。
靠背書，我就要給他調卡？
現在就冇有什麼閒卡，要麼使用權賣出去了，要麼就是騰訊內部的人工智能實驗室在用。
哪裡有什麼閒卡啊。
他是伊戈爾·巴布什金還差不多。”
趙立明說完，隻見自己女兒一臉不服氣的樣子。
“來來來，你給我說憑什麼？我下屬給我報項目的時候，也得給我把依據說出來。
光是給你們一個月時間一千張H100，最少也是5到6千萬。
更彆說現在國內市場上壓根就冇有合法合規渠道能買到H100，灰色市場上一張H100一個小時在10美元。
彆說你是我女兒，就算你湯叔叔女兒，也冇辦法靠兩句話就把卡給你空出來。”
H100非常緊張，這是英偉達在去年才發布的新一代旗艦。
因為阿美莉卡官方在去年10月發布的出口管製，加上ChatGPT的橫空出世，導致整個華國，H100都格外少。
也就是騰訊雲在海外也有數據中心，他們可以把卡買到海外，然後國內研發海外訓練。
趙立明隻覺得自己的女兒被忽悠瘸了。
趙佩璿開口道：“爸，第一，我也冇說要H100啊，A100也行啊。
另外陳曦他給了一個非常具有可行性的方案。
直接拉GPT的數據來作為訓練集，這是現成的數據，能夠大大節約時間。
我覺得這是非常具備可行性的方案，給他一點機會未嘗不可。
你也說過，大部分時候求穩，但當機會出現的時候，該賭就得賭。”
趙立明被氣笑了：“我是讓你該賭的時候就賭，但你看看他背景，唯一有可信度的背景是來自伊戈爾·巴布什金的背書，還隻是遠程聊過。
他冇有去矽穀，冇有在DeepMind工作，也冇有在推特工作。
背書力度太弱了，你明白嗎？
另外，你以為用GPT的數據來訓練是什麼很了不起的方案，是什麼天才的靈光一閃。
那是因為你了解的太少，你冇有從事這一行，你在江城科技大學學的是四十年前的數據結構和C語言。
你冇有關注開源社區的前沿動態。
華盛頓大學和艾倫人工智能研究所在ChatGPT發布的第一時間就發表了論文，論文名字叫Self-Instruct。
你所謂的用GPT數據訓練隻是一句話，人家已經寫成論文，並且進行了實驗。
Self-Instruct的核心內容就是讓大模型自己生成自己的訓練數據。
他們把方法都公布了，一個迭代的過程。
先準備一小批人工寫的指令，這些作為例子來引導模型生成新任務。
用當前模型提示它生成新的、更多樣的指令。
比如給它幾個種子例子，讓它發明新任務。
為每個新指令生成輸入和輸出。
對生成的指令，再讓模型生成對應的Input和 Output。
這樣就得到一條完整的Instruction、Input和Output三元組。
過濾低質量數據，用啟發式規則自動過濾無效的任務、與已有任務重複度太高的、輸出質量差的。
把過濾後的高質量數據加回任務池，可以繼續迭代生成更多數據。
最後用這些合成數據對原始基座模型進行監督微調。
你以為的靈光一閃，人家早就想到了並且實踐落地了。
你以為自己發現了天才，殊不知人家可能隻是比你懂得多一點呢！
你以為他有知識，可能他隻是有知道呢？”
（PS：上述是Yizhong Wang在2022年12月20日掛在Arxiv上的論文，論文全稱：Self-Instruct: Aligning Language Models with Self-Generated Instructions，也是蒸餾方法的開創者。
其中艾倫人工智能研究院是由微軟聯合創始人保羅·艾倫於2014年創立的一家專注於人工智能前沿研究的機構。）
在江城大學湖濱七舍被室友們吹上天的陳神，在江城富人區的彆墅裡，在趙立明這不過是個運氣好有點能力的小子。
這樣的反差陳曦本人不知道，但趙佩璿顯然無法接受。
但父親說的有理有據，完全找不到反駁的點。
這讓趙佩璿內心鬱鬱寡歡，隻是說了句：“知道了。”就回自己房間了。
趙立明看著自己女兒揚長而去的背影，心想真是女兒大了留不住，小時候趙佩璿還會給他擁抱，現在一不順心就是往自己房間裡鑽。
“陳曦，抱歉，我冇能說服我爹，找不到卡。”
“他太固執了，不相信年輕人也能創造奇跡。”
“看來還是得去矽穀了，我明天送你去領事館。”
趙佩璿每間隔幾分鐘就發條微信給陳曦。
一直冇人回。
她也習慣了對方壓根不回微信。
想了想，趙佩璿收拾了一下，拿著車鑰匙出門。
女兒走到門口後，趙立明問：“去哪裡？”
“不用你管，我不回來吃飯。”趙佩璿擺了擺手，把趙立明氣得夠嗆：“我不管你，但你吃完晚飯八點之前必須給我回來！”