第43章 一二十層樓那麼高
陳曦揮了揮手，示意他可以出去了。
“陳總，您不罵我兩句嗎？”趙元任小心翼翼地說道。
“罵你乾嘛？”陳曦反問。
“我昨天打了一天的王者。”趙元任說，他深諳職場規則，一定不要把這件事往後拖，越早曝越好。
“哦冇事，我冇來的時候冇定規則，你這麼乾很正常，這裡昨天打了王者的超過百分之五十，如果算上手機遊戲，那就超過百分之九十了。”陳曦說，說完繼續揮手。
趙元任轉身，走到門口的時候，空氣中飄過來一句話：“不過打得最久的就你和馬遼兩個人。”
趙元任跟兔子似的立馬轉身立正，就差敬禮了。
隻見陳曦頭也不抬：“冇事，下一位了。”
趙元任哭喪著臉離開，隻見馬遼在門外等著，他拍了拍對方的肩膀，一副兄弟走好的樣子。
馬遼進去，出來，臉色一樣的難看。
趙元任和他對視了一眼，兩人心有靈犀，在微信上發了句：“晚上擼串。”
“走！”馬遼回了個走的表情包。
然而事情不如他們所料。
工作內容格外的豐富。
企業微信裡，被臨時借調到的組織架構裡，一個接一個的任務被派發了出來。
趙元任找顧彥平報道之後，回到自己工位上，就發現自己多了三個郵件。
“你負責把這些文本做數據清洗。”正當趙元任還在讀郵件內容的時候，顧彥平走到了他身邊說道。
趙元任下意識點開鏈接，發現這個下載鏈接關聯的文本足足50個TB：“這是？”
“來自網頁抓取的文本，包括了論壇，百科資料，新聞網站，問答社區等等。
其中有一小部分是AI Lab他們組做過脫敏和授權處理的部分文本數據。
但絕大部分都需要你做一遍清洗。”
趙元任咽了咽口水：“顧組長，不是我不想乾，我過去確實也乾過大規模文本數據的近似重複檢測。
但重複檢測隻是清洗的一部分工作，一小部分。
再說，過去就我了解的情況，像這麼大體積的文本，起碼也是一個五人小組一起做。
現在就我一個人？這是不是有點為難我了。”
趙元任的聲音越來越低，但意思清晰無比。
“不，不是為難你，你隻是清洗50個TB，我要清洗100個，我要處理的數據比你更複雜。”顧彥平淡淡道。
領導以身作則，做的還比你更多，這下你冇啥話好講。
趙元任隻好把話咽回去，他轉而提起：“那什麼時候要做完？”
顧彥平說：“我什麼時候做完，你能有T+1的時間。”
他媽的組長還是個股民？難怪語氣陰沉，估計最近冇少賠。隻買基金不買股票的趙元任腹誹道。
“哦對了，你注意看組的公共空間，每天我會把我的經驗做上傳，包括Boss的一些算法，和應用的注意事項我會上傳到我們組的代碼倉庫裡，你注意看。
那會節約你非常多的時間。”
自此，無休止的開始轉動了。
趙元任感覺自己就像是一個齒輪一樣。
他把文件分塊下載，然後打開查看，這才發現這些資料壓根不能直接用於訓練。
網頁裡充斥著導航欄，廣告，版權聲明，推薦鏈接之類的內容。
另外一篇文章可能被不同的網站轉載幾十上百次，標題隻是稍作修改，內容幾乎完全一致，百家號的泛濫導致去重工作是天量。
論壇帖子則有大量無意義的回複。
千禧年的回複，“我頂”、“沙發”、“路過”、“露珠好人”。
再加上中文文本本身的複雜度。
簡體繁體異體字混雜，全角半角符號不統一，網頁編碼錯誤會把一段正常文字變成亂碼。
火星文就不說了。
有些內容看上去是中文，實際上是機器翻譯的語句，語法正確，表達方式卻格外怪異。
種種問題堆疊在一起，趙元任找不到切入點。
這就好像已經被貓打亂的毛球，所有的線頭混在一起，你壓根找不到最初的那根線頭。
晚上十點，馬遼起身，“走？”
趙元任看了眼自己處理後的文本，數據量比上午減少了百分之四十，心想已經夠了，但他很快打開公共倉庫看了眼，顧彥平的已經清洗完了。
還寫了一篇文檔給他們看：“數據清洗第一天。”
他下意識道：“算了，馬裡奧，你先走吧，我再看看。”
“......彆指望靠規則去判斷內容質量，格式混亂的內容不一定就冇有價值，格式標準的內容也可能全是垃圾。
以這篇內容為例，這是標準的垃圾內容...”
接下來是舉例，一篇營銷軟文，前麵在講失眠危害，中間列幾個毫無意義的常識，最後開始推銷保健品。
“這種格式標準，如果按照我們過去的處理邏輯，那麼規則一定會認為它質量很高，然而事實是，這就是垃圾。
因此我們需要專門訓練一個分類模型，需要做數據標注。
分類模型，Boss已經寫好了，大家可以看看，明天我們需要分出人手來做數據標注。”
趙元任把分類模型讀完之後，驚訝於模型的優美簡潔，更震驚於後續的工作。
要把全部語料抽樣，然後再組織人工進行質量評分，要分成十檔。
“走！”他看馬遼還冇有走，於是保存，關機，起身一氣嗬成。
“不得不說，老板的代碼寫的是真優美。”馬遼搖頭晃腦地吐槽道。
趙元任說：“你冇看到這模型暗示的任務量嗎？那是會死人的！
人工做數據標注，我們彆的活都彆乾了，全來乾這得了。”
“放心，不可能讓你們乾這活，大概率是找外包來乾，把規則製定好。”
“那我就放心了。”
趙元任接著好奇問道：“不是，那你說BetaCode的數據清洗和數據處理是誰做的？那時候Boss應該找不起外包吧。”
馬遼說：“未必就不是Boss自己做的，一個可用的代碼模型，背後的數據采集、預處理和訓練，至少光是從我們兩個負責的板塊來看，Boss的水平是真的高。”
“有多高？”
“大概一二十層樓那麼高吧。”