陳曦揮了揮手，示意他可以出去了。
「陳總，您不罵我兩句嗎？」趙元任小心翼翼地說道。
「罵你幹嘛？」陳曦反問。
「我昨天打了一天的王者。」趙元任說，他深諳職場規則，一定不要把這件事往後拖，越早曝越好。
「哦沒事，我沒來的時候沒定規則，你這麼幹很正常，這裡昨天打了王者的超過百分之五十，如果算上手機遊戲，那就超過百分之九十了。」陳曦說，說完繼續揮手。
趙元任轉身，走到門口的時候，空氣中飄過來一句話：「不過打得最久的就你和馬遼兩個人。」
趙元任跟兔子似的立馬轉身立正，就差敬禮了。
只見陳曦頭也不抬：「沒事，下一位了。」
趙元任哭喪著臉離開，只見馬遼在門外等著，他拍了拍對方的肩膀，一副兄弟走好的樣子。
【記住本站域名 天天看小說超實用，𝘵𝘵𝘬.𝘵𝘸輕鬆看 】
馬遼進去，出來，臉色一樣的難看。
趙元任和他對視了一眼，兩人心有靈犀，在微信上發了句：「晚上擼串。」
「走！」馬遼回了個走的表情包。
然而事情不如他們所料。
工作內容格外的豐富。
企業微信里，被臨時借調到的組織架構里，一個接一個的任務被派發了出來。
趙元任找顧彥平報導之後，回到自己工位上，就發現自己多了三個郵件。
「你負責把這些文本做數據清洗。」正當趙元任還在讀郵件內容的時候，顧彥平走到了他身邊說道。
趙元任下意識點開連結，發現這個下載連結關聯的文本足足50個TB：「這是？」
「來自網頁抓取的文本，包括了論壇，百科資料，新聞網站，問答社區等等。
其中有一小部分是AI Lab他們組做過脫敏和授權處理的部分文本數據。
但絕大部分都需要你做一遍清洗。」
趙元任咽了咽口水：「顧組長，不是我不想干，我過去確實也幹過大規模文本數據的近似重複檢測。
但重複檢測只是清洗的一部分工作，一小部分。
再說，過去就我了解的情況，像這麼大體積的文本，起碼也是一個五人小組一起做。
現在就我一個人？這是不是有點為難我了。」
趙元任的聲音越來越低，但意思清晰無比。
「不，不是為難你，你只是清洗50個TB，我要清洗100個，我要處理的數據比你更複雜。」顧彥平淡淡道。
領導以身作則，做的還比你更多，這下你沒啥話好講。
趙元任只好把話咽回去，他轉而提起：「那什麼時候要做完？」
顧彥平說：「我什麼時候做完，你能有T+1的時間。」
他媽的組長還是個股民？難怪語氣陰沉，估計最近沒少賠。只買基金不買股票的趙元任腹誹道。
「哦對了，你注意看組的公共空間，每天我會把我的經驗做上傳，包括Boss的一些算法，和應用的注意事項我會上傳到我們組的代碼倉庫里，你注意看。
那會節約你非常多的時間。」
自此，無休止的開始轉動了。
趙元任感覺自己就像是一個齒輪一樣。
他把文件分塊下載，然後打開查看，這才發現這些資料壓根不能直接用於訓練。
網頁里充斥著導航欄，GG，版權聲明，推薦連結之類的內容。
另外一篇文章可能被不同的網站轉載幾十上百次，標題只是稍作修改，內容幾乎完全一致，百家號的泛濫導致去重工作是天量。
論壇帖子則有大量無意義的回覆。
千禧年的回覆，「我頂」、「沙發」、「路過」、「露珠好人」。
再加上中文文本本身的複雜度。
簡體繁體異體字混雜，全角半角符號不統一，網頁編碼錯誤會把一段正常文字變成亂碼。
火星文就不說了。
有些內容看上去是中文，實際上是機器翻譯的語句，語法正確，表達方式卻格外怪異。
種種問題堆疊在一起，趙元任找不到切入點。
這就好像已經被貓打亂的毛球，所有的線頭混在一起，你壓根找不到最初的那根線頭。
晚上十點，馬遼起身，「走？」
趙元任看了眼自己處理後的文本，數據量比上午減少了百分之四十，心想已經夠了，但他很快打開公共倉庫看了眼，顧彥平的已經清洗完了。
還寫了一篇文檔給他們看：「數據清洗第一天。」
他下意識道：「算了，馬里奧，你先走吧，我再看看。」
「......別指望靠規則去判斷內容質量，格式混亂的內容不一定就沒有價值，格式標準的內容也可能全是垃圾。
以這篇內容為例，這是標準的垃圾內容...」
接下來是舉例，一篇營銷軟文，前面在講失眠危害，中間列幾個毫無意義的常識，最後開始推銷保健品。
「這種格式標準，如果按照我們過去的處理邏輯，那麼規則一定會認為它質量很高，然而事實是，這就是垃圾。
因此我們需要專門訓練一個分類模型，需要做數據標註。
分類模型，Boss已經寫好了，大家可以看看，明天我們需要分出人手來做數據標註。」
趙元任把分類模型讀完之後，驚訝於模型的優美簡潔，更震驚於後續的工作。
要把全部語料抽樣，然後再組織人工進行質量評分，要分成十檔。
「走！」他看馬遼還沒有走，於是保存，關機，起身一氣呵成。
「不得不說，老闆的代碼寫的是真優美。」馬遼搖頭晃腦地吐槽道。
趙元任說：「你沒看到這模型暗示的任務量嗎？那是會死人的！
人工做數據標註，我們別的活都別幹了，全來幹這得了。」
「放心，不可能讓你們幹這活，大概率是找外包來干，把規則制定好。」
「那我就放心了。」
趙元任接著好奇問道：「不是，那你說BetaCode的數據清洗和數據處理是誰做的？那時候Boss應該找不起外包吧。」
馬遼說：「未必就不是Boss自己做的，一個可用的代碼模型，背後的數據採集、預處理和訓練，至少光是從我們兩個負責的板塊來看，Boss的水平是真的高。」
「有多高？」
「大概一二十層樓那麼高吧。」