陳曦揮了揮手,示意他可以出去了。
“陳總,您不罵我兩句嗎?”趙元任小心翼翼地說道。
“罵你乾嘛?”陳曦反問。
“我昨天打了一天的王者。”趙元任說,他深諳職場規則,一定不要把這件事往後拖,越早曝越好。
“哦沒事,我沒來的時候沒定規則,你這麼乾很正常,這裡昨天打了王者的超過百分之五十,如果算上手機遊戲,那就超過百分之九十了。”陳曦說,說完繼續揮手。
趙元任轉身,走到門口的時候,空氣中飄過來一句話:“不過打得最久的就你和馬遼兩個人。”
趙元任跟兔子似的立馬轉身立正,就差敬禮了。
隻見陳曦頭也不抬:“沒事,下一位了。”
趙元任哭喪著臉離開,隻見馬遼在門外等著,他拍了拍對方的肩膀,一副兄弟走好的樣子。
馬遼進去,出來,臉色一樣的難看。
趙元任和他對視了一眼,兩人心有靈犀,在微信上發了句:“晚上擼串。”
“走!”馬遼回了個走的表情包。
然而事情不如他們所料。
工作內容格外的豐富。
企業微信裡,被臨時借調到的組織架構裡,一個接一個的任務被派發了出來。
趙元任找顧彥平報道之後,回到自己工位上,就發現自己多了三個郵件。
“你負責把這些文本做數據清洗。”正當趙元任還在讀郵件內容的時候,顧彥平走到了他身邊說道。
趙元任下意識點開鏈接,發現這個下載鏈接關聯的文本足足50個tb:“這是?”
“來自網頁抓取的文本,包括了論壇,百科資料,新聞網站,問答社區等等。
其中有一小部分是ai lab他們組做過脫敏和授權處理的部分文本數據。
但絕大部分都需要你做一遍清洗。”
趙元任咽了咽口水:“顧組長,不是我不想乾,我過去確實也乾過大規模文本數據的近似重複檢測。
但重複檢測隻是清洗的一部分工作,一小部分。
再說,過去就我了解的情況,像這麼大體積的文本,起碼也是一個五人小組一起做。
現在就我一個人?這是不是有點為難我了。”
趙元任的聲音越來越低,但意思清晰無比。
“不,不是為難你,你隻是清洗50個tb,我要清洗100個,我要處理的數據比你更複雜。”顧彥平淡淡道。
領導以身作則,做的還比你更多,這下你沒啥話好講。
趙元任隻好把話咽回去,他轉而提起:“那什麼時候要做完?”
顧彥平說:“我什麼時候做完,你能有t+1的時間。”
他媽的組長還是個股民?難怪語氣陰沉,估計最近沒少賠。隻買基金不買股票的趙元任腹誹道。
“哦對了,你注意看組的公共空間,每天我會把我的經驗做上傳,包括boss的一些算法,和應用的注意事項我會上傳到我們組的代碼倉庫裡,你注意看。
那會節約你非常多的時間。”
自此,無休止的開始轉動了。
趙元任感覺自己就像是一個齒輪一樣。
他把文件分塊下載,然後打開查看,這才發現這些資料壓根不能直接用於訓練。
網頁裡充斥著導航欄,廣告,版權聲明,推薦鏈接之類的內容。
另外一篇文章可能被不同的網站轉載幾十上百次,標題隻是稍作修改,內容幾乎完全一致,百家號的泛濫導致去重工作是天量。
論壇帖子則有大量無意義的回複。
千禧年的回複,“我頂”、“沙發”、“路過”、“露珠好人”。
再加上中文文本本身的複雜度。
簡體繁體異體字混雜,全角半角符號不統一,網頁編碼錯誤會把一段正常文字變成亂碼。
火星文就不說了。
有些內容看上去是中文,實際上是機器翻譯的語句,語法正確,表達方式卻格外怪異。
。點入切到不找任元趙,起一在疊堆題問種種
。頭線根那的初最到不找根壓你,起一在混頭線的有所,球毛的亂打貓被經已像好就這
”?走“,身起遼馬,點十上晚
。了完洗清經已的平彥顧,眼了看庫倉共公開打快很他但,了夠經已想心,十四之分百了少減午上比量據數,本文的後理處己自眼了看任元趙
”。天一第洗清據數“:看們他給檔文篇一了寫還
”。看看再我,吧走先你,奧裡馬,了算“:道識意下他
𝐰𝐭.𝐩𝐨𝐨名域的們我住記請
。圾垃是全能可也容內的準標式格,值價有沒就定一不容內的亂混式格,量質容內斷判去則規靠望指別…….“
”…….容內圾垃的準標是這,例為容內篇這以
。品健保銷推始開後最,識常的義意無毫個幾列間中,害危眠失講在麵前,文軟銷營篇一,例舉是來下接
。圾垃是就這,是實事而然,高很量質它為認會定一則規麼那,輯邏理處的去過們我照按果如,準標式格種這“
。注標據數做要需,型模類分個一練訓門專要需們我此因
”。注標據數做來手人出分要需們我天明,看看以可家大,了好寫經已ssob,型模類分
。作工的續後於驚震更,潔簡美優的型模於訝驚,後之完讀型模類分把任元趙
。檔十成分要,分評量質行進工人織組再後然,樣抽料語部全把要
。成嗬氣一身起,機關,存保是於,走有沒還遼馬看他”!走“
。道槽吐地腦晃頭搖遼馬”。美優真是的寫碼代的板老,說不得不“
!的人死會是那?嗎量務任的示暗型模這到看沒你“:說任元趙
”。了得這乾來全,了乾別都活的別們我,注標據數做工人
”。好定製則規把,乾來包外找是率概大,活這乾們你讓能可不,心放“
”。了心放就我那“