首頁/AI時代:碼農的涅盤重生/第103章 論文閱讀(1)
AI時代:碼農的涅盤重生_第103章 論文閱讀(1)

鵬城的秋雨來得突然,打在書房的窗戶上,噼啪作響。林晨關掉ni-GPT的訓練日誌頁面,螢幕上最後一行顯示著驗證集上的困惑度(Perplexity)——一個比初始值低了不少的數字,證明他那個玩具模型確實學到了東西。

成就感是實實在在的,但短暫的興奮過後,一種更深層的“虛”感浮現出來。

他能搭出架構,能跑通程式碼,甚至能訓練出一個能生成像樣句子的小模型。可如果面試官追問:“為什麼Transforr要用LayerNor不是BatchNor?“多頭注意力的‘頭’數選擇依據是什麼?除了論文裡說的,你有沒有自己的見解”?“最近E(xture of Experts)架構火起來了,你覺得它和標準Transforr的優劣對比,核心矛盾在哪裡”?

他恐怕只能回答出教科書和部落格裡的標準答案,而缺乏那種基於大量文獻閱讀和獨立思考形成的、屬於自己的“技術觀”。

“地基還不夠深”。林晨對自己說。實踐讓他有了“手感”,但要想在頂尖技術面試中脫穎而出,甚至未來在T廠那樣的地方站穩腳跟,必須對前沿動向和理論基礎有系統性的把握。光會調包和實現是遠遠不夠的。

他打開了那個新建的“面試準備”資料夾,在裡面又建立了一個子資料夾,命名為“Paper_Reading”。

目標明確:系統閱讀最近五年(主要2021-2025)AI頂級會議的論文。優先順序:NeurIPS(神經資訊處理系統大會)、IC(國際機器學習大會)、CVPR(計算機視覺與模式識別會議,雖然偏視覺,但很多架構思想通用)。自然語言處理頂會ACL、ELP也需關注。

第一步是收集。arXiv(預印本網站)是主戰場,但海量論文讓人眼花繚亂。他記得一些技術大佬的部落格提到過篩選方法:關注最佳論文(Best Paper)、口頭報告(Oral)和亮點論文(Spotlight);關注谷歌、ta、OpenAI等巨頭實驗室以及斯坦福、T、C等頂尖高校知名課題組的工作;在知乎、Twitter(現X)上跟隨一些活躍的研究者,看他們推薦什麼。

他花了一上午時間,像蜘蛛結網一樣,從一篇引用率極高的2022年NeurIPS最佳論文《Transforrs are SS:》開始,透過它的參考文獻和引用它的文章,不斷延伸,初步篩選出了三十多篇他認為必須精讀或至少泛讀的論文。主題涵蓋:Transforr變體與效率最佳化(如Linear Attention、FlashAttention)、大模型訓練技巧(如LLa系列技術報告)、擴散模型(Diffusion)基礎、多模態(尤其是視覺-語言模型)最新進展,以及一些看起來就很有意思的新方向,如基於狀態空間模型(SS的a架構。

下午,雨勢稍歇。林晨泡了杯濃茶,正式開始了他的“論文攻堅戰”。

第一篇選擇的是谷歌關於E架構在大語言模型中應用的詳細研究論文。光是摘要和引言就讓他反覆看了三遍。滿眼的“sparsely-activated”、“conditional putation”、“expert capacity”、“load balancing loss”……每個詞似乎都認識,連起來卻構成了一堵堅硬的術語牆。

他深吸一口氣,沒有跳過,也沒有急著去搜中文部落格。而是拿出一個嶄新的墨綠色硬殼筆記本——這是蘇婉前兩天買給他的,說是“獎勵他學習用功”——和一支順滑的鋼筆。

“第一步,抄寫摘要和核心問題定義,用自己的話複述一遍”。他定下規矩。

:問疑和註批的己自他是半大中其。頁一到不了記才上本記筆,時小多個一了花,文正頁兩了讀,慢緩其極程過個這。查去件文案專源開關相或ralohcS elgooG啟開覽瀏到轉,線條劃邊旁在就他,語的解理不到遇。響作沙沙上紙在尖筆

?”盾矛的’本算計‘與’型模大‘決解是心核?定恆對相)量數引用啟(量算計際實持保但)別級億萬(量數引總型模加增幅大是的目……’家專‘個幾數用啟擇選)retuoR(由路據nekoT個每?層)NFF(路網饋前是就實其)trepxE(’家專‘的說裡這“

”?定穩的習學由路保確何如?置閒’家專‘他其而,到選被是總’家專‘些某止防了為是……式函失損衡均載負“

”。衡均對相流客檯餐個各且,準得薦推臺購導於在鍵關的率效。檯餐有所遍跑是不而,)算計(菜取)trepxE(檯餐的應對個幾這去只後然,)家專個幾數擇選(牌菜薦推到拿)retuoR(臺購導到先)nekoT(客顧個每,廳餐助自型大超個一去像點有,嗯……的行並是路網家專和路網由路,懂才天半了看圖意示的 2 erugiF“

。邊旁了在記也喻比個這把他。想思心核了解理他助幫實確但,了笑都己自他讓喻比的廳餐助自個這

。志鬥的強更了起激而反,餒氣他讓有沒離距種這。念概的解理腦盡絞刻此他著論討鬆輕人有正許或,裡樓大牆幕璃玻些那。群築建園技科山南的晰清外格得刷洗水雨被外窗看看,來起站就他,時花眼暈頭得讀

。”解理的己自變,去進讀字個一字個一得也文論,誌日看來起跑以可碼式程。啃篇一篇一,來慢慢“

。上讀閱文論在撲心全,上晚和午下;作證驗的位倉小極做爾偶,號訊統系和況場市日一前盤覆單簡,行執自”號一投智明啟“讓,午上:來下定固奏節活生的晨林,天幾來下接

。想聯或喻比的現一靈些那及以,聯關的識知有已與、疑、考思的己自錄記更,容文論記僅不他……)作工創開的力意注窗視化次層引中覺視機算計(rrofsnarT niwS到節細技的aLL從,)算計力意注化佳最致極UPG用利(noitnettAhsalF到E從。富越來越容的上本記筆

。法想的域領個這了下寫,頁一了留門專尾末記筆的文論篇這在他?則規定固非而”策決式習學“種這鑑借以可否是,段階”行執“個一有也實其,後號訊易生在”號一投智“的己自到想聯他,時文論的略策生段階碼解型模大化佳最習學化強用於關篇一到讀

。點的立孤個幾是僅僅不而,徑路要主和廓圖地的域領進演速快個這了到看他,是的要重更,晰清得變念概的糊模前之多很,遍一了理梳新重被像腦大的己自覺晨林。半大了用本記筆綠墨,後週一

猜你喜歡
都市狂龍醫仙
109990 人在追

這本書又名:“傷害我家破人亡,那我就當你後爸”。

林陽被未婚妻吞下家產,挖了眼睛,浪費了能力,家破人亡,被欺負。

天無絕人之路。臨死前,他成了葯聖的關門弟子,覺醒千年不遇的重瞳異能,王者歸來,報仇雪恨,開啟無敵之路。

一心報仇的林陽,發現了未婚妻一家的秘密。

看看林陽這條狂龍,如何在紅塵都市中,攪弄風雨,掀開一條熱血無敵之路。

挖我龍骨?滅你滿門不過分吧

葉楚替兄長頂罪入獄,機緣巧合拜葯皇為師,習逆天醫術,三年後王者歸來。面對無恥的家人,葉楚直接斷絕關係,對給他關愛的妻子紅顏,葉楚拚命守護。且看葉楚如何在滾滾紅塵中,闖出一條通天路。

文娛:北電攝影系大導演

平行世界

老家廊坊。

開局暴打華藝集團高層,華藝聯合博納光線,聯合封殺,

我搜的大學生畢業工作指南:你出現富婆是什麼意思?

你在教我做事嗎?

北電攝影畢業,這是一個重生奮鬥的故事和娛樂圈的愛恨情仇的故事............

如果有機會誰有會甘於平凡擺爛,只不過看不到希望而已.............

第一部電影是半島是由這個地方的,漢化選在了泌陽勿噴。

每部電影都是精心挑選的,喜歡的小夥伴可以去看看。

拒絕內耗,直接發瘋,對明星有濾鏡的勿進

人在典當行,開局假名媛賣巴黎絲

林凡在京城繼承了一家破舊典當行,本以為要靠這堆破爛混吃等死。直到他綁定了典當暴擊系統——只要典當到特殊物品,就能觸發暴擊獎勵!“老闆哥哥,我這個包包值多少錢呀?”“假的,最多給你兩百。”“那……那我這個呢?”看着假名媛掀起的巴黎世家絲襪,林凡面不改色。“這個二手不收。不過……”【叮!檢測到特殊物品——清代和田玉蟬掛件,建議典當!】從此,林凡的典當行熱鬧了起來。假名媛、精神小妹、青純校花、反差女教師、高冷女騎士……形形色色的人帶着形形色色的物件走進來,而林凡要做的,就是找到那些被埋沒的特殊物品。至於代價?“老闆,我真的很急,你就不能通融一下嗎?”“通融可以,但得看你的誠意。”又名《什麼叫,她是我舍友的女神?》

鑒寶異瞳
22511 人在追

我父親病得很重,巨額的醫療費用給古董店的學徒楊波帶來了巨大的壓力,因為他偶爾會得到琉璃石,這讓他有了一雙鑒寶金瞳,看看他是如何鑒寶撿漏的,顛覆了自己的命運...

我在1984當祥子
998 人在追

顧岩穿越到1984年,成了首都汽車公司的計程車司機。同行們都自嘲他們這行是「現代祥子」。可人家祥子正兒八經的燕京戶口,住的是二環內的房子,六年全款換了兩輛車,一個人拉車賺的錢夠養活一家八口人,連老婆娶的都是老闆女兒。他呢,穿越一睜眼前妻跑路出國,為此還背上一身外債。顧岩很鬱悶,他決定干點什麼。當祥子沒意思,要當就當劉四爺!可還沒等他當上劉四爺呢,這紅塵俗流卻已滾滾而來……

龍嘯天下
28099 人在追

陳平為了保護女友而坐牢,但三年後出獄,女友嫁給了當年的施暴者...陳平悲憤不已,幸好在獄中習得凝心訣,陳平從此走上修仙之路,身邊有美女陪伴,前女友悔恨不已!

都市之最強狂兵
16324 人在追

陳六合是國家的重要武器,老虎出籠了!他註定要有一個無法平淡的命運!帶着枷鎖掌管生死輪!他站在潮頭,一輩子唱風!

只踩最狠的人!他一生輝煌,艱苦鑄就,舞練長空!

玄學棄婦覺醒後,冷王求做我續命符

為了當年的驚鴻一瞥,江清婉隱姓埋名嫁入將軍府,花了半身修為幫秦家改命。

誰知男子曾經回到北京,帶回了美麗華貴的縣主。

婆婆明褒暗貶地逼她讓位,甚至喊了她五年母親的養子,也輕蔑地看着她。

“你是一個商女,怎麼配做我媽媽?”

看透一切的江清婉拋下一紙和離書,收回了對秦家的保佑,讓他們厄運纏身。

本想逍遙離京,卻遇到了身負怪命格的九王爺,竟能幫她恢復修養。

她成了九王爺的幕僚,京城謠言四起,都說她是王府的外室嬌娘。

男人冷着張俊美如仙的臉,充滿了厭惡。

“她只是我邀請的天師。”

後來,江清婉成了著名的東京神算,京中權貴紛紛跪求一卦。

前夫後悔不已,糾纏不清,一聲“婉婉”喊得真心切。

貴氣清冷的九王爺化身醋精加寵妻狂魔,抱着人的小腰宣誓主權。

什麼天師?這是他的小嬌娘。

AI時代:碼農的涅盤重生
設置
夜間
日間

向上滑動顯示閱讀菜單

提示