後來虞翻調任富春縣長。孫策去世的訊息傳來，各縣官吏都想離開屬地去奔喪，虞翻勸阻說：“恐怕鄰縣的山民會趁機作亂，要是我們都離開城池遠奔奔喪，必然會發生意外。” 於是他留在任上，穿著喪服辦公守喪。其他縣都效仿他的做法，全境因此保持安寧。（《吳書》記載：孫策去世後，孫權接管政事。定武中郎將孫暠是孫策的堂兄，駐守烏程，整頓兵馬，想奪取會稽郡。會稽郡得知訊息後，讓百姓守城等待繼位君主的命令，同時派人勸諭孫暠。《會稽典錄》記載虞翻勸說孫暠：“討逆將軍孫策英年早逝，如今掌管事務統領部眾的，應當是孝廉孫權。我已經和全郡官吏士人環城堅守，必定會拼出性命，為孝廉清除禍害，希望您好好考慮。” 孫暠於是退兵。臣松之按：這兩種書記載孫策去世時，虞翻還擔任功曹，與本傳記載不同。）後來虞翻被州府推舉為茂才，漢朝徵召他為侍御史，曹操任司空時也徵召他，他都沒有接受。（《吳書》記載：虞翻聽說曹操徵召，說：“盜蹠想用剩餘財物玷汙良家子弟嗎？” 於是拒絕接受。）虞翻給少府孔融寫信，還附上自己所著的《易注》。孔融回信說：“聽說延陵季子精通樂律，如今看到您研究《易經》的成果，才知道東南地區的珍寶，不只是會稽的竹箭啊。又看您觀察天象雲氣，推測寒暑變化，推斷禍福吉凶，都與神靈相合，可以說是探索深奧道理、通曉變化規律的人了。” 會稽東部都尉張紘也給孔融寫信說：“虞仲翔之前常被議論者非議，但他如同美玉為質，經過雕琢打磨更加光彩，這些非議不足以損害他。”

孫權任命虞翻為騎都尉。虞翻多次直言進諫，違逆孫權心意，孫權很不高興。加上他性格不合世俗，常被人誹謗詆譭，最終因罪被貶到丹楊涇縣。呂蒙謀劃攻取關羽時，稱病返回建業，因為虞翻懂醫術，就請求讓他跟隨自己，其實是想借此機會讓虞翻得到釋放。後來呂蒙率軍西進，南郡太守麋芳開啟城門投降。呂蒙還沒佔據郡城，就在沙灘上設宴奏樂，虞翻對呂蒙說：“現在真心歸降的只有麋將軍一人，城中的人怎能完全相信？為什麼不趕緊進城控制城門鑰匙呢？” 呂蒙立即採納了他的建議。當時城中果然有人埋伏作亂，全靠虞翻的計謀才沒能得逞。關羽戰敗後，孫權讓虞翻占卜，得到兌下坎上的 “節” 卦，第五爻變動成為 “臨” 卦，虞翻說：“不出兩天，關羽必定斷頭。” 結果真如他所說。孫權說：“你雖然比不上伏羲，但可以和東方朔相比了。”

魏將於禁被關羽俘獲，關押在城中，孫權到後釋放了他，還請他見面。有一天，孫權騎馬外出，拉著于禁並肩而行，虞翻呵斥于禁說：“你這個投降的俘虜，竟敢和我們君主並馬而行！” 說著就舉起馬鞭要打于禁，孫權連忙呵斥制止。後來孫權在樓船上宴請群臣，于禁聽到音樂聲流下眼淚，虞翻又說：“你想用偽裝的悲痛求得赦免嗎？” 孫權聽了心裡很不舒服。（《吳書》記載：後來孫權與魏國和好，想遣送于禁返回北方，虞翻又勸諫說：“于禁戰敗損失幾萬大軍，自己成了俘虜，又不能以死明志。北方熟悉軍政，得到于禁必定不會像我們預想的那樣。遣送他回去雖然沒什麼損失，但就像放走盜賊，不如斬殺他來告誡三軍，表明做臣子有二心的下場。” 孫權沒有聽從。群臣送別于禁時，虞翻對於禁說：“你不要以為吳國沒有能人，只是我的計謀沒被採用罷了。” 于禁雖然被虞翻厭惡，卻仍然極力稱讚他，魏文帝曹丕還常為虞翻設定虛位表示敬意。）孫權成為吳王后，在宴會結束時，親自起身勸酒，虞翻趴在地上裝醉，不接酒杯。孫權離開後，他立刻坐了起來。孫權因此大怒，拔劍就要砍他，在座的人都惶恐不安，只有大農劉基起身抱住孫權勸諫說：“大王在飲酒三杯後殺賢士，即使虞翻有罪，天下人誰會知道？況且大王因為能容納賢才聚集眾人，所以海內之人望風歸附，現在一旦拋棄這個名聲，值得嗎？” 孫權說：“曹操尚且殺了孔融，我殺個虞翻又算什麼？” 劉基說：“曹操輕易殺害士人，天下人都非議他。大王親自施行德義，想要和堯舜比美，怎麼能把自己和他相比呢？” 虞翻因此得以免死。孫權於是告誡左右侍從，從今往後酒後說要殺人，都不能當真執行。

虞翻曾經乘船出行，與麋芳相遇，麋芳船上的人大多想讓虞翻迴避，先導人員喊：“迴避將軍的船！” 虞翻厲聲說：“失去忠誠和信用，憑什麼侍奉君主？傾覆了人家兩座城池，還敢稱將軍，合適嗎？” 麋芳關上船窗不回應，急忙讓船避開。後來虞翻乘車出行，又經過麋芳的營門，官吏關閉營門，車子無法透過。虞翻又發怒說：“該關閉時反而開啟，該開啟時反而關閉，難道符合事理嗎？” 麋芳聽到後，臉上露出慚愧的神色。

虞翻性格粗獷直率，多次因為喝酒惹出麻煩。有一次孫權和張昭談論神仙之事，虞翻指著張昭說：“你們都是死人，卻在這裡空談神仙，世上哪有什麼仙人！” 孫權對他的積怨由來已久，這次終於爆發，於是把虞翻流放到交州。即便身處流放之地，虞翻講學的熱情也從未減退，門下弟子常常有幾百人。（《虞翻別傳》記載：孫權稱帝后，虞翻趁機上書說：“陛下具備聖明的德行，懷有舜、禹那樣的孝心，順應天命時機，拯救天下百姓。臣聽聞陛下接受天命登基，獨自歡欣鼓舞。可惜臣因罪被流放，與朝廷隔絕，沒有機會朝拜慶賀，仰望皇宮，心中又喜又悲。臣自我反省，性命比雀鼠還輕，本性如毫釐般微小，犯下的罪過極大，本應處死，卻承蒙陛下九年的寬恕，本該受死卻屢次得以存活，才能苟延殘喘至今。臣已年過六十，反思過錯心中憂憤，如今形容憔悴，頭髮花白牙齒脫落，雖未死去，卻哀傷終將默默無聞地離世，看不見皇宮百官的盛況，看不到皇家車馬的華美，聽不到百姓對陛下的歌頌，聽不到鐘鼓和諧的樂章，只能永遠沉淪在海邊，屍骨拋在偏遠之地，心中不勝悲傷思念。如今陛下登基的大慶典如此喜樂，讓臣暫時忘記了罪責。”）他還為《老子》《論語》《國語》作注，這些著作都流傳於世。（《虞翻別傳》記載：虞翻當初完成《易注》時，上奏說：“臣聽說六經的根基，莫過於陰陽之道，所以伏羲仰望天空的星象，創立八卦，觀察變化把六爻發展為六十四卦，用來通達神明之意，類比萬物之情。臣的高祖父曾任零陵太守虞光，年輕時研究《孟氏易》；曾祖父曾任平輿縣令虞成，繼承了他的學業；到祖父虞鳳時，對易學的研究最為精深；臣已故的父親曾任日南太守虞歆，從虞鳳那裡繼承學業，家中儲存著祖傳的舊書，易學在我家已經傳承了五代。前人講解易學，大多沉迷於章句之學，即使有隱秘的說法，也與經文主旨相距甚遠。臣生逢亂世，在軍旅中長大，在戰鼓聲中研習經書，在戰馬之上探討學問，承蒙先師的教誨，依據經文撰寫註釋。另外臣郡裡的官吏陳桃夢見臣與道士相遇，道士披散頭髮穿著鹿皮裘，展示《易經》的六爻，撥弄其中三爻讓臣喝下，臣請求全部吞下。道士說易學之道在於天意，三爻就足夠了。難道是臣受命於天，應當通曉經學嗎？臣閱覽各家註解都脫離不了世俗之見，釋義有不符合實際之處，就全部加以改定，以求得正確的理解。孔子說：‘乾元用九而天下治。’聖人面南而坐治理天下，大概取法於離卦，這實在是天子應當調和陰陽、招來麒麟鳳凰的方法啊。臣恭敬地校正書稿副本呈上，希望陛下不要降罪。”