唐朝貞觀十七年(公元643年)二月二十八日(3月23日)，唐太宗"為人君者，驅駕英材，推心待士"，為懷念當初一同打天下的諸多功臣，命閻立本在凌煙閣內描繪了二十四位功臣的畫像，是為《二十四功臣圖》 ，比例皆真人大小，畫像均面北而立，太宗時常前往懷舊。
這二十四位功臣包括：房玄齡、杜如晦、長孫無忌、魏徵、尉遲敬德、李孝恭、高士廉、李靖、蕭瑀、段志玄、劉弘基、屈突通、殷開山、柴紹、長孫順德、張亮、侯君集、張公謹、程知節、虞世南、劉政會、唐儉、李績和秦叔寶。
虞世南之所以能夠成為二十四功臣之一得益於自己的品行兼學識，被唐太宗稱之為「五絕」，即德行、忠直、博學、文詞、書翰。
在陳朝時，曾任建安王法曹參軍、西陽王友。入隋後，官秘書郎、起居舍人。隋朝滅亡後，被竇建德任命為黃門侍郎。
武德四年(621年)，秦王李世民滅竇建德後，虞世南先後被授任為秦王府參軍、記室參軍、天策上將，同年，建立文學館，虞世南被授為弘文館學士，與房玄齡共掌詔告文翰，為"十八學士"之一。
虞世南生性沉靜寡慾，但剛烈敢諫，並且在書法方面造詣頗深，對後世影響也是巨大的。虞世南與王羲之七世孫智永和尚向來友善。智永精王羲之書法，虞世南在智永的精心傳授下，妙得其體，圓融遒麗，外柔內剛，繼承了二王(王羲之，王獻之)書法傳統。初唐四大家中，虞世南為最優者。他寫的《孔子廟堂碑》深得唐太宗李世民的讚賞。唐太宗非常喜愛虞世南的字，並經常臨寫。
虞世南的傳世墨寶很稀少，有傳世書跡刻石楷書《孔子廟堂碑》、《破邪論》、行書《汝南公主墓志銘》、《摹蘭亭序》等。《唐人摹蘭亭序三種》其中之一傳為虞世南的墨跡。
