谢安石不仅是东晋一位杰出的政治家，而且博学多才，风度优雅，为东晋名士之冠。江左重人物，风流学养特为士人所矜重，谢安在这些方面，都体现了优秀的素质。
玄学作为侨姓士族的文化标志在整个社会生活中占重要地位。对玄理的掌握和谈玄技巧成为一项重要的价值标准。谢安便精于玄道。二十来岁时，拜访名士王濛，与他清谈了很久，大受赞赏。曾与许询、支道林等人聚集在王濛家。谢安提议大家在一起言咏写怀，于是共解《渔父》。谢安看题，令众人解释，支道林先解，讲了七百余语，叙致精丽，才藻奇拔，众人无不称善。大家都各抒己见之后，谢安谈自己的见解，讲了万余语，才峰奇逸，萧然自得，在座的人，莫不钦服。许、王、支都是东晋有名的谈手，而皆服于谢安，可见谢安玄学知识的渊博和言谈的精炼。
谢安亦通儒家经典。宁康三年（375），孝武帝将讲孝经，谢安与弟谢万等人在宫廷侍读，中书郎车胤摘句，不懂的地方便问谢安兄弟，一而再，再而三，深感不安，便对袁宏说，“不问则德音有遗，多问则重劳二谢。”袁宏劝他不必担心，因为“明镜不疲于屡照。”意即谢安学识渊博，通经熟典，为人解答疑难不会有什么困难。
在文学方面，谢安也很有修养。能诗善文，才学华丽。早年在东山，“出则渔弋山水，入则言咏属文。”《全三国两晋南北朝诗》所收谢安诗作十来首。曾写简文帝谥议，文理深得，为朝廷所采纳。桓温阅后，递给在座其他人看，并说：“这是安石碎金。”他闲居时，常与子侄们论文作诗，成了当时文坛佳活。
谢安性好音乐，精通乐理，曾与戴逵谈论琴书。自弟谢万死后，十年不听音乐。及登台辅，却不因丧废乐。王坦之屡次写信劝阻他，说居丧废乐是儒教大礼，希望谢安能维持礼治。但谢安却回信说：“我所追求的是声律，可称为情，所以没有什么不可作的，正聊以乐自娱，若要尊崇世教，纯洁行为，则不但不可提倡，亦非所屑。”他曾对王羲之说：“中年伤于哀乐，每次与亲人离别，总有几天心情不愉快。”王羲之安慰他说：“年纪大了，自然如此，正要依靠音乐来陶冶性情。”谢安晚年居丧行乐，谅必有寄兴托情的因素。而社会上的人将它视为风雅的行为而竞相仿效，遂成当时一种风尚。
除音乐外，谢安还“工书善画”。他很喜欢顾恺之的画，称赞其画是“自生人以来未有也。”可见他对绘画有一定的爱好和鉴赏能力。曾经跟王羲之学草书，王羲之称赞他是“解书者”，说明他不仅会书法，而且懂书法理论，同时也有自己的欣赏能力。谢安的行书、隶书都写得很好。南朝羊欣所编《古来能书人名》及王僧虔《论书》等，都把谢安作为东晋书法家。
桓温执政时，郗超得宠，朝廷百官都很敬畏他。谢安曾与王坦之一起去拜访郗超，等候了半天，还不得接见，王坦之便要走，谢安说，“难道不能为身家性命而忍耐片刻吗？”对待下层也是如此。谢安曾乘船东行，仆人们牵纤引船，时快时慢，有时停顿，有时却又放任船只飘荡，触着岸边，使船上人相撞。但谢安从不呵责仆人，人们称赞他不会喜怒无常。但有一次，谢安参加哥哥谢奕的葬礼回来，天色已暮，又下着雨，车夫喝得酩酊大醉，驾驭不住牛车，谢安坐在车中，手取车柱撞打车夫，声色俱厉，使车夫骇然酒醒。人们说谢安的性格如深沉的江水，平时静静缓流，但在关隘的地方却奔泄直下。
谢安待人接物，很注意风度。东晋门阀社会，社交有较严格的流品，士人不交非类，但谢安却善于礼接士庶。琅玡名族王献之来访谢安，正好习凿齿也在谢安家里，王献之鄙视习凿齿出身寒门，不肯和他坐在一起，便站着不坐，谢安急忙安排王献之坐在自己的对面。献之走后，谢安对侄儿说：“献之虽然清高，但为人太过矜持，会损其自然。”琅玡名族王胡之在东山居住时，曾一度较清贫。门第低下的陶范当时正好任乌程县令，便派人给王胡之送来一船米，但王胡之却不肯接受，并说：“我没有得吃自然会去谢尚（谢安的堂兄）家里取，无须你陶范的米。”弄得陶范十分尴尬。谢安听说后，认为王胡之所作所为太过分了。可见谢安对森严的门第阀阅并不赞同。
谢安在对子弟的教育上，也主张德教。谢安的妻子刘氏曾问谢安为何不见他训育子弟，谢安说，“我常常以我的言行来告诉他们应当怎样做。”也就是说，谢安立足于以身作则。在教育上，很注意方法方式，从不唐突，伤害子弟的身心。侄儿谢玄小时候，性好浮华，常佩紫萝香囊，别手巾垂腰，谢安欲改变他这一嗜好，但又不愿伤害他的自尊心，便想法与他赌香囊，赢了之后便把它烧掉。谢安的二哥谢据小时候不懂事，曾爬到屋顶熏老鼠，社会上流传为笑话。谢据的儿子谢郎不知道是他的父亲所作，也常与人说笑这宗事。谢安因此对谢郎说；“世人用此事来诬蔑二兄，也有人说是我干的。”谢郎听后十分懊恼，从此再也不敢提起这桩事。人们认为谢安能故意把这桩蠢事说成是自己的过失，来开悟侄儿，“可谓德教”。由于谢安身体力行，教子有方，故其子弟大都成才。如谢玄、谢琰是东晋名将，而封（谢韶）胡（谢朗）遏（谢玄）末（谢渊），为文坛彦秀。谢氏一门，人才济济，文武双全。
谢安向来有弘远之称。在东山时，曾与孙绰等人泛海而游。乍然风起浪涌，船上的人都惊慌失措，主张返航，只有谢安神色不变，吟啸自如，众人钦叹，“审其量，足以镇安朝野”。东晋社会常用容止风貌来衡量人材。这种特殊的价值标准渊源于两汉的品评人物，认为一个人的才性可以在容止风貌中体现出来，称为标致或风流，直接影响人物的名声地位，对社会风尚也有潜在的影响效应。谢安有鼻疾，作洛下书生咏，声音浊浓，士人们爱其咏而不能及，甚至有人用手掩着鼻子来模仿其浊音。谢安被誉为东晋风流领袖，他的一举一动，都左右着当时的社会风气。谢安有一位同乡，在地方上做官回来，捎带五万把蒲扇回京城出售。谢安使用他这种蒲扇，结果，京城不论士人、庶人，都争着模仿，使扇价借增，不到一月，五万把蒲扇便销售一空。又有河东人裴启撰《语林》不实，被谢安斥为“裴氏学”，于是“众咸鄙其事，《语林》遂废”。史称“谢相一言，挫成美于千载；及其所兴，崇虚价千百金。”谢安不仅有卓越的军政才能，而且风流儒雅，多才多艺，世称“大才叠叠谢安”，这对于一个地位仅次于皇帝的权臣来说，是很难得的。难怪后人以为“江左风流宰相唯谢安。