文庙位于岳麓书院左侧，自成院落。明弘治十八年（1505），改名大成殿。正德二年（1507）迁于院左今址。天启四年（1624）重修，正式称为文庙。其规格和其他地方的文庙差不多。文庙两侧的廊屋现在已经是书院在读研究生们的教室。
文庙原称孔庙，是专门供奉儒家圣人孔子的地方，文庙对于岳麓书院教育有着直接的影响，历代都有严格的礼规，要求师生都要遵循圣人的言行行事，每月的初一、十五，山长要带领学生一一朝拜，每年春秋两季举行两次大的祭典活动，地方长官也得参加，场面极为壮观。文庙的主体建筑是大成殿。因为孔子是天下集大成者，所以就用“大成”来概括孔子的成就和地位，全国各地文庙的主体建筑都是大成殿。文庙的建筑也有与其它建筑不同之处，其中最明显的就是所用的瓦片的颜色不同，文庙所采用的颜色是金黄色，与故宫的颜色是一样的，而其它的全用的是青瓦。总所周知，金黄色是古代皇家专用的，民间不得使用，而文庙却是个例外，其建筑级别也同宫殿，为最高级别的，享有皇家礼的待遇，这也说明了中国自古就是一个尊师重教和国家。
在大成殿的前面有一石雕蟠龙，抗日战争时，大成殿被日本的飞机炸毁，只有这蟠龙幸存。战后，1946年进行修复，由于当时政局动荡不安，民不聊生，修复工作是在极其艰苦的条件下进行的，所以今存的大成殿看起来似乎缺少了皇家应有的气派。
