石山书院位于文化园主中心轴线的最北端,设计理念结合中国传统建筑布局方式,采用“井”字布局,对称分布,与文化园入口大门隔湖相望。书院总建筑面积1500平方米,分为大殿、前殿、前后门楼、钟鼓楼、厢房和连廊,整体风貌较为工整,极具南方阁楼风韵。
从书院正门步入,就是大成殿,这里将还原古代学生入学祭拜为孔子的习俗,倡导尊师、重教、尚学。顺路而下,与大成殿依次排列的就是书院的主要建筑大讲堂,共分两层,将是书院收藏典籍、开堂讲学的重要场所。绕行书院,充满古典风情的各式建筑物错落有致、整齐排列。
攸县新修的书院以“石山”为名,沿袭攸县有历史底蕴深厚的“石山书院”。
公元498年,南齐司空老臣张岊大人辞官沿攸水而进南水,追寻到现今的攸县莲塘坳镇凉江的阳升观村麒麟山这块福地,先后创办过光石山书院、慧光书院和白马溪书院,开馆授徒,其徒弟除攸县、茶陵等外,还有来自江西的儒林之士。
公元1154年,宋朝考中状元的安徽人张孝祥及1185年殿试头名状元,后任礼部尚书的易祓,闻阳升观之名,同来攸县游览,见此优美景色,张孝祥书兴大起,挥笔写下“阳升之观,真人之居,天下第一山”几个大字。还与易祓联袂写下 “张司空石山书院”、“张司空白马溪书院”几块匾额。
湖南大学岳麓书院教授、湖南省书院研究会副会长邓洪波论证认为,历史上的“第一”当属湖南攸县的光石山书院。故址在今攸县莲塘坳镇凉江的阳升观村。