晋时名石头寺,唐时因有名僧智俨居此,寺旁有智俨石塔,故又名石塔寺。唐代大文学家、诗人刘禹锡曾作智俨大师石塔铭,其中说 陶公山景点概览:“……长沙潭西逾五里,陶侃故居石头寺,门前一带湘江水,吁嗟律师之名兮与湘流而不己。”寺周有围墙,山门在寺东金鸡桥,入内有钟鼓楼,正门外有铁顶六角石塔,前殿供奉弥勒佛,后列四大天王和十八罗汉,匾题“皆大欢喜”。正殿供奉释迦牟尼佛、药师佛、地藏王菩萨,后殿供奉千手观音佛。殿后有一院落,原有水阁凉亭,苍松翠柏、桐花海棠,十分可观。旧传褚遂良题有诗句:“远山山酋 山卒 翠凝烟,烂漫桐花二月天;踏遍九衢灯火夜,归来月挂海棠前。”清人亦题诗曰:“古刹千年石径中,钓台长旁梵王宫,蒲团僧证三繙静,塔影禅参半偈空。事业晋唐钟磬寂,渊源衣钵水云氵蒙 。还余老衲传经罢,更与段勤说褚公。”
据史书记载:唐永徽六年(公元655),朝廷顾命大臣、大书法家褚遂良,因谏高宗立武昭仪(武则天)为后,被贬为潭州都督。褚公怀愤,至于湘潭,游石塔寺,奋笔书成:“大唐兴寺”,寺遂改今名。原石额为全国著名牌匾,现藏于市博物馆。唐杜甫游此,见褚公之书,诗赞曰:“贾傅才何有,褚公书绝伦。”
历代诗人到此留下许多佳句。如:唐代诗人杜荀鹤《霁后登唐兴寺水阁》诗:“一雨三秋色,萧条古刹间。无端登水阁,有处似家山。白日生新事,何人得暂闲。将知老僧意,未必恋松关”。五代孟宾于《湘江亭》诗:“独宿大中年里寺,樊笼得出事无心。寒山梦觉一声馨,霜叶满林秋正深。”(湘江亭位于唐兴寺侧)。宋代张木式 题《唐兴寺湘江亭》诗:“寺废苍岩耸,江回远岸明,风雷摧翰墨,岁月老丝缗。兀坐知茶味,闲行忘去程。长哦伊水句,回首若无情。”