宋明时期,这里是登源河最上端的水陆码头,船只可沿歙县新安江溯流至此。再往上,河中运输工具就只能是竹筏木排了。村头的上盐店,是歙县南乡到旌德挑米的陆路必经之地,故那时是交通枢纽。明代周姓迁入后,繁衍兴旺,而胡姓一度势落,并引发了一场村中周姓对村名提出异议的官司。聪明的县令根据“湖里行舟(周)”的寓意进行调解,将 “胡里”易名为“湖里”,做出了胡、周两姓都能接受的裁决。
湖里旧时分前街、后街两部分。前街因紧靠码头而极其繁华,沿街店铺林立,街面铺设着清一色的麻石板。跨街有皇上恩赐中王胡延政的三座木牌楼,牌匾依次为“江左名帅”、“明经世家”、“文武齐美”。前街外侧的护村坝上,长满了许多参天古树,浓荫蔽日,鸟语花香,树种多为杨树和朴树。这道绿色长廊,一直沿河延伸到与后街连接的上盐店,这便是胡里村的水口。如今,水口只剩下两三株古树。水口不远处,有为纪念村人胡尚志而立的五马坊牌楼。村口亭门上,书有“胡里镇”三个笔力苍劲的大字。
历史上,此镇文风昌盛,除宋初开族之祖胡延政官至绩溪县令、死后封中王外,仅宋代就出了胡遇、胡天瑞、胡思诚、胡如龙、胡俨等五名进士(族谱中另载有九名进士,待考)。元代,胡奋华,进士,授长沙太守,总理河道陛工。曹尚书,族谱载为驸马都尉。明代,村人胡尚志曾任济宁知州,清代,更以出了著名的“红顶商人”胡雪岩而蜚声国内外。
湖里村地下有一个罕见的庞大的排水系统。地下暗圳围村而设,人可以从暗圳中直立行走。可见湖里当时“千丁万灶”,是何等繁荣,这个名噪一时的古村落,在上个世纪的一场洪灾中,五马石坊被冲毁,至 今路旁还摆有许多残构件;近年来,洪水又冲垮了中王桥,现 在的窄街里巷显得有些寂静衰落。沿后街漫步,其右侧依次排列着周氏宗祠(胡氏家庙)、胡氏上祠、胡氏下祠。胡氏家庙的五凤楼顶,正摇摇欲坠,正厅也破烂不堪,失去了往日的肃穆和威严。古风犹存,但已全然没有了族谱上夸耀的八景图:石龙喷玉、美坞甘露、古溪石印、清泉迥澜……
在湖里村,离过街楼不远,一幢并不起眼的老房子,是胡雪岩的祖屋。当今古屋的主人是胡天书。这座建于清代初期的徽派宅院,十分普通,这说明胡的祖上可能并不富裕。这所古朴沧桑的民宅,坐北朝南,布局为一厅两房的三间式,建筑面积不过七八十平方米,幼时的胡雪岩便在此居住。