13岁跟哥哥胡福昌(红军烈士)到吉安学缝纫。1924年参加吉安工会,后被选为缝纫工会委员长。1930年参加中国工农红军,1934年加入中国共产党。在第二次国内革命战争时期,曾任红一方面军被服厂厂长,红军总司令部副官处、中央政治保卫局科员、副科长、陕甘宁边区政府招待所所长、陕西洛川、三原联络站站长、党中央外交部外事处处长等职。抗日战争时期,曾任陕甘宁边区政府招待处处长、新四军驻赣办事处副官处副主任、处长、上饶办事处主任。新四军财经部驻华光公司督导主任、华东印钞厂厂长、厂总管处主任。解放战争时期,曾任南下干部大队淮海大队政委,豫、皖、苏工商局副局长兼开封市银行行长,武汉人民银行监委。
解放后,胡金魁主要从事党的统一战线工作,多年来他一如既往,忠心耿耿,忘我工作,出色地完成了党交给的各项任务。在“文化大革命”中,虽身陷逆境,仍忍辱负重,坚持党和人民的利益,坚持实事求是的原则,受到党内外人士和群众的赞誉。
1982年7月23日,胡金魁在武昌逝世,终年76岁。