贺人杰从世祖忽必烈南征北战,攻绩卓越,深为世祖信赖。世祖欲选民女充实后宫,及他特授正议大夫上都留守。大德九年(1305),贺年72岁请老还乡,拜光禄大夫平章政事,商议陕西行中书省事。卒后赠恭勤竭力功臣仪同三司太保上柱国,追封雍国公。
其子贺胜,16岁通经传大义,为世祖所器重,拜集贤学士,领太史院事。后代父职上都留守,兼本路都总管开平府虎贲亲军都指挥使。任内,通商贾,抑豪纵,出纳有法,供亿不匮。至大三年(1310),进光禄大夫左丞相,寻加开府仪同三司三柱国。英宗即位后,被诬迎诏不敬杀之。泰定初昭雪其冤。赠推忠宣力保德功臣太傅开府仪同三司三柱国,追封秦国公。
其孙贺惟一,官至开府仪同三司中书左丞相,兼修国史。曾孙贺均,迁太子詹事,有诗集十卷。