赖艺虽然在政治上表现软弱,但却是个优秀的艺术家,擅长绘画。尤其擅长画鹰,因此他所画的老鹰图像都很珍贵,被称为“土岐之鹰”。
土岐赖艺曾有一位宠妾深芳野(一说是一色氏之女、一说是稻叶一铁之姊),被斋藤道三所夺,而当时深芳野已有身孕。因此盛传斋藤义龙可能不是道三亲生的孩子,也造成义龙与道三之间的父子感情不睦。