1923年、高知生まれ。1949年、東京美術学校彫刻科卒業。1954年、第4回モダンアート協会展新人賞受賞、1957年、同会会員となるが1970年退会。1966年、ニューヨークで開かれたジャパン・アート・フェスティバルにて吉原治良、白髪一雄、元永定正らの作品と出会ったことを機に、同年より前衛美術集団「具体」の展示にも参加するようになる。湾曲する四角いキャンバス片を黒地の画面上に等間隔に配置し、中心部分のみ固定するという手法で制作された「装置」シリーズは、高崎の代表作として近年でも高く評価されている。1996年、高知文化賞受賞。晩年まで個展・グループ展にて精力的に発表。2017年、高知にて死去。