原名柯俊良，1945年出生於台灣高雄市。高雄市立第二中學初中畢業後，進入台語片金獅影片公司當工人和群眾演員，吸取許多經驗。在離開金獅公司後，1962年主演台語片《天字第一號》。1963年演出《義犬救主》，票房不錯，之後又演出《流浪賣花姑娘》，因外型俊挺，成為台語片當紅小生，後主演數十部台語片。1965年開始參加國語片的演出，因受中影製片經理
白景瑞網羅，進入中央電影事業股份有限公司擔任基本演員，主演 《啞女情深》等十餘部國語片，奠定其在國語片的地位，並陸續與
李行、
白景瑞合作。其中在影片《寂寞的十七歲》中扮演風流瀟灑的表哥，獲第十四屆亞洲影展最佳男主角獎，是中國影壇上第一位亞洲影帝。1967－1969年服兵役。1970年回中影並與著名演員
張美瑤結婚。同年在影片《家在台北》中扮演工程師，表演穩重、深沈，在《再見阿郎》中扮演無賴阿郎，兩角色反差極大，都演得有血有肉。1971年赴港發展，並嘗試導戲，但成績並不理想。
1974年在影片《英烈千秋》中飾演抗日名將張自忠，以此片獲得第二十一屆亞洲影展最佳男主角獎，為其演藝事業再創高峰。1978年主演影片《黃埔軍魂》，再度獲得第十六屆金馬獎最佳男主角獎。70年代正值黑社會題材影片興起，
柯俊雄亦正亦邪的性格特質，使得許多編導邀約演出黑社會電影，如《上海大亨》、《職業殺手》等。1973年和1981年曾自組鴻達電影公司和天元電影公司，導演《大阿哥》、《彩雲片片》等影片，因賣座不佳而停業。後自編自導自演影片《我的爺爺》，1982年獲巴拿馬國際電影節最佳男主角獎。參加拍攝的影片尚有《八百壯士》、《大三元》、《愛有明天》、《 我父、我夫、我子》等。1988年出任演藝工會理事長，時正值工運思潮在台覺醒，
柯俊雄領導的演員工會說服政府，規定外籍演員在台演出需工作證以保護本地演員的工作機會。
其演藝生涯從台語片到國語片，從中影的健康寫實到
瓊瑤文藝、政宣軍教及黑社會類型電影，所演出的角色從市井小人物到霸氣英雄，其中又以在軍教片中的軍人形象最讓人印象深刻，小人物的造型如在《再見阿郎》中的地痞，英雄者則如《英烈千秋》、《八百壯士》中的民族英雄形象 ，性格氣質也正如其外貌般霸氣、不拘小節，無論是正面的英雄角色或反面的流氓黑道，都極具說服力。
