Родился в Бронксе, штат Нью-Йорк, США. Решил посвятить себя актерскому мастерству, когда учился в колледже. В 1960 его приняли в Neighborhood Playhouse Сэнфордом Мейснером.
Каан дебютировал в пьесе «I Roam». Однако после 4 представлений он покинул театр из-за несложившихся отношениях с Актером Фрэнкотом Тоном. Он отправился на телевидение, где имел постоянную работу, как актер.
После многочисленных отборных серий Каан получил роль сериале «Песня Брайана» в 1970. Двумя годами позже он уже снялся в шедевре Фрэнсиса Форда Копполы «Крестный отец». Эта роль утвердила его статус звезды и за нее он номинировался на премию оскар. Затем он снялся в нескольких фильмах, которые провалились в прокате. Хотя в 1974 Каан принял предложение компании Голден Глоуб и снялся в картине «�?грок»(The Gambler), а так же в другом хите вместе с Барбарой Стрейзанд - «Забавная леди» в 1975.
После этого карьера актера пошла на спад. Он совершил несколько ошибок, не приняв предложение сняться в таких фильмах, как «Полет над гнездом кукушки», «Супермен», «Крамер против Крамера». В 1980 году Каан попробовал себя в роли режиссера, но к сожалению его фильм не имел успеха.
После 5 лет отсутствия он вернулся на экраны и снялся сразу в двух фильмах - «Аллеи камней» (Gardens of stone) Фрэнсиса Форда Копполы и «Чужой народ» (Alien Nation), последняя собрала приличную кассу. В 1990 году Каан снялся в фильме Роба Райнера «Мизери» (Mysery) по роману Стивена Кинга, который получил оскар. Он продолжал сниматься в фильмах, которые отражали остроумие и крайность его личности. Последовали фильмы «Медовый месяц в Лас-вегасе»(Honey Moon in Las-vegas), где он снялся вместе с тогда еще мало известным Николасом Кейджем, а так же «Стиратель»(Eraser), главную роль в котором исполнил Арнольд Шварценеггер. Вы так же можете увидеть его последний фильм «Микки Голубые Глазки»(Mickey Blue eyes).