Su padre era un alcohólico agresivo que abandonó a su familia quedando Jack junto a sus hermanas y su madre. Este hecho lo marcó como un niño introvertido y amante de la soledad.

A los diecisiete años, tras haber terminado sus estudios primarios se marcha a Los Ángeles donde trabajó de chico de los recados en la Metro Golding Meyer. Más tarde empezó a estudiar Arte Dramático en el "Players Ring Theatre" y allí coincidió con James Coburn y con el director y productor Roger Corman. Este último le proporcionó sus primeros papeles en el cine.

A los treinta y dos años este actor era ya un veterano intéprete de películas de bajo presupuesto (serie B) de los años 60 hasta que en 1969 rodó "Easy Rider".

Esta película se convirtió en una declaración de principios y en verdadero film de culto. A partir de entonces empezó a trabajar con los más destacados directores, por ejemplo con Roman Polanski en "Chinatown".

Tras haber estado nominado al Oscar en varias ocasiones obtiene su primera estatuilla en 1975 por su papel en "Alguien voló sobre el nido del cuco", dirigida por Milos Forman.

En 1980 volvió a rodar con Kubrick, esta vez "El resplandor" y tres años más tarde se le concedería su segundo Oscar, esta vez en la categoría de mejor actor secundario por "La fuerza del cariño".

En esta época ya compartía su trabajo con las grandes estrellas del panorama cinematográfico y se permitía el lujo de elegir a sus películas en función de con qué actores quería trabajar. En 1997 se le concedió otro Oscar como mejor actor por "Mejor... Imposible" donde dio vida a un novelista maniático.

Este es uno de los más excéntricos e histriónicos actores conocidos, entre sus manías se encuentra la de incluir cláusulas en su contrato como la que obligaba a hacer un descanso en el rodaje cuando jugaban Los Angeles Lakers.

Ha aparecido en varias ocasiones como uno de los actores más taquilleros de Estados Unidos. También ha sido guionista y director; en los setenta escribió los guiones de "Thunder Island" y "A través del huracán" entre otras y dirigiendo en esa misma década: "Drive he said" y "Camino del Sur".

Ha estado casado con la actriz Jennifer Warren, unido sentimentalmente a la también actriz Anjelica Huston y a la modelo Rebecca Broussard.

Además de los Oscars que ha conseguido estuvo nominado también como mejor actor por "Mi vida es mia", "El último deber", "Chinatown", "El honor de los Prizzi" y "Tallo de hierro"; y como secundario por "Buscando mi destino", "Rojos" y "Algunos hombres buenos".

Entre sus últimas películas destacan "A propósito de Schmidt" (2002), "Ejecutivo Agresivo" (2003) junto a Adam Sandler, "Cuando menos te lo esperas" con Diane Keaton, "Infiltrados" (2006) acompañando a Leonardo DiCaprio, Matt Damon, Mark Wahlberg y Martin Sheen entre otros; y "Ahora o Nunca" (2007) co-protagonizada por Morgan Freeman...