Joel Shapiro nasce a New York il 27 settembre 1941. Da ragazzo frequenta i corsi di pittura del Museum of Modern Art, New York, per poi iscriversi alla University of Colorado, Boulder, e trasferirsi alla New York University. Dal 1965 al 1967 è in India con i Peace Corps e quando rientra a New York inizia la sua carriera di scultore e incontra l'artista concettuale Robert Barry. Nel 1969 si diploma alla New York University e viene inserito nella mostra "Anti-Illusion: Procedures/Materials" al Whitney Museum of American Art, New York.

Tra il 1969 e il 1970 insegna alla Hofstra University, New York. Durante questo periodo crea disegni che consistono nel semplice accumulo di segni e sculture che riprendono la ripetizione di azioni e oggetti quotidiani. Nel 1972 comincia una serie di dipinti e sculture in ferro. Nel 1973 conosce la pittrice Ellen Phelan, con cui intesse un fruttuoso scambio di idee che influenzerà le sue opere successive e con cui si sposerà. Nel 1974 inizia a insegnare scultura in alcune università vicino a New York. A partire dal 1977 e durante tutti gli anni ottanta le sue opere diventano sempre più figurative. Lavora con materiali vari, dal legno al bronzo, all'acciaio, e a partire dal 1980 crea opere di grandi dimensioni. Tra il 1987 e il 1990 lavora con Leslie Miller della Grenfell Press, New York, a litografie e stencil.

La sua prima personale è del 1970 alla Paula Cooper Gallery, New York. Numerose le mostre a lui dedicate: Museum of Contemporary Art, Chicago (1976), Whitechapel Gallery, Londra (1980), Whitney Museum of American Art, New York (1982). Nel 1990 il Des Moines Art Center presenta una retrospettiva sull'aspetto figurativo nella sua arte, poi esposta al Baltimore Museum of Art e al Center for the Fine Arts, Miami. Nel 1966 riceve la Skowhegan Medal for Sculpture, nel 1990 l'Award of Merit Medal per la scultura dall'American Academy of Arts and Letters. Nel 1991 crea un monumento per l'Holocaust Memorial Museum, Washington. Shapiro vive e lavora a New York.