Fils d’Henri Piccoli, violoniste et de Marcelle Expert-Bezançon, pianiste professeure de musique, fils unique, petit-fils d’un côté maternel d’un homme d’affaire ruiné, Michel Piccoli avait des origines italiennes du côté de son père. Sa famille était catholique mais il s’éloigna de la foi et affirma même un certain anticléricalisme aux côtés de Louis Bunuel. Ses parents étaient favorables à De Gaulle pendant l’Occupation. Il passé son enfance à Paris, dans le quartier de la place d’Italie (XIIIe arr.), fréquenta l’École alsacienne et vécut un an et demi en Corrèze pendant la guerre. Après avoir raté le baccalauréat, ce jeune réservé, fit une formation de comédien au cours d’Andrée Bauer-Thérond et au cours Simon. Il fut figurant dans Sortilèges de Chistian-Jaque en 1945 puis eut son premier vrai rôle au cinéma avec le réalisateur communiste Louis Daquin dans Le Point du jour en 1948 et au théâtre avec Jean-Louis Barrault. Mais c’est surtout ses rôles sous la direction de Louis Bunuel qui l’imposèrent. Parallèlement au cinéma, il resta acteur de théâtre,au sein des compagnies Renaud-Barrault et Grenier-Hussenot, puis au théâtre de Balylone (une coopérative ouvrière) où il rencontra l’actrice Eléonore Hirt qu’il épousa. Le couple eut une fille, Anne Cordélia. Il joua sous la direction des metteurs en scène Jacques Audiberti, Jean Vilar, Jean-Marie Serreau, Peter Brook, Luc Bondy, Patrice Chéreau…
Il ne négligea pas la télévision, travaillant avec Stellio Lorenzi et Marcel Bluwal.
En 1973, tout en continuant à jouer avec des cinéastes exceptionnels (Godard, Melville, Resnais, Clément, Vadim, Demy, Ferreri, Bellocchio, Sautet, de Olivera, Hitchcock, Moretti…), il fut également producteur et réalisateur.
Il accompagna Juliette Gréco en URSS début 1967. Il se maria avec elle en 1966 puis épousa en 1978 Ludivine Clerc, scénariste. Ils adoptèrent deux enfants d’origine polonaise.
Acteur renommé, il était vice-président du Syndicat Français des Acteurs (CGT) en 1964.
Se situant constamment à gauche, il fut membre du Mouvement de la paix et se mobilisa contre l’extrême droite, notamment contre le Front national. Il aida financièrement la Ligue communiste dans les années 1970 en se portant garant de l’emprunt que fit cette organisation pour monter son imprimerie, Rotographie, et il soutint des associations des droits de l’homme dont Amnesty international. Il appela à voter Mitterrand en 1981 et continua à apporter sa caution à la mouvance socialiste ; il semble avoir été un temps membre du Parti socialiste. Avec son ancienne épouse, Juliette Gréco, et l’acteur Pierre Arditi, il défendit en 2009 la loi Création et Internet.