Jean Veil est diplômé d'une Licence de Droit à l'Université Paris II Panthéon-Assas. Il obtient son Certificat d'Aptitude à la Profession d'Avocat en 1972 et débute sa carrière au sein du cabinet Gide Loyrette Nouel. Il se spécialise en matière de fusions-acquisitions, de contentieux civil, commercial, pénal ou réglementaire.

En 1987, il fonde le cabinet Veil-Jourde aux côtés de Georges Jourde et Dominique de la Garanderie. Au cours de sa carrière il défend notamment, Jacques Chirac dans l'affaire des emplois fictifs de Paris, ainsi que la BNP au moment de l'OPA sur la Société Générale, puis la Société Générale contre Jérome Kerviel, mais aussi Dominique Strauss-Kahn dans l'affaire de la MNEF dont il obtient la relaxe.

En 2007, il est sacré officier des Arts et des Lettres et est fait Commandeur de l'Ordre de la Légion d'Honneur en 2012.

Le nouveau bâtonnier de Paris, Frédéric Sicard, lui a confié une mission sur la place des libertés au sein de la société française et sur celle de l'avocat, défenseur de ces libertés.