Reçu premier au concours de l'École normale supérieure en 1925, premier à l'agrégation en 1928, docteur avec la mention très honorable en 1929, il rejoint l’armée en octobre 1929 pour faire son service militaire, puis soutient sa thèse, sous la direction d’Ernest Vessiot, à la Sorbonne en 1930. En 1931, la Fondation Rockefeller lui permet de se rendre en Allemagne pour étudier d’abord à Berlin avec John von Neumann, puis à Hambourg avec Emil Artin, et enfin à Göttingen avec Emmy Noether. Un mois plus tard, sa mort prématurée en redescendant de la Barre des Écrins au-dessus de l'Oisans met brutalement fin à une correspondance qu'il venait tout juste d'entamer avec Kurt Gödel.
Il n'en laisse pas moins son nom à deux théorèmes, le théorème de Herbrand-Ribet, en théorie des nombres, et le théorème de Herbrand, en logique. Il est à l'origine du « modèle de Herbrand-Gödel » des fonctions récursives.
Selon le mathématicien Claude Chevalley, « Jacques Herbrand aurait détesté Bourbaki.Cité par Michèle Chouchan, Nicolas Bourbaki Faits et légendes, Édition du choix, 1995. »
