Milton Marx urodził 23 października 1982 roku jako czwarty z piątki rodzeństwa (nie licząc wcześnie zmarłego Manfreda). Razem z braćmi,
Groucho,
Harpo i
Chico, występował w wodewilach. Był zdecydowanie spokojniejszy od braci oddających się wygłupom na scenie. Gummo swój pseudonim zawdzięcza gumowym butom, które musiał nosić w dzieciństwie, gdyż był bardzo chorowity.
W 1918 roku, zanim grupa osiągnęła największą popularność, zrezygnował z występów, a jego miejsce w zespole zajął najmłodszy z braci -
Zeppo. Po odejściu z zespołu, zaciągnął się do wojska, żeby wziąć udział w I wojnie światowej, jednak nie został nigdy wysłany na front. Po zakończeniu służby zajął się biznesem. W 1934 roku, kiedy
Zeppo zakończył karierę artystyczną i postanowił spróbować swoich sił jako agent, Milton został jego partnerem w interesach.
W 1929 ożenił się z wdową Helen von Tilzer i przysposobił Kay, jej córkę z pierwszego małżeństwa. Później urodził im się syn - Robert.
Milton zmarł 21 kwietnia 1977 w Palm Beach w Kalifornii.