1947 schloss der in Brooklyn N.Y. geboren und aufgewachsene John Romita Sr. sein Studium an der Manhattan School of Industrial Art ab.  Romita fasste 1949 mit der Serie „Famous Funnies“ in der Comic-Industrie Fuß. Ein Freund aus der Highschool bot ihm eine Stelle bei Marvel’s Vorläufer Timely Comic an.  Hier traf er den Chefredakteur und Art Director Stan Lee und war dort als Ghost Penciler tätig.

Romitas erste anerkannte Comic-Kunst war die Bleistift- und Tintenzeichnung der 6-seitigen Geschichte „The Bradshaw Boys“ in Western Outlaws #1, die 1954 von Marvel Comics veröffentlicht wurde. Ersten Kontakt mit einem Superhelden bekam er ebenfalls 1954, als er die Neuauflage von Captain America illustrierte. 1957 verließ Romita Marvel, um bei DC Comics Geschichten für Mädchen zu zeichnen. 1965 wurden diese Serien eingestellt und Romita kehrte zu Marvel zurück. 1966 begann er mit der Arbeit an dem Comic „The Amazing Spider-Man“, der heute als sein bemerkenswertestes Werk gilt. Stan Lee bat ihn, eine zweiteilige Daredevil-Geschichte [Ausgaben Nr. 16-17, Mai-Juni 1966] mit Spider-Man als Gaststar zu schreiben, um zu sehen, wie er mit der Figur umgeht.  Romitas Darstellung von Spider-Man sollte schließlich das Maskottchen der Firma und der definitive Blick auf die breite Öffentlichkeit werden. Unter der Führung von Romita und Lee wurde „Spider-Man“ zum Inbegriff des Antihelden der späten 1960er und frühen 1970er Jahre.  Mitte der 1970er wurden auf Grund des großen Erfolgs mit Spider-Man Comicstrips veröffentlicht, welche er zunächst zusammen mit seinem Sohn John zeichnete.

In den frühen 1970er Jahren verließ er den ‚Spider-Man‘-Comic und wurde Art Director bei Marvel. Unter der Anleitung von Kinderpsychologen schuf er „Spidey Super Stories“, die sich an ein jüngeres Publikum richteten.

John Romita war eine beliebte Inspiration für den Pop-Art-Maler Roy Lichtenstein. Bilder aus einer seiner „Heart Throbs“-Geschichten inspirierten Liechtensteins „Knock-Knock“ (1961), während eines aus „Secret Hearts“ für „Crying Girl“ (1964) und seine „Girls‘ Romances“ für „We Rose Up Slowly“ (1964) verwendet wurde. Ausgabe 127 von „Young Romance“ war die Quelle für Lichtensteins „Craig“ (1964).

Er hat viele Preise und Auszeichnungen gewonnen, darunter 1979 den Inkpot Award und wurde 2002 für sein Lebenswerk in die „Will Eisner Award Hall of Fame“ aufgenommen.  Seit 2013 ist er außerdem Mitglied des Auszahlungsausschusses der Wohltätigkeitsorganisation der Comic-Industrie „The Hero Initiative„.