Gregory, der Sohn eines römischen Patriziers namens John, war anscheinend ein energischer, aber sanfter Kirchenmann, der für seine Gelehrsamkeit bekannt war. Während des Pontifikats von Papst Pascha I , zum Zeitpunkt des Todes von Papst Valentin im Jahr 827, zum Priester geweiht , war Gregor Kardinalpriester der Markusbasilika in Rom . Wie sein Vorgänger wurde Gregor vom Adel nominiert , und die Kurfürsten waren sich einig, dass er der würdigste Bischof von Rom war . Sie fanden ihn in der Basilika der Heiligen Cosmas und Damian, wo er trotz seiner Beteuerungen gebracht und im Lateranpalast untergebracht wurde, woraufhin er irgendwann im Oktober 827 als gewählter Papst inthronisiert wurde. Gregors Ernennung zum päpstlichen Stuhl soll eine Fortsetzung der Versuche darstellen, die lokale politische Situation in Rom zu kontrollieren, die während des Pontifikats von Papst Eugen II . begonnen hatten .

Gregors Weihe verzögerte sich bis zum 29. März 828, als er von Kaiser Ludwig dem Frommen die Zustimmung zu seiner Wahl erhielt. Diese Verzögerung wurde von den kaiserlichen Gesandten erzwungen, die darauf bestanden, dass die Verfassung von 824 ausdrücklich die Weihe eines gewählten Papstes verbiete, bis sich der Kaiser von der Gültigkeit der Wahl überzeugt habe. Es wurde gesagt, dass der Kaiser Gregor gerügt hatte, weil er versucht hatte, sich weihen zu lassen, bevor er die Zustimmung des Kaisers erhielt. Gregor erfüllte diese Forderungen der kaiserlichen Vormachtstellung, und 828 und 829 schickte der Papst Gesandtschaften zu nicht näher bezeichneten Gesprächen an Ludwig.

Im Januar 829 war Gregor in einen Streit mit der Abtei Farfa über den Besitz des örtlichen Klosterlandes durch die römische Kirche verwickelt . In einem Gericht von einem Bischof und einem Lauf Vertreter des Kaisers, und in Gegenwart von Gregory, Abt Ingoald behauptete von Farfa , dass die fränkischen Kaiser ihnen die Länder gewährt hatte, und dass Päpste Hadrian I. und Leo III hatte das Land in Besitz genommen illegal. Der kaiserliche Vertreter entschied zugunsten der Abtei, dass die Ländereien an das Kloster zurückgegeben werden sollten. Obwohl Gregory sich weigerte, das Urteil zu akzeptieren, gibt es keine Beweise dafür, dass es ihm gelungen ist, die Entscheidung aufzuheben.