Der Gesundheitszustand von Papst Gregor hatte sich verschlechtert, nachdem er Lyon im April 1275 verlassen hatte. Er litt an einem Leistenbruch und musste auf dem Rückweg nach Rom häufig anhalten. Er verließ Vienne kurz nach dem 30. September 1275 und traf am 6. Oktober 1275 in Lausanne ein. In Lausanne traf er mit dem gewählten Kaiser Rudolph, dem König der Römer, zusammen und legte am 20. Oktober 1275 seinen Treueid ab. Am Dienstag, 12. November 1275, war er in Mailand. Seine Gruppe erreichte Reggio Aemilia am 5. Dezember 1275, und sie befanden sich am 11. Dezember 1275 in Bologna. Ein starker Temperaturanstieg und das Vorhandensein des Leistenbruchs zwangen ihn, rechtzeitig zu Weihnachten 1275 in Arezzo Halt zu machen. Sein Zustand verschlechterte sich rapide im Anschluss daran und führte zu seinem Tod am 10. Januar 1276 in Arezzo . Er ist in der Kathedrale von Arezzo begraben.

Sein Nachfolger wurde der Dominikaner Petrus von Tarantaise von Savoyen ( Papst Innozenz V. ), ein enger Mitarbeiter des Papstes während seines gesamten Pontifikats.