Alfonso de Borgia wurde 1378 in La Torreta geboren. La Torreta war damals im Señorío de Torre de Canals (heute aber ein Stadtteil von Canals in Valencia ). Zu dieser Zeit wurde er im Königreich Valencia unter der Krone von Aragon geboren . Er war das älteste Kind von Juan Domingo de Borja y Doncel und Francina Llançol. Seine Schwester Isabel heiratete Jofré Llançol i Escrivà (Sohn von Rodrigo Gil de Borja y Fennolet ) und wurde die Mutter von Pedro Luis de Borja und Papst Alexander VI . Seine andere Schwester Catalina wurde die Mutter von Luis de Milà y de Borja .

Alfonso wurde in der Basilika Santa Maria in Xativa getauft , wo er mit einer Statue zu seinem Andenken geehrt wird.