Durante su vida fue relacionado con numerosas mujeres como Elsa Astete, Estela Canto, Silvina Bullrich, María Esther Vásquez o María Kodama.
Sin embargo, el genial literato tuvo siempre una gran frustración relacionada con el sexo. Se cuenta que siendo adolescente su padre le llevó a un prostíbulo de Ginebra para perder la virginidad y la experiencia le marcó durante toda la vida.
Tanto como para que su asistenta Epifanía Úveda de Robledo asegurara en 2002 en una revista que «el señor Borges murió virgen.
Estuvo muy enamorado de Estela Canto, la adoraba y guardaba su fotografía. Fue su novia desde los 17 años, pero nunca tuvieron relaciones sexuales. El pobrecillo no las tuvo nunca con ninguna mujer. El sexo era algo que no le interesaba, le tenía pánico.
De hecho, esta mujer también aseguro que su última mujer, María Kodama, "e maltrataba y le gritaba. Un día le empujó contra la puerta del ascensor".