Nel 1662 muore l’ultimo figlio di Francesca senza eredi. La proprietà viene donata all’Istituto fiorentino dei Poveri Vergognosi che immediatamente la vendono al nobile fiorentino Vincenzo Viviani (Firenze 5 Aprile 1622 – 22 settembre 1703). Vincenzo Viviani amplia i possessi di Empoli con acquisti di terreni vicini fino al 1696.

Vincenzo Viviani è il matematico che fu discepolo di Galileo Galilei e di Evangelista Torricelli. 
Morto il Viviani senza eredi diretti i suoi beni, compresi quelli empolesi, confluiranno nelle mani di Giovanbattista Clemente Nelli figlio di un amico.

L’unica condizione per ottenere l’eredità era quella di realizzare un monumento degno del grande maestro Galileo Galilei in Santa Croce. Il monumento fu realizzato di fronte alla tomba di Michelangelo.
Il Nelli muore nel 1793 lasciando i suoi beni, compresi quelli empolesi, ai figli.

Gli eredi del Nelli alienarono gran parte delle proprietà del padre compresa la Villa di Loro.
Nel 1849 i tenimenti di Loro furono acquistati dal nobiluomo Mariano Bini di Empoli. 

La famiglia Bini mantiene la proprietà fino all’anno 1930 quando Giuseppina Bini sposa il nobiluomo fiorentino di origini francesi Giuseppe De Plaisant e riceve in dote la Fattoria e la Villa di Loro.
Giuseppe De Plaisant era proprietario della Fattoria di Martignana prossima ai terreni della fattoria di Loro. Il matrimonio tra Giuseppe de Plaisant e Giuseppina Bini consentì l’unione delle due aziende con la creazione di una fattoria di oltre 150 ettari e con il centro aziendale proprio alla Villa di Loro.
I coniugi De Plaisant negli anni 70 del secolo scorso hanno lasciato la Fattoria di Loro alla figlia Limbania. Limbania ha curato l’attività agricola e la Villa fino alla sua morte.

Dal 2018 la proprietà della Fattoria di Loro è passata alla famiglia Fabbrizzi che ha iniziato un’importante opera di ristrutturazione conservativa della Villa storica e del parco circostante al fine di utilizzarla come location di eventi di prestigio.