Conocemos el frente porque existen fotografías de la casa de Brown y podemos afirmar que había dos pequeños jardines a ambos lados de la puerta y dos cipreses se alzaban en el espacio que quedaba entre el portón y la entrada.

En esa casa y en esa quinta el Almirante Brown y su familia vivieron los avatares de la guerra de la Independencia y la apoteosis del triunfo, con la victoria naval de Montevideo y la caída de la plaza del mismo nombre.

Allí se prepararon los planes de la famosa campaña corsaria del Pacífico de 1815/1817, en la que salió al mar contra las órdenes del gobierno y que pagó con un largo juicio, su pase a retiro y la retención de los bienes, incluida su casa, que dispuso el Gobierno, hasta fines de 1821 en que todo le fue restituido, no sin pleitos ni sinsabores.

Fue por ello que Brown no habitó su casa desde 1815 hasta 1821 y su familia no lo hizo desde 1817 hasta el año de restitución de los bienes.

A fines de 1813 trajo a su familia de Inglaterra, integrada por su esposa inglesa, su primogénita Eliza nacida el 31 de octubre de 1810 y su hijo Guillermo, nacido el 13 de febrero de 1812, ambos también ingleses de nacimiento.

A principios de 1814 Brown ya tenía casa y quinta; la primera estaba situada en lo que hoy es Av. Martín García 584, al lado de la sucursal del Banco de la Ciudad de Buenos Aires, y la quinta tenía 350 varas de frente por 315 de fondo. Vivió allí desde 1813 hasta 1815 y de 1821 hasta su muerte acaecida el 3 de marzo de 1857.

La casa era de dos pisos de planta rectangular y a su frente, sobre dos columnas se levantaba un balconcito en la ventana central del piso superior. Era sencilla y a su frente tenía un portón que por sus dos lados tenía una reja de hierro alternada con soportes de mampostería.

Cuando su adversario de la guerra contra el imperio del Brasil, el Almirante Juan Pascual Grenfell, lo visitó se extrañó verlo emplearse en tan humildes menesteres y le expresó lo mal que pagaban las repúblicas a sus abnegados servidores.