Benjamin blev gift med Lydia Hoyt Ellsworth i 1847. Lydia (datter af John Ellsworth og Lydia Smith) blev født i sep. 1821 i Wentworth, Grafton, New Hampshire, USA; døde den 9 aug. 1905 i Watertown, Middlesex, Massachusetts, USA. [Gruppeskema] [Familietavle]

1. George Washington Brown blev født den 19 dec. 1851 i Watertown, Middlesex, Massachusetts, USA; døde den 4 apr. 1884 i Boston, Suffolk, Massachusetts, USA.
2. Ellen Francis "Nellie" Brown blev født den 2 mar. 1855 i Watertown, Middlesex, Massachusetts, USA; døde den 21 sep. 1899 i Boston, Suffolk, Massachusetts, USA.
3. Alonzo Gustavus Brown blev født den 29 jul. 1851 i Watertown, Middlesex, Massachusetts, USA; døde den 11 sep. 1851 i Watertown, Middlesex, Massachusetts, USA.
4. Harriet Elma "Hattie" Brown blev født den 25 okt. 1848 i Watertown, Middlesex, Massachusetts, USA; døde den 25 mar. 1916 i Watertown, Middlesex, Massachusetts, USA; blev begravet i Common Street Cemetery, Watertown, Middlesex, Massachusetts, USA.
5. Charles Francis Adams Brown blev født den 2 jul. 1860 i Watertown, Middlesex, Massachusetts, USA; døde den 17 okt. 1916 i Boston, Suffolk, Massachusetts, USA.
6. Emma Adelaide Brown blev født den 9 maj 1853 i Watertown, Middlesex, Massachusetts, USA; døde den 1 jan. 1925; blev begravet i Common Street Cemetery, Watertown, Middlesex, Massachusetts, USA.
7. Benjamin Wesley Brown blev født den 3 jul. 1857 i Watertown, Middlesex, Massachusetts, USA; døde den 21 feb. 1918 i Brookline, Norfolk, Massachusetts, USA; blev begravet den 24 feb. 1918 i Mount Auburn Cemetery, Cambridge, Middlesex, Massachusetts, USA.