John blev gift med Elida Vandeburgh Manney i 1838 i Kenosha, Racine, Wisconsin. Elida (datter af John Manney og Elizabeth Collins) blev født den 1 jan. 1802 i Poughkeepsie, Dutchess, New York, USA; døde i 1877 i Chicago, Cook, Illinois, USA. [Gruppeskema] [Familietavle]

1. Philip B. Ayer blev født i 1839 i Haverhill, Essex, Massachusetts, USA; og døde.
2. John M. Ayer blev født i 1845 i Racine, Wisconsin, USA; og døde.
3. George Manney Ayer blev født i mar. 1840 i Kenosha, Kenosha, Wisconsin, USA; døde i 1914 i Harvard, McHenry, Illinois, USA.