James blev gift med Abigail Draper Lyon den 22 okt. 1809. Abigail (datter af Benjamin Lyon og Rachel Stetson) blev født den 22 sep. 1772; døde den 8 feb. 1820 i Great Bend, Pennsylvania. [Gruppeskema] [Familietavle]

1. James T White blev født i 1816 i Roxburghshire, Scotland, United Kingdom; døde den 13 maj 1895 i Boston, Suffolk, Massachusetts, USA.
2. Elizabeth White blev født i sep. 1818 i Massachusetts, USA; døde den 14 jul. 1903 i Boston, Suffolk, Massachusetts, USA; blev begravet i 1903 i Jamaica Plain, Suffolk, Massachusetts, United States of America.
3. William Henry White blev født i 1821 i West Roxbury, Boston, Suffolk, Massachusetts, United States; døde den 22 okt. 1904 i Medfield, Suffolk, Massachusetts, United States; blev begravet i 1904 i Boston, Suffolk, Massachusetts, USA.
4. Harriet M White blev født i apr. 1828 i Roxbury, Boston, Suffolk, Massachusetts, United States; døde den 5 jan. 1906 i Scituate, Scituate, Plymouth, Massachusetts, United States.