James blev gift med Mary Kate Stringfellow den 28 dec. 1879 i Hood, Texas, USA. Mary (datter af Pleasant Masten Stringfellow og Martha Washington Garrison) blev født den 6 dec. 1861 i Arkansas, USA; døde den 14 feb. 1942 i Hood, Texas, United States; blev begravet i Granbury, Hood, Texas, USA. [Gruppeskema] [Familietavle]

1. William Earl Doyle blev født den 14 dec. 1882 i Granbury, Hood, Texas, USA; døde den 16 jan. 1916 i Granbury, Hood, Texas, USA; blev begravet i Granbury, Hood, Texas, USA.
2. Mattie Trenholm Doyle blev født i jan. 1890 i Texas, USA; døde den 18 jun. 1977 i Tarrant, Texas, USA; blev begravet i Granbury, Hood, Texas, USA.
3. Kathleen L. Doyle blev født den 8 okt. 1892 i Texas, USA; døde den 8 feb. 1988.