James blev gift med Harriet Wight Phelps den 25 dec. 1848 i Ferryville, Pottawattamie, Iowa, United States. Harriet (datter af Morris Charles Phelps og Laura Clark) blev født den 7 apr. 1832 i Independence, Jackson, Missouri, USA; døde den 19 mar. 1893 i Montpelier, Bear Lake, Idaho, USA; blev begravet i Montpelier, Bear Lake, Idaho, USA. [Gruppeskema] [Familietavle]

1. Joseph Hyrum Holmes blev født den 7 mar. 1867 i Montpelier, Bear Lake, Idaho, USA; døde den 16 jan. 1948 i Montpelier, Bear Lake, Idaho, USA; blev begravet i Montpelier, Bear Lake County, Idaho, United States of America.
2. Mary Paulina Holmes blev født den 6 apr. 1862 i Alpine, Utah, Utah, USA; døde den 6 feb. 1917.
3. Harriet Ellen Holmes blev født den 6 mar. 1857 i Alpine, Utah, Utah, USA; døde den 28 jan. 1935 i Montpelier, Bear Lake, Idaho, USA.
4. Martha Jane Holmes blev født den 20 maj 1859 i Alpine, Utah, Utah, USA; døde den 1 sep. 1923 i Soda Springs, Caribou, Idaho, USA; blev begravet i Montpelier, Bear Lake County, Idaho, United States of America.
5. James Merrill Holmes blev født den 17 jan. 1855 i Alpine, Utah, Utah, USA; døde den 10 jul. 1933.
6. Susan Effie Holmes blev født den 12 aug. 1871 i Montpelier, Bear Lake, Idaho, USA; døde den 26 jul. 1960 i Los Angeles, Los Angeles, California, USA.
7. Morris Charles Holmes blev født den 18 okt. 1849 i Council Bluffs, Pottawattamie, Iowa, USA; døde den 27 feb. 1907 i Montpelier, Bear Lake, Idaho, USA; blev begravet i Montpelier, Bear Lake County, Idaho, United States of America.
8. Laura Holmes blev født den 15 jun. 1852 i Alpine, Utah, Utah, USA; døde den 27 feb. 1917 i Union, Union, Oregon, USA; blev begravet i Union, Union, Oregon, USA.