Ernest blev gift med Castella Bertelsen den 11 dec. 1912 i Manti, Sanpete, Utah, USA. Castella (datter af Anne Else Lauridsen) blev født den 5 sep. 1891 i Ephraim, Sanpete, Utah, USA; døde den 1 jul. 1954 i Ephraim, Sanpete, Utah, USA; blev begravet den 6 jul. 1954 i Ephraim, Sanpete, Utah, USA. [Gruppeskema] [Familietavle]

1. Shirley Rae Nielson blev født den 11 apr. 1926 i Ephraim, Sanpete, Utah, USA; døde den 4 mar. 2016 i Grand Junction, Mesa, Colorado, USA.
2. Doris Elaine Nielson blev født den 22 mar. 1923 i Ephraim, Sanpete, Utah, USA; døde den 16 maj 2013; blev begravet i Ephraim, Sanpete, Utah, USA.
3. Stella Veone Nielson blev født den 3 okt. 1915 i Ephraim, Sanpete, Utah, USA; døde den 17 apr. 1993; blev begravet i Salt Lake City, Salt Lake, Utah, USA.
4. Vertis Roy Nielson blev født den 23 maj 1913 i Ephraim, Sanpete, Utah, USA; døde den 3 jan. 2002; blev begravet i Ephraim, Sanpete, Utah, USA.
5. Luella Afton Nielson blev født den 4 nov. 1918 i Ephraim, Sanpete, Utah, USA; døde den 3 apr. 2005 i Orem, Utah, Utah, USA; blev begravet den 9 apr. 2005 i Provo, Utah, Utah, USA.