萨缪尔·摩尔斯生于麻省查尔斯镇，是美国地理学之父、兼基督教公理会牧师迦地大摩尔斯及Elizabeth Ann Breese Morse的长子。迦地大摩尔斯是一个加尔文主义的传道者，也是一个美国联邦党的拥护者。他不但保存了清教徒严格遵守安息日的传统，也相信强大的中央政府以英语建立的联盟。他相信联邦内的教育能够把加尔文主义的美德、道德及祷告灌输给他的儿子。
萨缪尔·摩尔斯的绘画风格很明显的在他的绘画《降落的朝圣者》（Landing of the Pilgrims）表现：简单的衣着和朴素的面部特征。美南北战争时期联邦党拥护者的心理特征，加尔文主义教徒们从英格兰带到美国的宗教思想，和政府以此不断地连接两国家。更重要的是，这幅独特的作品吸引了著名艺术家华盛顿·奥尔斯顿（Washington Allston），奥尔斯顿想让摩尔斯去陪同自己到英格兰去见艺术家本杰明·维斯特（Benjamin West）。摩尔斯在吕迪亚待了三年。在1811年6月14日，和奥尔斯顿乘坐Lydia出航英格兰。