15世纪末，由欧洲通往美洲的大西洋航道被哥伦布开辟，欧洲人纷纷远涉重洋来到美洲。17世纪初，首批英国移民到达北美，在那里开拓自己的“伊甸园”——新英格兰。移民中有100多名清教徒，曾在牛津和剑桥大学受过古典式的高等教育，为了让他们的子孙后代在新的家园也能够受到这种教育，他们于1636年在马萨诸塞州的查尔斯河畔建立了美国历史上第一所学府——哈佛学院。

1636年10月28日，马萨诸塞海湾殖民地议会通过决议，决定仿照英国剑桥大学，筹建一所高等学府，每年拨款400英镑；学校初名“新学院（New College）”或“新市民学院（the college at New Towne）”，成为全美第一所高等教育机构。

1638年9月14日，牧师兼伊曼纽尔学院院长的J．哈佛病逝，他把一半的积蓄720英镑和400余册图书捐赠给这所学校。

同年正式开学，第一届学生共9名。

1639年3月13日，为感谢以及纪念约翰·哈佛牧师在创立初期对学院的慷慨捐助，马萨诸塞海湾殖民地议会通过决议，将学校更名为“哈佛学院”。

1650年哈佛学院获准成立法人机构。

1693年，北美第二所学府威廉·玛丽学院诞生；1701年，耶鲁学院（耶鲁大学的第一所学院）成立。这两所学院的出现，使哈佛学院有了伙伴和竞争的对手；受英国古老大学传统影响较深的哈佛学院，面临着强有力的挑战。

哈佛学院最初模仿英国的大学模式展开办学，但清教徒的哲学思想却获得了保留。在很长一段时间里，学院的领导者都由神职人员担任，直到1708年第一个非清教成员的校长上任，哈佛才从清教思想的管制中独立出来。

1721年学校正式设立神学教授职位。

1727年，为顺应北美产业革命的势头兴起、新兴的工商业对应用科学的需求，哈佛学院设立了数学和自然科学的教授职位。数学和自然科学开设后，哈佛学院还置备了一批科学仪器和设备，教授们用实验的方法，向学生讲授天文、物理和化学知识；在数学领域内，设立了测量术和航海术等技术学科。