爱因斯坦这个名字是与“相对论”和“天才”联系在一起的。在人们的印象中，他是一个充满灵感、圣洁而又温和的人。然而，金无足赤，人无完人。一本叫《爱因斯坦的私生活》的书则通过他两次婚姻的失败，披露了他性格的另一面。

当年，爱因斯坦认识他的第一任妻子米列娃时，充满了激情与浪漫。当时米列娃就读于德国一家综合中等技术学校。人们这样形容这位来自伏伊伏丁那省的塞尔维亚姑娘：“可爱、羞涩、善良、简朴和谦虚。”但她的同龄人却认为，她缺乏外表的吸引力，她的朋友说她：“是一位很好的姑娘，就是过于认真和安静。看着她，很难想到她很聪明。”她们还这样形容她：“瘦小、柔弱和平凡”，而且她还有一点儿跛。

而爱因斯坦则正相反，是一位英俊的年轻人。他端正的五官，浓密漆黑的头发和热情的眼睛。别看他对一切形式的体育锻炼不感兴趣，却从青年到中年都肌肉强健、体力充沛。

他们之间的友谊慢慢变成了浪漫的爱恋。这使爱因斯坦的熟人感到吃惊。一次他的同事暗示米列娃的跛说：“我永远不会和健康不是最好的女人结婚”。而爱因斯坦平静地说：“但她有多么美妙的声音。”

人们认为，爱因斯坦是因为米列娃的精神力量和聪慧而迷恋她，忽略了她的外表。爱因斯坦在生活方面十分笨拙。而米列娃比他大3岁，且很早就学会了做家务事。她在大学时就会做可口的饭菜，并能自己裁剪衣服，因此能够在生活中无微不至地照顾爱因斯坦。

他们的关系自开始就遭到爱因斯坦母亲波利娜的反对。当她明白，这一次儿子是非常认真时，便表现出明显的敌意。她有着对塞尔维亚人的固有成见，她不相信米列娃，不仅因为米列娃比爱因斯坦大三岁，更因为她身有残疾，她认为米列娃想把自己的儿子推入泥潭，更何况他们当时同居是有失体统的。可是家里的反对适得其反，更加加深了爱因斯坦对米列娃的爱恋。很快，米列娃就发现自己怀孕了。

在那个年代，对于一个年轻的女子来说这实在不是一件光彩的事。她远离父母，还有两个月就要考试了，对于将来还有许多现实问题需要考虑。但米列娃崇拜和爱恋爱因斯坦，而且为怀了他的孩子而自豪。当时爱因斯坦去了苏黎士，米列娃写信将此事通知他。爱因斯坦回信表达了自己的喜悦，但他表示还没有做父亲的准备。他诉说了不久前刊登的一篇物理学论文是如何鼓舞着他，表示而后才能考虑与米列娃的将来。

米列娃1902年年初生下了一个女儿。由于难产，她身体极其虚弱，连给爱因斯坦写信的力气都没有了。关于这个孩子没有任何出生记录，人们认为她出生在远离瑞士的地方，也可能就在米列娃父母的家里。米列娃的父亲写信将这事通知了爱因斯坦。很快，爱因斯坦在回信中表达了对情人的同情，并在信中提出了一串问题：女孩儿健康吗?胃口好不好?是谁在喂养她?然而没有任何资料表明爱因斯坦一生中见过女儿丽赛尔哪怕一次。他似乎更关心怎样从父亲的责任中解脱出来。此事他没有对任何人谈过，几个月后，女孩便从他的生活中消失了，而且至今不知是死是活，如果活着应该是90多岁了。

爱因斯坦的收入微薄可能是不管女儿的原因，虽然这并不影响爱因斯坦与米列娃订婚后住到一起。如果米列娃生的是儿子，爱因斯坦也许会是另一个态度。也不排除是因为女孩儿病后有了残疾才被遗弃，但这些都只是猜测而已。

那些认识米列娃和爱因斯坦第二位妻子爱丽莎的人，都认为后者更有吸引力。浅色的头发、蓝色的眼睛、丰满、华贵。不过她的近视常闹出笑话，头发看上去也乱糟糟。凌乱的头发还不是使人联想到她与爱因斯坦是同乡的唯一特点，他们都长着大鼻子，凸起的前额和坚定的下巴。在他们结婚16年后，一位拜访者发现两个人惊人地相像。

孩子的出世，改变了两个人的关系。一位传记作者引用爱因斯坦的儿子汉斯的话说：“女儿一事成为他们婚姻中的一个疙瘩。”米列娃时常反省和自责。可见，她并不想与女儿分离，认为是爱因斯坦逼她走了这一步。晚年时爱因斯坦将米列娃描绘成一个沉默寡言、疑心病重和有忧郁倾向的人。

后来，爱因斯坦认识了爱丽莎，这是他的第二位妻子。那些认识米列娃和爱因斯坦第二位妻子爱丽莎的人，都认为后者更有吸引力。浅色的头发、蓝色的眼睛、丰满、华贵。不过她的近视常闹出笑话，头发看上去也乱糟糟。凌乱的头发还不是使人联想到她与爱因斯坦是同乡的唯一特点，他们都长着大鼻子，凸起的前额和坚定的下巴。在他们结婚16年后，一位拜访者发现两个人惊人地相像：身材都是矮而结实，都穿着长裤和高领衫。

爱因斯坦与爱丽莎在一起感到轻松。他与爱丽莎的关系是1912年复活节假期的最后一周开始的。为了不引起米列娃的怀疑，爱丽莎把信寄到爱因斯坦的办公室，后者看后就毁掉了。而她却认真保存他的每一封回信。在信中，爱因斯坦表达了其内心由于爱情的不满足而备受痛苦，抱怨没有机会“爱，完全意义地爱”那个一见倾心的女性。

汉斯回忆说，每天早上父亲都是一个人懒洋洋地躺在床上，晚上则和朋友们在一起弹琴，常去朋友家作客。朋友的女儿里斯贝特后来成了米列娃的好友。她曾在日记中写道：米列娃沉默而忧郁，她被风湿性关节炎折磨，连行走都很困难。但她的问题并不来自于健康，而在于爱因斯坦一心扑在另外一个女人身上，以及他终身探讨的物理学上，无暇顾家。

1913年7月，有人为爱因斯坦推荐了一份很好的工作，如果他同意，就会成为普鲁士科学院成员，得到柏林大学的讲台和物理学院校长的位子，不会有人要求他授课，他可以完全地献身科学。爱因斯坦接受了。米列娃由于儿子同时得了流感、百日咳和中耳炎而必须去洛迦诺。

妻子推迟了行期，爱因斯坦有更多的机会与情人呆在一起。米列娃是在1914年的4月中旬到柏林的。有一段时间他们维持着表面上正常的家庭生活。米列娃常感到不幸福，从而异常思念苏黎士。柏林的生活使她更加忧郁和意志消沉，每天忙着家务琐事，没有一个朋友。1914年暑假，她带着儿子们回了苏黎士。儿子们还以为，假期过后他们就会回德国，而事实上，这只是他们父母婚姻结束的开始，米列娃此后再也没有回到爱因斯坦身边。

米列娃离开后，爱因斯坦和爱丽莎结了婚。但一段时间之后，他们的婚姻亦未能维持下去。爱因斯坦的两次婚姻都以失败告终。