爱因斯坦小时候并不活泼，三岁多还不会讲话，父母很担心他是哑巴，带他去给医生检查。还好小爱因斯坦不是哑巴可是直到九岁时讲话还不很通畅，所讲的每一句话都必须经过吃力但认真的思考。小爱因斯坦是一个诚实的孩子，从不做违心的或骗人的事。为此，他受到同学们的讥笑，给他起了一个绰号叫“诚实的约翰”。普通孩子喜欢玩带有竞争性的游戏，可是他却不喜欢参加。孩子喜欢打仗的游戏，喜欢看士兵操练，但是他却从小到大不喜欢任何和军事有关的东西。他是一个不想看到人类互相残杀的和平主义者。
爱因斯坦家的住房周围有花园，他经常一个人长时间地蹲在花园角落的灌木丛里，用手抚摩着小叶片或者凝视着匆匆跑动的蚂蚁。他很小就喜欢冥想，想了解大自然的奥秘。一次，在依萨尔河岸野餐时，一位亲戚说，小爱因斯坦很严肃，当其他的孩子都在互相玩耍、逗乐时，他却独自坐着看湖的对岸。母亲玻琳深情的为自己的孩子辩护：“他是沉静的，因为他在思索。等着吧，总有一天他会成为一个教授！”那位亲戚感到可笑，但也理解母亲的心情。教授！在人们的心目中，只有那些聪敏的人才有可能得到这个荣誉的称号，这个连话都说不好的笨孩子能成为一个教授吗？
在四、五岁时，爱因斯坦有一次卧病在床，父亲送给他一个罗盘。当他发现指南针不断地指着固定的方向时，感到非常惊奇，觉得一定有什么东西深深地隐藏在这现象后面。他一连几天很高兴的玩这罗盘，还纠缠着父亲和雅各布叔叔问了一连串问题。尽管他连“磁”这个词都说不好，但他却顽固地想要知道指南针为什么能指南。这种深刻和持久的印象，爱因斯坦直到六十七岁还能鲜明的回忆出来。
爱因斯坦在念小学和中学时，一般功课属平常，唯有数学成绩远在全班同学之上。由于他举止缓慢，不爱同人交往，老师和同学都不喜欢他。教他希腊文和拉丁文的老师对他是那么厌恶，曾经公开骂他：“爱因斯坦，你长大后肯定不会成器。”而且因为怕他在课堂上会影响其他学生，竟想把他赶出校门。
爱因斯坦的叔叔雅各布在电器工厂里专门负责技术方面的事务，而爱因斯坦的父亲则负责商业的往来。雅各布是一个工程师，自己就非常喜爱数学，当小爱因斯坦来找他问问题时，他总是用很浅显通俗的语言把数学知识介绍给他。
有一天爱因斯坦跑来问叔叔：“什么是代数”？叔叔就这样解释：“在算术中有很多问题不容易解决，要算又很难。而代数是一门’快乐’的数学，能很容易的帮人们解答困难的计算。我们把我们不知道的数叫着X，然后来捕捉它。你把它当作已知道的东西，建立一些关系，最后你就可以容易地得到它了。”然后叔叔给了他一本有代数问题的小册子，爱因斯坦很快就学会了解决里面的问题。
有一次雅各布叔叔给他讲了几何中一个很美丽的定理──毕达哥拉斯定理：任何直角三角形的长边平方一定等于两短边平方的和。叔叔没有告诉他这个定理的证明，但是爱因斯坦在画了许多直角三角形后发现这关系一直成立，感到非常的惊奇。
父亲的生意做得并不好，但却是一个乐观和心地善良的人，家里每星期都有一个晚上要邀请来慕尼黑念书的穷学生吃饭，这样等于是救济他们。其中有一对来自立陶宛的犹太兄弟麦克斯和伯纳德，他们都是学医科的，都喜欢阅读书籍，兴趣广泛。他们被邀请来爱因斯坦家里吃饭，并和羞答答、长着黑头发和棕色眼睛的小爱因斯坦交成了好朋友。
麦克斯可以说是爱因斯坦的“启蒙老师”，他借了一些通俗的自然科学普及读物给他看，看完后就和爱因斯坦讨论，并且再继续提供给他新的读物。麦克斯点燃了爱因斯坦自学的兴趣火花，还不断地辅导他。
麦克斯在爱因斯坦十二岁时给了他一本施皮尔克的平面几何教科书，一下子攫取了爱因斯坦的心灵。爱因斯坦晚年时回忆这本神圣的小书时说：“这本书里有许多断言，比如，三角形的三个高交于一点，它们本身虽然并不是显而易见的，但是可以很可靠地加以证明，以致任何怀疑似乎都不可能。这种明晰性和可靠性给我造成了一种难以形容的印象。”
这时爱因斯坦又想起了毕达哥拉斯定理，于是想要独立证明这个定理。他花了三个星期最后找到一个方法，就是从直角三角形最长边所面对的顶点作这边的垂直线，于是把三角分成相似三角形，由此很容易证明这个定理。虽然这是一个古老得有二千多年历史的定理，但是爱因斯坦经过一番努力总算得到了结果，他第一次体会到科学发现时的欣喜。
麦克斯每星期来时，都会帮他改一些习题，并且辅导他作一些较难的问题。过不久又引导他学习高等数学，十三岁时他已自学微积分了。当他的同班同学为那些平面几何简单问题和循环分数而皱眉头时，爱因斯坦靠自学已经进入到无穷级数这些美丽神奇的“无穷世界”去了。
很快小爱因斯坦的数学程度超过了读大学的麦克斯，比他大十一岁的医科大学生再也跟不上这个十二、三岁的小孩子了。为了以后有共同谈话的话题，麦克斯开始借哲学书给他看，爱因斯坦在十三岁就能看懂康德的《纯理性批判》。这是一本对许多成人来说都算是枯燥艰深的书。这时候爱因斯坦阅读的书就是数学、物理和许多哲学家的书。他不看小说，唯一的消遣就是拉小提琴。
麦克斯认为他已发现了一个神童，他说：“一个伟大的科学家或哲学家，将从爱因斯坦身上成长起来。”