康熙帝曾说：“朕少时，天禀甚壮，从未知有疾病。”又说：“朕自幼强健，筋力颇佳，能挽十五力弓，发十三握箭，用兵临戎之事，皆所优为。”(《清圣祖实录》卷二七五)这样看来，他不但出身帝王之家，生活条件、教育条件优越，而且自幼身体强健，跟普通百姓相比，实在是有天壤之别。然而，令人想不到的是，康熙大帝的童年生活，竟遭遇了诸多的不幸。康熙帝生来就贵为皇子，他的童年生活，可以说是锦衣玉食，跟普通百姓相比实在是大幸、大大幸、大大大幸。但是康熙帝8年的皇子生活，竟然也遭受了普通人难以想象的8个不幸。
第一个不幸：幼离母亲怀抱。清朝制度，皇子、皇女出生之后，与生身额娘(母亲)分居，由乳母、保姆养育。就是说玄烨出生之后，不仅没有一个同父母居住在一室的家，而且没有和母亲同住在一起。玄烨是独居一处，由乳母、保姆等哺育、照顾，由宫女、太监等服侍、陪伴。他不仅少了父母的抚爱，甚至难得见到母亲和父亲，倒不如普通百姓家的孩子，可与父母一堂，享受家庭欢乐。第二个不幸：宫外孤独避痘。玄烨在两三岁时，出宫避痘(天花)。他为什么要到宫外避痘呢?原来世居山林和草原的满洲人、蒙古人来到中原后，容易感染痘症(天花)，而当时对这种病没有特效药，传染厉害，死亡率高。所以宫廷里也是谈“痘”色变。为了避痘，玄烨从皇宫里搬出，住到皇宫西墙外的一座宅院里。座宅院就在今北长街北口路东，隔筒子河与皇宫相望。人们从西华门出来往北或从神武门出来往西，很快就可以到达那里。这段时间，玄烨小小年纪，身边只有乳母、保姆、宫女、太监照料，长期不能同父母相见。
直到四五岁出痘以后，才搬回皇宫。玄烨童年避痘的宅院，雍正元年(1723年)加以改建，赐名福佑宫，后为宝亲王(弘历)府邸，但未迁入(崇彝《道咸以来朝野杂记》)。弘历即位后，改名福佑寺，为喇嘛庙。现今保存完好。曾供奉于福佑寺的康熙帝神牌.殿恭奉清圣祖仁皇帝大成功德佛牌，东案陈设御制文集，西设宝座。殿额曰“慈容俨在”。大门外有东、西二坊，东曰“佛光普照”，曰“圣德永垂”;西曰“泽流九有”(从街上可以看到)，曰“慈育群生”，都是雍正帝御书(《日下旧闻考》卷四一)。
第三个不幸：家庭关系复杂。玄烨的皇父顺治帝先后娶了19位后妃，其中有满洲人、蒙古人、汉人，家庭关系十分复杂。而皇祖母孝庄太皇太后为皇父先后选了5位姓博尔济吉特氏的蒙古后妃。皇父并不喜欢她们，先废掉第一位皇后(孝庄亲侄女)，又疏远第二位皇后即孝惠章皇后(孝庄亲侄孙女)，并冷落了另3位蒙古妃子。因此，祖母和父亲关系不洽，磕磕碰碰，一时失和。这些都是玄烨亲眼见到、亲耳听到、亲身感受到的。第四个不幸：受到皇父忽视。玄烨从2岁到7岁的6年间，他的皇父顺治帝上演了与董鄂氏的爱情悲喜剧：玄烨2岁时，皇父热恋董鄂氏;3岁时，董鄂氏入宫，不久为皇贵妃;4岁时，董鄂妃生下一个儿子，就是皇四弟，被皇父视为“朕第一子”。预示这位小皇子将来是皇位继承人;5岁时，皇四弟夭折，追封为荣亲王，皇父与庶母董鄂妃悲痛欲绝，神魂颠倒;7岁时，董鄂妃病逝，皇父过度悲伤，寻死觅活，先要自杀，被祖母派人昼夜看着，后要剃发出家，不久又罹患重病。在玄烨成长的6年里，皇父根本无心、也无暇顾及他，没有给予足够的关爱与教育。
第五个不幸：出痘九死一生。玄烨两三岁时就到宫外避痘，四五岁时出天花，没有特效药，发烧，疼痛，烦躁，恐惧，全靠他自身的抵抗能力，和保姆、太监的精心照料，才九死一生，躲过一劫。幼小的年纪，面临过生死的磨难。这是一个多么可怜的童年!第六个不幸：脸上留下麻子。玄烨两三岁时出宫避痘，虽名曰“避痘”，实际上并没有任何科学的预防措施，也没有有效的治疗措施，如果一旦得了天花，半靠自身抵抗力，半靠命运的安排。大约四五岁时，玄烨果然出了天花。这场病灾，使玄烨“脸上有天花留下的痘痕”，就是脸上留下麻子。对于一个普通人来说，脸上长麻子是一种遗憾，也是一种痛苦;对于康熙帝来说，更是一种终身的生理遗憾，也是一种终身的心灵痛苦。
第七个不幸：八岁痛失皇父。玄烨虽然被皇父冷落，但毕竟是有皇父的庇护。但他8岁(7周岁)的时候，刚够现今小学二年级的年龄，年仅24岁的皇父竟然与世长辞。父亲死了，天塌了，祖母和生母痛苦不堪，整个皇宫都笼罩在悲哀的气氛中。玄烨在乾清宫给皇父守灵、默哀、祭拜、哭号。这给幼小的玄烨，造成巨大的心灵打击和精神创伤。第八个不幸：十岁痛丧母亲。玄烨继位的第二年，生母佟氏就病死了，这时康熙帝才10岁(9周岁)，相当于现在小学四年级学生的年龄。佟氏去世后，玄烨昼夜守灵，“擗踊哀号，水浆不御，哭无停声”(《清圣祖实录》卷八)，宫廷近侍，皇室近亲，耳闻目睹，无不感动。一个年龄才9周岁的孩子，两年之间，父母双亡，形影相吊，实在可怜，应当说是人生幼年之最大不幸。这对玄烨来说，是一场天崩的灾难与地解的打击。
总之，玄烨是在充满宫廷悲剧的忧患中度过童年的，他的童年很少享受到家庭亲情和温暖，成为他终生的遗憾。他为自己没有来得及在父母膝下尽孝，没有能够给父母带来更多欢乐而遗憾终生。直到晚年时他还对此耿耿于怀。他说：“世祖章皇帝(顺治帝福临)因朕幼年时，未经出痘，令保姆护视于紫禁城外，父母膝下，未得一日承欢，此朕六十年抱歉之处。”
