最早把这两座山看成就是塔身的，是康熙皇帝。
康熙四十二年（1903），翰林院编修汪灏随康熙皇帝来热河，他写的《随銮纪恩》有这样的记录：
七月十六日 驾发喀喇河屯， 幸热河上营。
行十余里，雾忽薄雨，巨石屾立高山之巅，丰上锐下。其一石连透三罅，上如目，中如星，下如圭窦，一石稍瘦削，若老人旁立，石上又冠以小石峰，飘飘欲动。横穿罅中，不异玲珑浮图。
时驾巳前往，留中使指示日:“此双塔也。
这是清代笔记里第一次关于双塔山的记载，山顶没有现在的特别完整的小塔的形状。
康熙皇帝带着一众随从，北出塞外，虽然有重要的政治意义，但表现形式还是游山玩水，他给双塔命名了，于是大臣们就写诗歌颂。
这一年，随康熙皇帝来热河的还有诗人查慎行、蒋廷锡，他们都为双塔山写了长诗。
其中，蒋廷锡的《双塔峰歌》有这样的句子：
山回溪转双塔隐，行人马上回头看。
生平足迹探奇秘，饱眼山川借帝赐。
愧无米芾画山水，写出双峰挂帆势。
蒋廷锡没有米芾的本领，画不出双塔山的气势，乾隆皇帝画出来了。
