承德市区西南30里处，有两颗巨大岩柱南北排开，比肩而立，状似宝塔，峰顶各有砖塔一座，故名双塔山。双塔山陡直而立，高不可攀，近代无人上去过，峰顶砖塔何人、何时、何故所建，不得而知。只是传说契丹人在山顶建塔，乾隆曾登上游玩。
传说，双塔山上的古塔，是1300多年前契丹人建的。如果是契丹人建设的，为什么要在没有路的，直立的高山上建塔呢?这是一个谜。
这两座山峰原本是合为一体的，为一峰，在后来因为自然风化等等原因这座山峰竟然分裂了，也就成为了现在看到的双塔山了。也正因为如此啊，现在想单纯的靠人力是没有办法攀登上去的，因为连一条登山的路都找不着!
清朝的皇帝对这个双塔山也充满好奇，清朝的康熙、乾隆、嘉庆皇帝以及文武名臣曾多次登临，并留下遗篇。 看来，双塔山的魅力不小啊!双塔山双峰陡直而立，巍峨壮观。南塔两层塔身上下用了三道铁箍加固。大清乾隆皇帝大概和我们爱好者相似，也想弄清峰顶古塔的详情。乾隆爷可以委派部下建梯登塔。
我们可以看到，双塔山两座山峰高低大体相同，北峰粗大，北峰高约40米，周长74米。南峰小些，上粗下细，周长34米。
1997年曾修建观测铁塔观察峰顶，砖塔座北朝南，南峰塔高约2米，四方形。北峰砖塔，高5米多，四方形，边长2米多，塔四角置木据，有铁棍挑出，上挂铜铃。 南塔东、西、南三面墙是青砖压缝，北墙齐缝直茬。
1998年，双塔山风景区建成后，在紧挨着两座山峰的南侧，立起了一座钢铁的螺旋式铁梯子，可攀登与塔相望，被人戏称“三塔山”。曾经发生不法分子利用铁塔登顶盗窃文物;由于铁塔破坏了景观，被曝光后于2002年拆除。
民间有传说，乾隆皇帝想亲自上双塔峰去看个究竟，命人搭建云梯。乾隆上去之后，他看到小庙里有神龛、香炉。庙前有两畦韭菜。香炉中还香烟缭绕，可找遍了整个庙宇不见一人。乾隆见石几上摆着一部旧书，拿起翻了翻，一个字也不认识，然后揪了几根韭菜叶就下来了。当晚回到避暑山庄，做了个梦。有位白发老人从天而降，责问他为什么擅闯仙地，还向他讨还灵芝草。乾隆说，我没拿灵芝草，只拿了几根韭菜叶。
老人问他：陛下登双塔山，都看到了什么?乾隆照实作了回答。老头说：旧书是天书，草鞋是登云靴，香炉是生云坛，那韭菜就是灵芝草。
原来老人就是双塔山上的仙人。第二天清早，乾隆想再登梯上去取宝，可是梯子早让大风给刮倒了。他命人重搭云梯，可再怎么搭也搭不起来了，只好作罢。
传说二：
古时候承德一带是一片大海，岸边住着一家王姓兄弟俩，打鱼为生。老大娶了媳妇，老二也有了情人，日子过得很红火。
一天老二进山打柴跌伤了腿，从此不能干重活。嫂子渐渐对老二厌气起来，老二不忍羞辱;就在一个狂风骤起的夜里，坐了条船砍断缆绳，任其漂流死活第黎明，风平浪静，老二漂流到两个石礁中间，见一个姑娘正在拜佛，旁边放着渔网、镐头，还有一包菜籽。近前一看，姑娘正是自己梦寐以求的情人，两人相见若悲若喜，痛哭一场。
姑娘说，昨夜见一个大旋风把你家房子卷起，无影无踪，自己也就只身跳海，到阴间同你成亲。不料黎明自己漂到这个礁岛上，刚才正是为你祈祷，求佛保佑九死一生。于是两人就在此成家，……有情人终成眷属。他们就住在北礁的庙里，打鱼种菜度日，南礁的小庙当仓库。
过了许多许多年，地壳变迁，这一带海水退去，成了陆地，两个石礁就是现在的双塔山。上去之后，他看到小庙里有神龛、石几、香炉、一个字也不认识。石几下放一双破草鞋，庙前有两畦韭菜。双塔山为承德名山之一，附近风光秀丽，滦河水从后山婉蜒东流，山间花树葱茏，山下原有石马、石凳、石洞等胜景。山峦奇秀，怪石峥嵘，现已辟为游览点。
双塔山古塔最终确认为辽塔的依据，据说是存于避暑山庄从双塔山掉下的一块石片。据说石片有花纹，根据石片上的佛像花纹，背光图案确认为辽代遗物，从而推断双塔为辽代以前所建。