主要有主坝、副坝、溢洪道、输水隧洞、进水问、放水闸等工程。主坝为粘土斜墙砂砾料土坝，东琪龙山，西抵凤山，坝长1038米。最大坝高21米，坝顶宽5米，坝顶高程66米，坝体填筑量144万立方米。防渗槽大部做在河床以下6米深的粘性土层上，局部槽深达14米左右。
副坝共3座，均为粘土均质坝。其中1号副坝处，原为由怀柔县城去沙峪川的跻口，最大坝高10米，坝长120米；2号副坝处，原为去钓鱼台路口，最大坝高3.5米，坝长220米；3号副坝最大坝高22米，坝长80米。
主坝东端龙山西侧脚下设有东溢洪道，1958年建成后，1964年进行了改建，装有两扇7.4米X4.3米的弧形钢闸门，堰顶高程58米，最大泄洪量401立方米每秒。1990年又进行了第二次改建。西溢洪道建于1964年，位于主坝西端，开挖全长750米，设两扇12米X6.3米弧形闸门，最大泄洪量890立方米每秒。
主坝西侧，建有输水隧洞。洞径2.5米，洞长101米，进口设有水塔，装有2.5米X2.5米闸门，进日底板高程为52米，最大泄洪量为52立方米每秒，为灌溉和泄洪两用设施。

1958年2月下旬，怀柔水库由河北省、北京市共同组织了施工指挥部。施工民工来自怀柔、顺义、通县、三河、香河、大厂、大兴、因安、蓟县、平谷、密云等12个县区的3477个农业社，共63273人。此外参加施工劳动的还有工人455人，人民解放军指战员5000人，学生1181人。
1958年2月18日决定修建怀柔水库。3月9日，在大坝东溢洪道外侧举行了开工典礼。施工以民办公助的形式，数万民工，自带手推车4.08万辆，抬筐2.54万付，锨镐4.98万把，马车1023辆，大牲畜1943头，苇席7.6万领，绳子12.2万公斤，国家每天每人只补助伙食费0.4元。所有民工100多天不换班，上坝的土石料，依靠人力手推车、马车日夜奋战来完成，碾压工具仅1台1.75吨的夯板机、66台碾压机，200个碌碡和少数拖拉机、推土机、石夯等。二座副坝由于工力不足，延至后期施工。其中3号副坝坝址，担负着施丁导流任务，直到6月28日才开始断流施工。当时正值雨季，至7月初，水库水位迅涨，尚未完工的二号副坝尚不能
工程初建时的工地场景，抵御洪水，导流口距县城只200米，县城及下游村庄处于危险之中。广大干部群众奋战一界昼夜，用4万多条草袋在3号副坝处建起一道临时拦洪坝，第一次抵御了建库以来的洪水袭击。进水闸、输水隧洞分别于7月7日与7月15日完工，溢洪道与消力池下程至9月16日方告结束。此次修建工程共完成土石、混凝土等工程量约200万立方米，总用工约600万工日，实际投资约480万元。施工中，涌现出许多动人的事迹。1958年6月26日，周恩来总理来施工现场视察，深入劳动大军中慰问民工，并亲笔题写了“怀柔水库”四个大字。1958年7月20日，大坝完工，举行了落成典礼，国务院副总理薄一波出席了大会，并为落成典礼剪彩。