我国的水利建设最早可以上朔到上古时期的 “ 大禹治水 ”。 三皇五帝时期，黄河泛滥， 中原地带波涛汹涌， 人民流离失所， 水患给人民带来了无边的灾难。在此背景下，中原华夏族首领 “ 舜 ”任命 “禹”为治水大臣，全权负责治理洪水泛滥的工作。 大禹从他父亲（鲧）先前治水的失败中汲取 教训 ，改变了"堵"的办法，对洪水进行疏导。在工作中曾“三过家门而不入”，共治水13年，圆满完成了治水的大业。

这时，国家还未形成，尚属部落联盟时期。治水的需要处在临时任命阶段。

西周开始，中央设置司空一职，掌管水利、土木工程的事宜。 春秋时期，吴王夫差下令开凿连通长江和淮河之间的运河——邗沟。 沟通了长江、淮河两大河流。战国时期，秦国水工 李冰 父子组织修建的 都江堰 ，是中国建设于古代并使用至今的大型水利工程，被誉为“世界水利文化的鼻祖”。

汉朝时期，不设司空一职，设置 “都水令丞”,掌管全国水利。 南北朝时，复设大司空一职， 主管全国水土行政。

到了隋朝，中央官制划分为 “三省六部制”， 六部是指 吏部 、 户部 、 礼部 、 兵部 、刑部 和 工部，其中 工部 ，掌管着土木、水利工程以及屯田、官府手工业等等。 605年，隋炀帝下令开凿大运河， 这一举措将若干自然河或旧沟连城了一气， 加强了全国南北的沟通， 促进了沿河城市的繁荣与发展，成为中国古代最伟大的工程之一。六部制基本沿袭到清朝末年（期间元朝设大司农仅负责农桑水利事）。

到了近代，新中国成立后，国家设立水利部、住建部，专门负责水利和土木工程的建设。三峡大坝和青藏铁路，先后拔地而起。