1200萬年前，以色列突發的天火使當地特有的一種石灰巖和油頁巖在燃燒中發生化學反應，形成了水泥化合物的天然沉積物。上世紀60-70年代，這些沉積物被以色列考古學家發現并確認。有考古學家相信，這些偶然誕生的天然水泥，被后來出現的古人類發現并使用。
5000多年前（公元3000多年前），古埃及人已經開始用泥漿拌稻草脫坯蓋房子。他們還在大金字塔的建設中使用石膏和石灰砂漿。
同一時期，中國人也開始用水泥類材料把竹子粘合起來造船。還在長城的建設中使用水泥類材料。
3000多年前（公元1000多年前），古希臘人、克里特人和塞浦路斯人使用的石灰砂漿強度已經很高了，甚至比之后的羅馬人使用的砂漿還要高。
2300多年前（公元300多年前），巴比倫人和敘利亞人開始使用天然瀝青作為粘合劑來建造磚石建筑。
距今2300年到1700年間（公元前300年到公元476年），古羅馬人用產于意大利維蘇威火山（Mt. Vesuvius)附近波特茲瓦利（Pozzuoli）的火山灰修建亞壁古道（Appian Way）、羅馬的浴池、斗獸場（Coliseum）和帕特農神廟（Pantheon in Rome）以及法國南部的嘉德大橋的水管。他們使用石灰作為水泥基材料，通常是1份石灰加4份沙子或2份火山灰加1份石灰。為了提高水泥的性能，他們還在混合物中添加動物的脂肪、乳汁和血漿等作為外加劑。這些偉大的建筑，如帕特農神廟等依然聳立在羅馬街頭，每天數以萬計的游客來此頂禮膜拜。
中國長城在建筑過程中也大量使用了水泥類材料，并在其中添加糯米漿等有機類外加劑以提高粘合強度和耐久性。
在黑暗的中世紀，天然水泥類材料的質量越來越差，煅燒石灰、火山灰的技術一度消失。這段時間的建筑也見不到使用水泥類材料的痕跡，直到14世紀才重新發現了水泥類材料的身影。
1678年，著名的印刷專家約瑟夫 莫克森（JosephMoxon）在他的一篇文章中第一次描述了“加熱的石灰中藏有一團火，加水后就能看到這團燃燒的火”。
1779年，英國化學家布萊恩 希金斯（Bryan Higgins）取得了用于外墻抹灰的水硬水泥的專利，這是水泥和混凝土歷史上第一個專利。第二年（1780年）他發表了“改進石灰質水泥的合成工藝和應用以及生石灰的制備的實驗與觀察”（Experiments and Observations Made With the View of Improving the Artof Composing and Applying Calcereous Cements and of Preparing Quicklime）一文，這是水泥與混凝土歷史上的第一篇專業論文。
1779年，英國的約翰 斯米頓（John Smeaton）發現用煅燒過的石灰石生成的石灰遇水可以硬化（水硬石灰）。他用這種水硬石灰重建了位于英格蘭康沃爾的愛迪斯通燈塔。這個燈塔歷史悠久，但由于使用的建筑材料無法抵御海水的沖蝕，曾經多次重建。此次，當地政府指派約翰米斯頓負責重建，但要求他要先找到一種不怕水的建筑材料。他的發明導致了現代波特蘭水泥的誕生。
1796年，英國人詹姆斯 帕克（James Parker）獲得了一項有關天然水硬水泥的專利。他通過煅燒含有粘土的塊狀石灰石獲得了這種天然的水硬水泥。這種水泥被稱為帕克水泥（Parker's Cement）或羅馬水泥（Roman Cement)。之所以稱為天然水泥（natural cement），是因為這種水泥是由含有合適分量的粘土的天然石灰石燒制而成，沒有添加其他材料。
1802年，法國也采用了類似的制作羅馬水泥的工藝。
1810年，埃德加 杜博斯（Edgar Dobbs）獲得了一項關于水硬砂漿、灰泥和石膏的專利。不過由于煅燒工藝和設備存在缺陷，這些產品的質量很差。
1812-1813年，法國人路易斯 維卡 通過煅燒石灰石和粘土混合物，制出了人造水硬水泥。（因為是通過選擇石灰石和粘土進行混合，而不是使用天然含一定分量粘土的石灰石進行煅燒，因此稱為人造水泥。）
1818年，莫里斯 萊杰（Maurice St.Leger） 獲得了一項有關水硬水泥的專利。美國開始生產天然水泥。所謂天然水泥，是所使用的石灰石中天然含有數量恰好合適的粘土，煅燒后獲得的水泥。這種水泥與英國人約翰斯密頓發現的屬于同一類型。
1820-1821年，約翰 克爾和亞伯拉罕 錢伯斯獲得了更多有關水硬水泥的專利。
1822年，英國的詹姆斯 弗羅斯特（JamesFrost）制備出了類似維卡的人工水硬石灰，被稱為不列顛水泥（British Cement）。
1824年，英國人約瑟夫 阿斯普丁（JosephAspdin）獲得了波特蘭（Portland）水泥的專利。他通過在石灰窯里煅燒磨得很細的白堊（白土粉）和粘土，把其中的二氧化碳徹底去除。然后，將燒結的結塊研磨成細細的粉末，就獲得了這種水泥。他之所以將其稱為波特蘭水泥，是因為英國波特蘭這個地方以出產高質量的建筑石材而聞名，他認為他的水泥具有與波特蘭石材一樣的優良品質。
1828年，布魯內爾（I.K.Brunel）第一次在工程中使用了波特蘭水泥，他用波特蘭水泥填補了泰晤士隧道中的一個缺口。
1836年，德國第一次系統地檢測了波特蘭水泥的抗壓和抗張強度。
1843年，J.M. Mauder父子公司獲得生產波特蘭水泥的專利授權。
1845年，艾薩克 約翰遜（IsaacJohnson）聲稱將波特蘭水泥的原材料燒到了熔渣溫度（clinkering temperature），獲得了水泥熟料。
1849年，潘德克夫（Pettenkofer）和福克斯（Fuches）首次對波特蘭水泥進行了精確的化學分析。
1862年，英國人布萊克（BlakeStonebreaker） 把顎式粉碎機用于粉碎水泥熟料。
1867年，法國人約瑟夫 莫妮爾（JosephMonier）用鐵絲增強了美國人威廉 萬德（William Wand）用水泥做的花瓶，從而產生了在水泥中使用增強鋼筋的想法。
1871年，美國人大衛 賽勒（DavidSaylor）獲得了美國第一個有關波特蘭水泥的專利。
1880年，英國人格蘭德（J.Grand）演示了使用水泥熟料最硬和密實度最大的部分的重要性。對水泥熟料的核心成分進行了化學分析。
1886年，在英國第一個回轉窯投入使用，從此逐步取代了豎窯。
1887年，法國人亨利（Henri LeChatelie）把水泥的化學成分命名為Alite(tricalcium silicate)、Belite(dicalcium siicate)、和Celite(telracalciumaluminoferrite)。他提出水泥硬化是由于水泥和水發生化學反應生產的晶體逐步成型引起的。
1889年，第一個鋼筋混凝土大橋—美國加州舊金山的沃德湖大橋（Alvord Lake Bridge）建成。這座橋至今仍然存在。
1890年，美國首次在水泥熟料研磨過程中加入石膏作為緩凝劑，豎窯被回轉窯取代，球磨機用于研磨熟料。
1891年，第一條混凝土道路在美國俄亥俄州貝勒方丹（Bellefontaine）鋪設，這條道路至今還在使用。
1893年，威廉 米歇爾（WilliamMichaelis ）提出水泥硬化是由于水化硅酸鹽形成的凝膠逐步脫水硬化引起的。
1900年，建立了水泥基本性能的檢測標準。
1903年，第一幢混凝土高層建筑---英格爾斯大廈在美國俄亥俄州（Ohio）的辛辛那提（Cincinnati）建成，該建筑16層高，是當時的一個工程奇跡。
1908年，大發明家湯馬斯愛迪生（ThomasEdision）發明并在美國新澤西州的Union建造了廉價、溫馨的混凝土房屋，這些房屋至今還在使用。
1929年，美國人萊納斯鮑林博士（LinusPauling）為復雜硅酸鹽結構建立了一套原則。
1930年，首次在混凝土中使用引氣劑以提高混凝土抗凍融能力。
1936年，第一座主要的混凝土大壩----胡佛大壩（Hoover Dam）和大庫里大壩（Grand Coulee Dam）建成，至今還在使用。
1967年，第一個混凝土穹頂體育場在美國伊利諾伊大學建成。
1970年，出現了纖維增強混凝土。
1980年，高效減水劑出現。
1985年，硅粉開始作為一種火山灰質摻合料在混凝土中使用。高強混凝土被用于西雅圖聯合廣場（the Union Plaza）的建設。
