相对于45亿岁的地球，香港的岩石年纪尚轻，境内缺失中生代三叠纪、早古生代及更早时期的地层和岩石记录，香港目前发现的最古老的岩石是4亿年前泥盆纪的沉积岩。当时香港由大片河谷平原覆盖，河水流向东南方，而河水泛滥带来的软泥则有利原始植物生长，海岸地区也将海洋生物的残骸沉积到沿岸海洋软泥之中。这些冲积物逐渐形成新界东北部船湾、黄竹角咀和赤门北岸一带的岩石。至3亿5,000万年前的石炭纪早期，热带浅海淹没香港，水面下降后的沿岸沼泽地区出现植物，软泥地面则有枯萎的植物。这些物质经过掩埋、遇热及挤压，分别成为埋在地表下的大理岩，以及含有石墨的片岩，分布于香港西北部。2亿9,000万年前的二叠纪时期，香港再次被浅海所淹，沉积物混入砂砾、海洋动物及珊瑚的残骸，经过沉埋、压迫，岩石被巨大的地壳力量扭曲及变形，形成折曲、拱起或断层的状态。这类岩石分布于吐露港的马屎洲和丫洲。1亿6,400万至1亿4,000万年前的侏罗纪时期，香港发生多次火山爆炸，喷出大量熔岩及火山灰。香港的岩石约有一半由火山岩所形成。喷至火山口边的火山灰冷却成为切面是六边形的石柱，可见于果洲群岛及破边洲。而未有喷出的熔岩则在地底深处慢慢冷却凝固，形成藏有粗大矿物颗粒的花岗岩。1亿年前白垩纪的香港则是一片干燥荒芜，中国大陆的洪流偶尔会把砂石和软泥冲积到香港，形成红色的岩石层，见于东北部的赤洲和乌蛟腾。考古学家发现这个时期的岩石并无生物痕迹，但广东省内发现的白垩纪恐龙化石则反映邻近地区可能有恐龙出没。

直至8,000万至5,000万年前的白垩纪晚期和第三纪早期，气候变得潮湿，香港逐渐形成辽阔的浅湖。雨季和旱季循环交替，为湖底的软泥铺上一层又一层的盐分凝固物，形成东坪洲所见的粉砂岩薄层，是香港最年轻的岩石。湖泊周边的植物昆虫则形成化石。到了5,000万年前的第三纪，气候和现时一样温暖潮湿，陆地隆起，风化侵蚀形成今日地理景观。200万年前第四纪的冰河时期，大片冰原由南北极推进，全球水平面下降;到了1万8,000年前的最后一次冰期，海面比现时低130米，香港陆地面积会在南边多120公里。及后气候回暖，海平面回升，淹没山谷形成弯弯曲曲的海岸线，以及两百多个岛屿。