黃山不屬大別山，它屬于東南丘陵的一部分，是長江水系和錢塘江水系在安徽省境內的分水嶺，它本身就是一條山脈。

黃山位于安徽南部黃山市境內，山境南北長約40千米，東西寬約30千米，總面積約1200平方千米。其中，黃山風景區面積160.6平方千米，地跨東經118°01'―118°17'，北緯30°01'―30°18'，東起黃獅，西至小嶺腳，北始二龍橋，南達湯口鎮，分為溫泉、云谷、玉屏、北海、松谷、釣橋、浮溪、洋湖、福固九個管理區。

緩沖區面積490.9平方千米，以與景區相鄰的五鎮一場（黃山區湯口鎮、譚家橋鎮、三口鎮、耿城鎮、焦村鎮和洋湖林場）的行政邊界為界。

黃山山體主要由燕山期花崗巖構成，垂直節理發育，侵蝕切割強烈，斷裂和裂隙交錯，長期受水溶蝕，形成花崗巖洞穴與孔道。全山有嶺30處、巖22處、洞7處、關2處。黃山的第四紀冰川遺跡主要分布在前山的東南部。

黃山集八億年地質史于一身，融峰林地貌、冰川遺跡于一體，兼有花崗巖造型石、花崗巖洞室、泉潭溪瀑等豐富而典型的地質景觀。前山巖體節理稀疏，多球狀風化；后山巖體節理稠密，多柱狀風化，山體峻峭，形成了“前山雄偉、后山秀麗”的地貌特征。