제주도의 지표지질을 구성하고 있는 화산암 중 가장 오래된 곳이다.

산방산은 안덕면 사계리 해안가에서 용머리 퇴적층과 이어져 있는 조면암질 용암원정구로, 제주 남서부의 평야지대에 우뚝 서있어 어디에서도 조망이 가능한 종모양의 종상화산체이다.

남측 절벽의 높이 150~300m 사이에는 다양한 모양과 크기의 기암절벽이 발달되어 있다. 해발 150m쯤에 산방굴이라고 하는 해식동굴이 바다를 향해 특색 있는 경관을 이루고 있어 제주의 가장 아름다운 경치를 일컫는 영주십경의 하나(산방굴사)이다.

옛날 한 사냥꾼이 한라산에 사슴사냥을 갔다가 사슴 한마리를 발견하고 급히 활을 치켜들다 잘못하여 활 끝으로 옥황상제의 엉덩이를 건들였다고 한다. 화가난 옥황상제는 한라산 봉우리를 뽑아 서쪽으로 내던져 버렸는데 그것이 날아와 박힌것이 산방산이고 그 패인 자리가 백록담이 되었다는 전설이 있다. 실제 산방산이 백록담에 쏙 들어앉을 크기와 형세를 하고 있다고 한다.