Estas "cuevas" son el resultado de un continuo proceso erosivo, el cual favoreció el desprendimiento de bloques en formas de columnas o prismas que se precipitaron hacia la quebrada. Esta acumulación de materiales en formas caprichosas, estructuró pequeñas grutas, que en conjunto se conocen como el Bosque de Piedras de Sumbay. Cerca del lugar, también se ubica el Bosque de Piedras de Puruña, en el poblado de Cañahuas.
Los principales recursos de Sumbay son la agricultura y el ganado y su peculiaridad es el modo de vida de sus pobladores, los cuales siguen manteniendo las costumbres y adoraciones rituales desde la época inca.
Sumbay está situado dentro de los límites de la Reserva Nacional de Salinas y Aguada Blanca, a espaldas del volcán Misti sobre los 4127 msnm y a 88 km de Arequipa ( 1 hora 45 min) siguiendo la ruta de Arequipa hacia el Colca, antes del desvío a Vizcachani se toma una pequeña trocha y se llega al mismo pueblo. Allí se debe preguntar por la cueva y solicitar que el guardián de la llave acompañe al visitante hasta el paraje. Tras unos cinco minutos adicionales en auto y caminar unos 300 metros se llega a la cueva. Por lo que se ubica a cierta altura, a algunos visitantes les puede afectar, por lo que se aconseja tomar mate de coca o alguna pastilla contra el dolor de cabeza y/o la aclimatación.
