El edificio contiene dos construcciones anexas: la torre de la Calahorra propiamente dicha y el cuerpo añadido en el siglo XV, en el que algunos estudiosos sitúan el almudín de la villa, ya que se tienen noticias de que en 1442 el consejo municipal acordó construir un depósito de grano extramuros, fuera del portal de la Calahorra. Parece ser que, en un principio, este almacén sería un pórtico con arcos que, posteriormente, fue cerrado y se dividió en distintas habitaciones.

La torre es una fortaleza de origen islámico concebida como torre de vigilancia como parte de la muralla defensiva del Elche andalusí. Su construcción data de fines del siglo XII o principios del XIII (época almohade). De planta cuadrangular, defendía la entrada a la ciudad desde el camino de Alicante, siendo la torre más importante de la entonces medina amurallada. En su realización se utilizaron muros de mampostería revocados, con sillares en la base y en las esquinas. La torre, en origen, tenía, al menos, dos alturas más, cuerpos que se desplomaron en 1829, en uno de los terremotos más destructores que ha sufrido la provincia de Alicante.