El conjunto de Córdoba, un rectángulo de 175 x 128 metros, forma uno de los primeros ejemplos del tipo hipóstilo de mezquita, idóneo para resolver las necesidades de la comunidad musulmana. A través de numerosas puertas se puede acceder a un amplio patio o sahn de 120 x 58 metros, en donde se encuentra la fuente para las abluciones. Sin ningún muro de separación, los fieles, ya purificados, entraban en el haram o sala de oración, con alfombras por el suelo. Esta ausencia de límites muestra la sensación de infinitud, de vacío arquitectónico que querían comunicar los constructores islámicos. Su quibla no está orientada a La Meca, sino al sur. Se alzó en el lugar donde estuvo la basílica de San Vicente, comprada a los cristianos cordobeses por Abd al-Rahman I en el año 786, Se aprovecharon muchos elementos de ella -soportes, capiteles, columnas, cimacios- para el nuevo edificio.

En la primitiva construcción de Abd al-Rahman I, el haram constaba de once naves de doce tramos cada una, con columnas y capiteles tanto romanos como visigodos, según el sentido ecléctico del arte musulmán. Flexible y adaptable, este bosque de 514 columnas albergaba pequeñas reuniones de los maestros con sus discípulos, sentencias de los cadís después de escuchar las causas judiciales y las aglomeraciones para las plegarias perceptivas. Los arquitectos de Abd al-Rahman dotaron de altura y luminosidad al conjunto gracias a un ingenioso sistema de soportes superpuestos. Sobre las columnas, las pilastras sostienen arcos de medio punto y se enlazan con arcos de herradura que las calzan. La dicromía de las dovelas -blanco y rojo- corresponde a los materiales usados: piedra y ladrillo. Este cromatismo y la mayor amplitud de los arcos superiores acentúa la esbeltez y la luminosidad del recinto y le confiere un ritmo único. Simbólicamente este sala muestra la imagen de un oasis de palmeras, singular enclave para reconfortarse en la inmensidad del desierto. Seis meses tan sólo duró su construcción.
La mezquita sufrió tres importantes modificaciones en época islámica. Abd al-Rahman II alargó el haram en siete tramos, construyó un nuevo mihrab, levantó el minarete y abrió las portadas exteriores con puertas de herradura. Fue menester hacer nuevas columnas y capiteles, pues no quedaban ya materiales visigodos o romanos aprovechables. Quizás fue en este momento cuando las reformas buscaron ganar altura mediante la disposición de pilares sobre las columnas preexistentes. Estos pilares apean arcos de medio punto y en su parte inferior, enjarjados en ellos, se sitúan arcos de entibo de herradura. Para dar mejor apoyo a los pilares, que sobresalen del diámetro de los fustes de las columnas, se disponen sencillos canecillos de lóbulos o rollos, de gran importancia ya que serán un motivo que se prodigará y revelará la influencia islámica en los edificios cristianos.
Al-Hakam (962-965) añadió, hacia la cabecera, doce tramos más, conservando el mihrab enriquecido con mosaicos de origen bizantino, construyó la macsura e introdujo la bóveda de arcos entrecruzados. Aparecen y se prodigan los arcos trilobulados, pentalobulados y polilobulados; surge el arco apuntado con su intradós ligeramente rizado -es decir, con tendencia al angrelado. Los arcos se superponen y entrecruzan. Pero lo fundamental de esta etapa es la aparición de la bóveda de crucería, que se utiliza en la macsura; asimismo se utiliza la bóveda gallonada, tanto en el magnífico nuevo mihrab como en los plementos entre los arcos de la bóveda de la crucería de la capilla de Villaviciosa (tramo que ocupaba el mihrab de Abd al-Rahman II). En lo decorativo es evidente la influencia del arte bizantino: los mosaicos de la capilla del mihrab fueron obsequio del emperador de Bizancio.
Al-Mansur (987-990) añadió ocho naves y descentró el mihrab. Esta ampliación lateral, de menor importancia e inferior calidad, corresponde al interés propagandístico que tenía de asemejarse a los califas. El resultado fue la planta definitiva de 19 naves.