En 1909 se había abierto en Madrid una Escuela de Altos Estudios Hispánicos, creación de la universidad de Burdeos destinada a acoger a jóvenes investigadores franceses. En 1916, Charles-Maie Widor, secretario perpetuo de la Academia de Bellas Artes expresó su deseo de que artistas franceses pudiesen completar su formación en España al igual que lo venían haciendo desde hacía mucho tiempo en la Villa Medicis en Roma. La idea gustó al rey Alfonso XIII. Él mismo escogió un terreno de 20.000 m2, en lo que se iba a transformar en la futura Ciudad Universitaria de Madrid, que sería cedido a Francia en usufructo con la condición de construir una residencia destinada a artistas e investigadores. Ese palacete se llamaría Casa de Velázquez porque la leyenda cuenta que al pintor le gustaba instalar su caballete en este lugar, frente a la Sierra de Guadarrama.

    Las primeras construcciones fueron inauguradas en 1928 y el conjunto terminado en 1935. Al año siguiente comenzaba la Guerra Civil. La Casa se encontraba en primera línea del frente de Madrid; el 20 de noviembre de 1939 fue incendiada y destruida completamente. Artistas e hispanistas fueron a instalarse, primero a Fez, en Marruecos, y luego, a partir de 1940, de nuevo en Madrid, en un hotelito particular de la calle de Serrano, hasta la reconstrucción de la Casa en el año 1958.

    La Casa de Velázquez abrió de nuevo sus puertas a sus miembros e investigadores en 1959. En 1979 se conmemoró su cincuentenario contando con la presencia de S.A.R. Da. Sofía y de Madame Anne-Aymone Giscard d'Estain. En el año 2003 se celebra su 75 aniversario.

    Desde su fundación la Casa ha sido dirigida por Pierre Paris, François Dumas, Maurice Legendre, Henri Terrasse, François Chevalier, Didier Ozanam, Joseph Pérez, Jean Canavaggio y Gérard Chastagnaret.