The Walther Collection befindet sich in Burlafingen, einem Vorort von Ulm, in einer ruhigen, ländlichen Wohngegend. Der gesamte Komplex besteht aus vier Gebäuden, die in Form eines Quadrates auf einem Grasteppich angeordnet und durch Gehwege miteinander verbunden sind. Die drei Ausstellungsgebäude wiederum bilden ein unregelmäßiges Dreieck, wobei jedes Haus in seinen Räumen ein spezifisches Ausstellungsprogramm ermöglicht. Das vierte Gebäude ist ein dreigeschossiges Wohnhaus mit Büro, Bibliothek und Wohnung.
Das Gebäudeensemble ist so organisiert, dass es sich unauffällig in die Nachbarschaft einblendet. Mit Ausnahme des neu gebauten transparenten Weißen Kubus, dessen Ausstellungsfläche zum größten Teil unterirdisch ist, sind die anderen Häuser in der für die Region typischen Architektur erhalten.
Um dem kuratorischen Konzept der Sammlung gerecht zu werden, wurden die Ausstellungsräume im Hinblick auf die verschiedenen Formate der Fotografien und Videos konzipiert und sind auf drei unterschiedliche Architekturtypen verteilt.
Der Weiße Kubus, das Hauptgebäude der Walther Collection, basiert auf der Idee der Transparenz. Es ist ein dreigeschossiges, lichtdurchflutetes Gebäude, entworfen von dem Ulmer Architekturbüro Braunger-Wörtz. Die Glasfront im Foyer gibt den Blick frei auf die Umgebung und die anderen Ausstellungsgebäude. Im Untergeschoß befindet sich die 500 Quadratmeter große Hauptgalerie, die vom Erdgeschoß aus eingesehen werden kann. Im Obergeschoß befinden sich eine kleinere, 150 Quadratmeter große Galerie. Im Hauptausstellungsbereich des Weißen Kubus wechseln die thematisch ausgerichteten Ausstellungen im Rhythmus von einem Jahr; parallel dazu werden im Obergeschoß gelegentlich kleinere Themenausstellungen, Neuerwerbungen oder Auftragsarbeiten einzelner Künstler präsentiert.
Das Schwarze Haus ist ein eingeschossiger Bungalow und erinnert in seiner Konstruktion an einen minimalistischen Monolithen. Das Gebäude hat zur Straßenseite hin keine Fenster. Ausreichend Licht bekommt der Raum durch die Glasfront auf der Rückseite. Die Ausstellungsfläche ist in drei Galerien unterteilt, in denen vorwiegend Fotografien mit Schwerpunkt auf Serialität, Performance, oder Konzeptkunst gezeigt werden.
Das Grüne Haus ist ein renoviertes, zweigeschossiges ehemaliges Wohnhaus aus den 1950er Jahren und von der Architektur her typisch für die Region. Seine Fassade ist mit grünem Efeu überwachsen. Im Inneren sind in jedem Stockwerk zwei kleine Ausstellungsräume entstanden, die Außenarchitektur blieb unverändert erhalten. Durch die kabinettartige Atmosphäre eignet sich dieses Haus hervorragend für die Präsentation kleinformatiger Arbeiten, entweder in Form umfassender Einzelausstellungen oder vergleichender Ausstellungen zweier Künstler.