Die Anlage besteht aus zwei Elementen, einem achtgeschossigen, beinahe fensterlosen Magazinturm, der mit roten persischen Travertinplatten verkleidet ist, und einem zweigeschossigen Atriumgebäude, das die Arbeits-, Verwaltungs- und dem Publikum vorbehaltenen Räume aufnimmt. Beide Baukörper sind zueinander in eine spannungsvolle Beziehung gesetzt, während die Grundrissfiguren leicht gegeneinander verschwenkt wurden.
_
Eine Arkade markiert den Zugang von der Straße Fedelhören. Man betritt das Gebäude durch einen gläsernen Windfang und gelangt in ein imposantes zwei Geschosse hohes Foyer, das auch als Ausstellungshalle dient und das sich zum Innenhof optisch erweitert. Eine geschwungene Treppe leitet zu den Arbeits- und Verwaltungsräumen im Obergeschoss, die einhüftig über einen zum Innenhof gerichteten Flur erschlossen werden.
_
Das Erdgeschoss dient dem Publikumsverkehr. Im rechten Seitenflügel liegen ein Ausstellungs- und ein Vortragssaal. Im linken Seitenflügel befinden sich das familiengeschichtliche Archiv und der Katalograum. Am Fuß des Magazinturms liegt schließlich der Lesesaal mit einer Handbücherei, der sich mit einer Glasfront zum Innenhof öffnet.
Vor allem mit der Fassade des Obergeschosses wird deutlich eine optische Korrespondenz zu einem prominenten Nachbargebäude hergestellt: dem ehemaligen amerikanischen Generalkonsulat, das 1953 nach einem Entwurf der berühmten amerikanischen Architektengruppe Skidmore, Owings und Merrill fertiggestellt wurde.