Zwischen 1905 und 1925 sammelten die deutschen Sammler jüdischer Herkunft Ludwig und Rosy Fischer eine beeindruckende Sammlung hauptsächlich deutscher expressionistischer Werke sowie mindestens zwei präkubistische Gemälde von Picasso. Ludwig betrieb ein erfolgreiches Handelsgeschäft mit seinem Schwager in Breslau (heutiges Wrocław). Er und Rosy heirateten 1892 und hatten zwei Söhne, Max, ein Journalist, und Ernst, ein Physiologe. 1905 begannen die Fischers mit dem Sammeln, wobei sie mehrere Käufe bei Auktionen in München tätigten. Die Sammlung umfasste bei Ludwigs Tod im Jahr 1922 etwa fünfhundert Gemälde, Skulpturen und Arbeiten auf Papier.
Die anfänglichen Interessen der Fischers galten deutschen impressionistischen und secessionistischen Malern wie Heinrich von Zügel und Johan Sperl, gefolgt von Max Libermann, Lovis Corinth, Wilhelm Trübner und Max Slevogt. Vor dem Ausbruch des Ersten Weltkriegs hatten die Fischers Werke von Oskar Kokoschka und Franz Marc erworben, sowie zwei Gemälde von Picasso, eines möglicherweise vom Münchner Händler Heinrich Thannhauser. Nach Ludwigs Tod im Jahr 1922 wandte sich Rosy dem Kunsthandel zu, um ihr Einkommen zu ergänzen, und gründete die Galerie Fischer für Neuzeitliche Kunst.
Nach Rosys Tod im Jahr 1926 ging der Rest der Sammlung sowie der Galeriestock auf ihre Söhne über. Während der frühen 1930er Jahre verkauften beide Brüder, insbesondere Max Fischer, Werke aus ihren Sammlungen. Nach der Machtübernahme der Nationalsozialisten im Jahr 1933 wurde Ernst Fischer aufgrund seiner jüdischen Herkunft von einer Universitätsstelle entlassen. 1934 wanderte er mit seiner Familie in die Vereinigten Staaten aus, wobei er den verbleibenden Teil der Sammlung seiner Eltern mitnahm. Nazi-Behörden beschlagnahmten die Gemälde, die vom Museum in Halle erworben wurden, und schlossen sie in der 1937 auf Archeologisches Institut in München eröffneten Ausstellung Entartete Kunst ein.
Max Fischer, der bis 1938 in Deutschland blieb, wanderte ebenfalls in die Vereinigten Staaten aus, brachte jedoch nur einen Bruchteil seiner Sammlung mit. Wenig ist über den Rest von Max Fischers Sammlung bekannt, den er in Deutschland zurückließ. Im Jahr 2009 erwarb das Virginia Museum of Fine Arts etwa zweihundert Werke aus der Sammlung Ludwig und Rosy Fischer von der Familie von Ernst Fischer.
