Wallersteiner war seit 1908 in Ulm ansässig (zuerst Fees'sches Haus in der Hirschstraße, späterhin am Münsterplatz). Er engagierte sich in mehreren Vereinen und war ein anerkanntes Mitglied des Ulmer Bürgertums. Als Vorsitzender des Ulmer Fußball Vereins 1894 leitete er von 1914 bis 1921 und von 1924 bis 1930 einen der drei größten Sportvereine der Donaustadt. Seine Frau Alice machte die Buchhaltung der Praxis und war ebenfalls sehr sportlich.

Am 27. Januar 1919 wurde der Sohn Kurt Samuel Wallersteiner geboren. Wallersteiner starb am 3. November 1930, einen Tag vor seinem 49. Geburtstag. Alice Stoß-Wallersteiner erhielt das Ehrenkreuz für Kriegerwitwen.

Hugo Eugen Wallersteiner und seine Familie waren bereits vor 1933 das Ziel einer überregionalen Hetzkampagne: Vor dem Tod Wallersteiners im Jahr 1930 erschien unter der Überschrift "Der Musterjude von Ulm" ein Artikel im "Stürmer", dem berüchtigten antisemitischen Hetzblatt Julius Streichers.

Am 6. Februar 1933 heiratete Alice Wallersteiner den Chirurgen und Gynäkologen Dr. Ludwig Stoß (1887-1966),  hoch geschätzter Facharzt im Neu-Ulmer Krankenhaus. Nach der Heirat zog Alice zu Stoß in die sogenannte Villa Stoß in der Augsburger Straße 45, die kurz danach in Hindenburgstraße umbenannt wurde. Sie wohnten dort bis zum Bombardement im März 1945.

Die Ehe blieb, wie auch Ludwig Stoß' vorherige Ehen, kinderlos. Alice Stoß tritt am 12.6.1933 aus der israelitischen Kultusgemeinde aus. Neu-Ulms Oberbürgermeister Franz Josef Nuißl habe „[...] anfangs Januar 1933 – also vor dem 30. Januar 1933 – Dr. Stoß dringend von einer Verehelichung mit Frau Wallersteiner abgeraten [...] mit dem Bemerken, daß er ihm nicht garantieren könne, ihn im Falle der Verehelichung als Krankenhausarzt weiter halten zu können."

1935 wurde in einer Hetzkampagne gegen Ludwig Stoß die jüdische Abstammung seiner Frau zum Anlass genommen, seine Absetzung als leitender Krankenhausarzt zu fordern. Er durfte allerdings weiterhin praktizieren, denn man konnte und wollte nicht auf seine fachlichen Fähigkeiten verzichten.
Nach der Reichspogromnacht 1938 wurde Alice Stoß inhaftiert, konnte auf Betreiben des nationalsozialistischen Zweiten Bürgermeisters der Stadt Neu-Ulm Josef Ostermann jedoch wieder auf freien Fuß gesetzt werden. Späterhin hatte Ostermann erfahren, „dass geplant war einen Vorstoss zu unternehmen, dass die in einer Mischehe lebenden israelitischen Ehepartner den Judenstern zu tragen gezwungen werden sollten. Nach sofortiger Information der Frau Dr. Stoss, unternahm ich die mir erforderlich erscheinenden Schritte und hatte Genugtuung, dass die Massnahme nicht durchgeführt wurde." Ostermann besorgte in seiner Funktion als Oberpostinspektor der Frau Stoß auch eine Postausweiskarte des Weltpostvereins ohne Verzeichnung ihrer jüdischen Abstammung. So konnte sich Alice Stoß relativ unbehelligt in der Öffentlichkeit bewegen. Oberbürgermeister Nuißl bestätigte Alice Stoß in diesem Zusammenhang mit Schreiben vom 19.12.1938 auch noch einmal ausdrücklich, dass sie Kriegerwitwe sei.

1939 unternahm das Ehepaar einen Fluchtversuch zu Alices Sohn nach Cambridge, der scheiterte, zum Glück aber von den Nationalsozialisten unbemerkt blieb: „Ein tragisches Schicksal verhinderte die Emigration meiner Mutter und von Prof. [sic] Stoß. Sie waren mit einer Besuchsgenehmigung der Engländer im Mai 1939 zu mir [nach Cambridge] gekommen, und mein Stiefvater hatte die Möglichkeit einer Anstellung an einem katholischen Missionskrankenhaus, aber die Engländer verweigerten beiden den Aufenthalt, brachten meine Mutter kurz ins Gefängnis, um sie zu zwingen, nach Deutschland zurückzukehren. Dies geschah unglaublicherweise im Mai 1939. […] Zum Glück war in Neu-Ulm nicht bekannt, daß die beiden von Deutschland fliehen wollten, um ein neues Leben in Freiheit außerhalb des Reichs Adolf Hitlers anfangen zu können.“