Bauakten aus den Jahren zwischen dem Kauf durch Hans II. von Paumgarten (1535) und 1552, vor allem aus der Bauzeit des jetzigen Schlosses 1550-1555, fehlen gänzlich. Mit den Jahreszahlen 1550 und 1552 sind der Denkstein über dem Tor und einige Marmorkamine bezeichnet. Es darf sicher gelten, dass namhafte Augsburger Baumeister und Werkleute der Zeit diesen Bau erstellt haben, der keine der damals typische ulmischen Details aufweist. Damit strahlt die Kunst Augsburgs, die in diesen Jahren der Stadt Ulm bereits neue Leitbilder aufzeigte, auch in die unmittelbare Ulmer Nachbarschaft aus. Diese Wirkung hat eine Parallele in der Stadt Ulm, wo um 1535 der mit einer Fuggertochter verwandte Ulrich Ehinger ein neues, augsburgerisch beeinflusstes Patrizierhaus (an der Herdbrücke) erbaute. Norbert Lieb vermutet die Mitwirkung Johann Holls, des Vaters von Elias Holl, in Erbach. In welchen Dimensionen die Paumgarten zu dieser Zeit handelten und bauten, beweist der für süddeutsche Verhältnisse spektakuläre Neubau des Schlosses Hohenschwangau, 1538-1547 durch den Neapolitaner Lucio de Spari mit einer Steinmetzenschar ausgeführt!