Gdy w 1876 r. nieruchomość wykupił Frydrych Frisch, stał na niej oprócz Pałacyku Gościnnego (1) szereg budynków fabrycznych, które w kolejnych latach uległy dalszej rozbudowie.
Zeszłotygodniową opowieść o przeszłości Pałacyku Gościnnego zakończyłem na roku 1876 r., gdy córka Nochuma Minca, Małka Frydland, sprzedała odziedziczoną po ojcu nieruchomość złożoną z posesji, barokowego pałacyku i zabudowy fabrycznej Frydrychowi Frischowi.
Frydrych Frisch urodził się w 1830 r. w Iławie w Prusach Wschodnich, jako syn Samuela Frischa i Henrietty z domu Elsner. Samuel był mistrzem tkackim, który tuż przed 1844 r. razem z małżonką i dziećmi: Ferdynandem (ur. 1823), Karolem (1826), Frydrychem i Herminą Justyną (1840) sprowadził się na Białostocczyznę. W 1844 r. małżonkowie mieszkali w Choroszczy i zatrudnieni byli w fabryce Chrystiana Augusta Moesa. Przedsiębiorca ten rozpoczął działalność w 1840 r. i błyskawicznie osiągnął status największego producenta i pracodawcy w regionie.
W 1844 r. najstarszy syn Frischów Ferdynand zawarł związek małżeński z Augustą Pauliną Reymann. Frydrych, przyszły właściciel fabryki w Białymstoku, początkowo mieszkał i pracował w Choroszczy. Tu w 1858 r., w wieku 28 lat, ożenił się z Marią Trosset, córką tkaczy pochodzących z Yverdon w Szwajcarii, również zatrudnionych w przedsiębiorstwie Moesa. Z małżeństwa przyszło na świat sześciu synów: Rudolf, Alfred, Fritz, Herman, Teodor i Paweł.
Trudno powiedzieć, kiedy dokładnie i w jakich okolicznościach Frydrych Frisch przeniósł się do Białegostoku. Był tu na pewno w 1867 r. już jako właściciel jakiejś niewielkiej fabryki włókienniczej, w której zatrudniał 8 robotników. Nie wiadomo, gdzie mieścił się ów zakład, ale można przypuszczać, że dzierżawił powierzchnię w gmachu Małki Frydland. Był to kapitał początkowy, spotęgowany najpewniej w jakimś stopniu dzięki koneksjom rodzinnym (jego młodsza siostra Hermina Justyna wyszła za Hermana Filippa, właściciela fabryki włókienniczej przy ul. Stawowej - Świętojańskiej 13).
W sporządzonym w 1876 r. akcie kupna-sprzedaży majątku Małki Frydland zawarta została lista istniejących wówczas zabudowań. Od frontu znajdowała się piętrowa kamienica, a więc interesujący nas pałacyk. Natomiast tuż nad rzeką Białą usytuowany był okazały trójkondygnacyjny gmach fabryczny, do którego dostawione były dwie parterowe przybudówki (z nich jedna mieszcząca maszynę parową). Precyzyjne rozplanowanie wszystkich obiektów ukazuje nieco późniejszy plan z 1878 r., który stanowi też ilustrację do dzisiejszego artykułu.
W 1878 r. doszło do pożaru zabudowań fabrycznych, które strawiły drewniany budynek suszarni i trzepalni wełny. Po odbudowie fabryka funkcjonowała i jak można wnosić z danych statystycznych, rozwijała się stosunkowo pomyślnie. W tym czasie w fabryce zatrudnionych było 45 robotników, pracujących na 35 warsztatach tkackich napędzanych jedną maszyną parową. Rocznie produkowano sukno o wartości 50 tys. rubli. Ale zdarzały się także trudniejsze chwile. W październiku 1883 r. spłonęło wnętrze głównego gmachu fabrycznego pozostawiając ponad 100 robotników bez pracy.
Przedsiębiorca podniósł się z chwilowego upadku odbudowując główny gmach produkcyjny. W 1887 r. podawano, że w firmie Frischa zatrudnionych było już 100 robotników wytwarzających do 37 500 arszynów sukna i trykotażu o wartości 85 000 rubli. W latach 90. XIX w. zakład składał się z następujących oddziałów: przędzalni, tkalni, farbiarni i wykończalni (apretury).
Ostatnia dekada XIX stulecia okazała się dla familii Frischów bardzo nieszczęśliwą. Ciągnąca się od lat 80. XIX w. stagnacja w przemyśle przyniosła przedsiębiorstwu ogromne trudności finansowe. W 1891 r. po raz pierwszy Frydrych Frisch ogłosił bankructwo. Próbował ratować sytuację zaciągając ogromne pożyczki od syna Adolfa (początkowo współwłaściciela z Eugeniuszem Beckerem fabryki jedwabiu, a później samodzielnego przedsiębiorcy) oraz Henryka Litterera, warszawskiego przedsiębiorcy, którego córka była żoną jednego z synów Frydrycha Frischa.
Piętrzące się trudności finansowe przedsiębiorstwa z pewnością nie pozostawały bez wpływu na zdrowie liczącego już przeszło 60 wiosen Frydrycha Frischa. Od jakiegoś czasu zarząd firmy znajdował się w rękach najbardziej przedsiębiorczego z braci, Alfreda. Senior rodu, zabezpieczając się przed zbliżającą śmiercią (chorował bowiem na raka nerek), 15 lutego 1895 r. spisał testament przekazując synom prawa do fabryki. Zmarł 22 lutego 1895 r. Jeszcze tego samego roku przez fabrykę Frischów przetoczyło się kilka dużych strajków, które doprowadziły firmę na skraj bankructwa. W połowie 1896 r. dały się też odczuć pierwsze poważne symptomy ponownej zapaści rynku imperium rosyjskiego. Szybko pojawiły się bankructwa. Jedną z największych upadłości było ostateczne pogrzebanie starej firmy Frischów przy ul. Niemieckiej, której bankructwo pociągnęło za sobą także niezależną fabrykę Alfreda Frischa.
Bankructwo oznaczało niemożność spłaty zobowiązań kredytowych. Natychmiast majątek przy ul. Niemieckiej został zasekwestrowany przez Wileński Bank Ziemski. Ten sam los podzieliła firma Frydrycha, a później Alfreda Frischa. 7 grudnia 1898 r. za kwotę 50 000 rubli nabył ją na publicznej licytacji Henryk Litterer, który w ten sposób odzyskał pieniądze wyłożone w 1892 r. na ratowanie firmy Frischów, jednocześnie zatrzymując nieruchomość de facto w rękach rodziny.