В 1907 году этот участок земли выкупил провизор Израиль Пейсахович. Он давно вел торговлю лекарственными средствами и решил расширять бизнес. По его заказу архитектор Адриан Булыгин построил величественное двухэтажное здание в стиле модерн. Фасады украсили красным гранитом, высококачественной голландской плиткой и флористическими орнаментами. В 1912 году аптека смогла принять первых покупателей. В зале их встречали мраморные полы, деревянные шкафы из ценных пород дерева, витиеватые вывески и обилие товаров. Вскоре после открытия Израиль сдал аптеку в аренду своему другу Иоану Байгеру. Именно его фамилия и дала название месту. На верхнем этаже в то время располагалось родильное отделение и женская консультация под шефством А. Бухштата.
В годы Великой Отечественной войны немецкие войска захватили здание и устроили там склад. В 1943 году, при освобождении города, ее пытались поджечь и взорвать, но горожане спасли дом. В 1981 году место получило статус памятника архитектуры, а еще через 30 лет статус объекта культурного наследия. Сейчас внутри кроме товаров располагается небольшой музей старинных аптечных принадлежностей.
