История улицы началась в 1740-х годах, когда на месте лесной просеки проложили деревянный проезд от Невской перспективы к Загородной дороге. За два с лишним века он сменил несколько названий, а в 1929 году получил современное — в честь композитора Антона Рубинштейна, который в 1887—1891 годах занимал квартиру в доме № 38.
Архитектурный облик места складывался постепенно. На «Пяти углах» возвышается знаменитый дом Иоффа с закругленным фасадом и башенкой. Его построили в 1913—1914 годах по проекту Александра Лишневского. Неподалеку расположен Толстовский дом Федора Лидваля. Три проходных двора соединены арками и образуют своеобразную внутреннюю улицу. Фасад здания № 36 украшен колоннами, пилястрами, масками и скульптурами амуров. А дом-коммуна инженеров и писателей № 7, известный как «Слеза социализма», стал одним из ранних примеров конструктивизма. В 1930-е годы в нем жила поэтесса Ольга Берггольц.
С 1956 года в здании № 18/5 работает Малый драматический театр — Театр Европы. В № 23 находится музей-квартира Сергея Довлатова, а рядом установлен памятник писателю.
С середины 2000-х годов улица Рубинштейна стала одним из заметных гастрономических центров города. В заведениях подают израильский стритфуд, чебуреки, блюда авторской кухни и мясо из техасского смокера.
