Николай I сыграл большую роль в появлении первых железных дорог в России. Но идея основать музей в Петербурге для различных моделей, снарядов и машин принадлежит министру путей сообщения Михаилу Ивановичу Хилкову.

Здание решили строить на казенной земле, которая принадлежала ведомству путей сообщения (Юсупов сад), где главный фасад выходил на Садовую улицу. 

На создание музея выделили 7500 рублей. В то время на эти деньги можно было купить больше сотни коров.

В Музей имени императора Николая I решили отправить экспонаты железнодорожного и водного отделов России на Всемирной выставке, проходившей в 1900 году в Париже. 

2 июня 1901 года состоялась закладка здания. Архитектором стал П.С. Купинский. 6 декабря 1902 года в два часа дня Музей ведомства путей сообщения им. императора Николая I был торжественно открыт.

В 1909 был разработан проект пристройки к зданию музея двух боковых корпусов. В 1910 году левый корпус был построен. Несмотря на одобрение производства и подписанные бумаги, правую часть строить так и не начали.

Сейчас в планах музея пристроить корпус к зданию из-за нехватки площади и большого количества экспонатов.