Первый «сухопутный пароход» (так в то время называли паровозы) был построен летом 1834 года на Выйском заводе Ефимом и Мироном Черепановыми; там же в марте 1835 года был построен и второй. Однако при влиянии подрядчиков конского извоза у владельцев Нижнетагильских заводов идея применения локомотивной тяги не нашла поддержки. На Царскосельской (открыта в 1837 году) и Варшаво-Венской (1845 год) железных дорогах первые паровозы были уже импортного производства.
Серийное производство паровозов в России первым начал расположенный в Санкт-Петербурге Александровский завод, который стал выпускать тяговый подвижной состав для Санкт-Петербурго-Московской железной дороги с 1845 года. Это были товарные локомотивы типа 0-3-0, (позже получившие обозначение Д) и пассажирские типа 2-2-0, (В); некоторые товарные паровозы позже были переделаны в тип 1-3-0 (впервые в мире!), а два пассажирских (серия А) — в тип 3-2-0. В 1851 году паровозостроение было начато на Лейхтенбергском заводе, но завершилось уже в 1858 году; всего им было построено 17 локомотивов, включая 2 для Царскосельской дороги. Для тяги грузовых поездов поначалу строились локомотивы с тремя движущими осями типа 0-3-0, но в 1858 году Александровский завод выпустил первые паровозы уже типа 0-4-0 (серия Е) — раньше, чем в Англии, Бельгии и Пруссии; однако данный тип на тот период не получил широкого распространения. Для пассажирской службы строились локомотивы с двумя, реже одной движущей осью — типы 2-2-0, 1-2-0 и 1-1-1.
Паровозы того периода имели двухцилиндровую паровую машину, работавшую на насыщенном паре. В 1861 году Министерство путей сообщения издало распоряжение, согласно которому на всех паровозах русских железных дорог площадки вокруг котла стали ограждаться железными перилами, а будки уширялись и начали оборудоваться дверьми для выхода на эти площадки; так постепенно стал формироваться облик русских паровозов. При этом стоит отметить, что до 1868 года русскими заводы выпустили только 227 паровозов, так как в значительной степени потребности дорог в локомотивах покрывались за счёт импорта.
В 1866 году было принято решение о расширении паровозостроения на российских заводах, однако фактически оно началось выполняться только в 1869 году, когда свои первые локомотивы выпустили Камско-Воткинский и Коломенский заводы, а в следующим году подключились Мальцевский и Невский. Данные заводы поначалу строили пассажирские паровозы типа 1-2-0 и грузовые типа 0-3-0 импортной конструкции. Причём наиболее популярной оказалась конструкция прусских заводов Borsig (нем.) (рус. («Борзиг»), имевшая укороченную колёсную базу, а топка располагалась за движущими колёсными парами. Также выпускались в небольшом количестве и паровозы с топкой между движущих осей, однако эта конструкция не сыскала популярности, хотя часть таких локомотивов была передана в запас Департамента железных дорог.
В 1875 году на основе конструкции паровозов «Борзиг» Коломенский и Невский заводы создали первые серийные паровозы российской разработки, грузовые паровозы — тип 13 и «Русак» соответственно; часть из них была передана в военный запас. Также на основе конструкции «Русака» Невским заводом была разработана собственная конструкция пассажирского паровоза типа 1-2-0, выпуск которого начался в 1876 году. В том же году на основе этой конструкции собственный пассажирский паровоз разработал и стал строить уже Мальцевский завод.
В 1875 году Коломенский завод стал строить и паровозы типа 0-4-0 (заводской тип 17, а позже тип 23). С 1877 года их начал выпускать уже и Мальцевский завод, причём в конструкцию внесли изменения: впервые в российском паровозостроении стали применять глухие втулки с кольцевыми неразрезными подшипниками на пальцах сцепных осей, а также стало использоваться тяговое дышло двутаврового сечения.
В 1878 году Коломенский завод выпустил первые в мире пассажирские паровозы типа 1-3-0 (заводской тип 20); в эксплуатации данные локомотивы водили не только пассажирские, но и грузовые поезда.
Все построенные в 1870-х российскими заводами паровозы (за редким исключением) имели парораспределительный механизм Аллана с внутрирамным расположением кулисы.
Русско-турецкая война 1877—1878 годов обнажила крупные недостатки российского железнодорожного транспорта. Была организована специальная комиссия во главе с графом Барановым, которая обследовала железные дороги страны и подготовила доклад, согласно которому на 1 января 1877 года на 48 дорогах было 4252 паровоза, но у которых новые колёса имели 225 различных диаметров; по мнению комиссии, достаточно было 16 диаметров для бегунковых, поддерживающих, движущих и тендерных колёс.
Тогда был проведён ряд преобразований, утверждён «Совет по железнодорожным делам», издан «Общий устав железных дорог» и решён вопрос о выкупе казной частных железных дорог, для чего было образовано «Временное управление казённых железных дорог». Локомотивный парк страны был не только многотипным, но также находился в неудовлетворительном состоянии как в качественном, так и в количественном отношении. Была поставлена задача создать новые более мощные паровозы и провести нормализацию парка. При этом импорт был ограничен высокими пошлинами, поэтому проблему массовых заказов пришлось решать за счёт наращивания собственных производственных мощностей, в том числе и началом паровозостроения на ряде машиностроительных заводов, а также строительством новых локомотивостроительных заводов. В 1892 году свои первые паровозы построил Брянский завод, через два года — Путиловский (1894), затем Харьковский (1895) и Сормовский (1896), а в 1900 году — Луганский; однако в 1886 году паровозостроение прекратилось на Мальцевском заводе, а в 1893 — на Александровском.
В 1880-е годы прежде всего происходит сокращение выпуска паровозов типа 0-3-0 и переход к более широкому выпуску паровозов типа 0-4-0; в 1880 году свои первые локомотивы такого типа (серия Чн) начал строить Невский завод. В 1878 году Коломенский завод начал строить паровозы на основе конструкции уже завода Kessler (англ.) (рус. («Кесслер»), а в 1883 году была выпущена их модификация. Данные паровозы (заводской тип 31) оказались очень удачными и были названы паровозами «правительственного запаса», после чего казна закупила их для всех государственных железных дорог западной полосы. Выпускались локомотивы и европейской колеи для Варшаво-венской дороги.
В 1876 году швейцарец Анатоль Малле провёл в Пруссии успешные испытания компаунд-паровоза с двойным расширением пара, который по сравнению с обычными имел сниженный расход пара, а потому оказался более экономичным. В 1882 году подобные опыты были проведены и в Российской империи, при этом экономия достигала 20 %. После этого российские заводы также стали массово строить локомотивы с компаунд-машинами, причём применялись различные системы от простой перекрёстной до Воклена и де Гленна. Широкая эксплуатация компаунд-паровозов позволила определить, что их экономичность во многом зависит от условий работы и зачастую применение двойного расширения пара оказывается экономически нерациональным.
В 1890 году компаунд-паровозы типа 0-4-0 начали выпускаться Коломенским заводом, а в 1892 году они были приняты основным типом грузового паровоза (с 1912 года — серия О), после чего их крупносерийное производство началось на ряде заводов.