В ноябре 1897 года правительство выделяет деньги на постройку ледокола и комиссия во главе с адмиралом Макаровым приступает к разработке технических условий.Ледокол был заложен в Ньюкасле на стапелях английской фирмы Armstrong Whitworth в декабре 1897 года по заказу России. Это было первое в мире судно подобного класса, способное форсировать тяжелые льды двухметровой толщины. «Ермак» был спущен на воду на месяц позже контрактного срока и после заводских испытаний был принят в эксплуатацию.
19 февраля 1899 на корабле был поднят коммерческий флаг («Ермак» был причислен к министерству финансов и в состав военно-морского флота не входил). 21 февраля ледокол вышел на родину, в Финском заливе его ждал сплошной лёд (в ту зиму лёд в заливе был необычайно тяжёлым толщиной до метра). 1 марта достигли кромки льда. Некоторое время ледокол продвигался очень легко со скоростью 7 узлов, но в районе острова Гогланд корабль остановился: ледяное поле оказалось слишком тяжёлым, его пришлось обходить. 4 марта корабль прибыл в Кронштадт. Корабль встречали с особым торжеством: стечение людей, военный оркестр, высокий приём.
Но уже 9 марта ледокол ушёл на своё первое задание — пришло известие о затёртых в районе Ревеля 11 пароходах. Корабли были успешно вызволены и отконвоированы в порт. 4 апреля в два часа дня «Ермак», легко сломав невский лёд встал около Николаевского моста в столице империи.
Принимал самое активное участие в спасении броненосца «Генерал-адмирал Апраксин», который сел на мель в районе острова Гогланд. Во время этой акции «Ермака» впервые в мире нашло применение изобретение русского ученого Александра Попова — радиотелеграф. Благодаря связи судовой радиостанции с береговой (Котка) была спасена группа унесённых на льдине рыбаков.
Во время русско-японской войны «Ермак», преодолев лед в Либавском порту, провёл эскадру контр-адмирала Небогатова на чистую воду, открыв ей путь на Дальний Восток. За первые 12 лет эксплуатации ледокол провёл во льдах свыше тысячи суток. 14 ноября 1914 года ледокол был зачислен в состав Балтийского флота и продолжал осуществлять проводку кораблей и судов в Финском заливе. Когда в феврале 1918 года германские войска подошли к Ревелю, ледокол вывел из порта все способные двигаться корабли и привел их в Гельсингфорс.
Вскоре в походе из Гельсингфорса в Кронштадт «Ермак» вместе с другими ледоколами провел 211 боевых кораблей, вспомогательных и торговых судов через Финский залив. Руководитель похода и одновременно наморси Балтийского флота — каперанг Щастный тем самым спас всё боевое ядро Балтийского флота. За участие в «ледовом походе» «Ермак» был награждён почётным революционным Красным знаменем ВЦИК. Щастный расстрелян.
После этого ледокол вернулся к мирной службе и в 1920—1930 годах обеспечивал перевозки грузов на Балтике, в Арктике и Белом море.