Первые три танка Panzer IV поступили в вермахт в январе 1938 года. Общий заказ на боевые машины этого типа включал 709 единиц. План же на 1938 год предусматривал поставку 116 танков, и фирма Krupp-Gruson почти выполнила его, передав войскам 113 машин. Первыми "боевыми" операциями с участием Pz.lV стали аншлюс Австрии и захват Судетской области Чехословакии в 1938 году. В марте 1939 года они прошли по улицам Праги.

Накануне вторжения в Польшу 1 сентября 1939 года в вермахте насчитывалось 211 танков Pz.lV модификаций А, В и С. По действовавшему тогда штату в танковой дивизии должны были состоять 24 танка Pz.lV, по 12 машин в каждом полку. Однако до полного штата были укомплектованы лишь 1-й и 2-й танковые полки 1-й танковой дивизии (1. Panzer Division). Полный штат имел и Учебный танковый батальон (Panzer Lehr Abteilung), приданный 3-й танковой дивизии. В остальных соединениях числилось лишь по нескольку Pz.lV, которые по вооружению и броневой защите превосходили все типы противостоящих им польских танков. Однако 37-мм танковые и противотанковые пушки поляков представляли для немцев серьезную опасность. Например, во время боя у Гловачува польские 7ТР подбили два Pz.lV. Всего же за время польского похода немцы потеряли 76 танков этого типа, из них 19 безвозвратно.

К началу французской кампании - 10 мая 1940 года - панцерваффе располагали уже 290 Pz.lV и 20 мостоукладчиками на их базе. В основном они были сконцентрированы в дивизиях, действовавших на направлениях главных ударов. В 7-й танковой дивизии генерала Роммеля, например, насчитывалось 36 Pz.lV. Их равноценными противниками были средние французские танки Somua S35 и английские "Матильда II". Не без шанса на победу могли вступать в бой с Pz.lV и французские В Ibis и 02. В ходе боев французам и англичанам удалось подбить 97 танков Pz.lV. Безвозвратные же потери немцев составили всего 30 боевых машин этого типа.

В 1940 году удельный вес танков Pz.lV в танковых соединениях вермахта несколько возрос. С одной стороны, благодаря росту производства, а с другой - из-за уменьшения количества танков в дивизии до 258 единиц. При этом большинство из них по-прежнему составляли легкие Pz.l и Pz.ll.

Во время скоротечной операции на Балканах весной 1941 года Pz.lV, участвовавшие в боях с югославскими, греческими и английскими войсками, потерь не понесли. Планировалось использовать Pz.lV и в операции по захвату Крита, но там обошлись силами парашютистов.

К началу операции "Барбаросса" из 3582 боеготовых германских танков 439 были Pz.lV. Следует подчеркнуть, что по принятой тогда в вермахте классификации танков по калибру орудия эти машины относились к классу тяжелых. С нашей стороны современным тяжелым танком был KB - в войсках их насчитывалось 504 единицы. Помимо численного, советский тяжелый танк имел абсолютное превосходство и по боевым качествам. Преимуществом перед немецкой машиной обладал и средний Т-34. Пробивали броню Pz.lV и 45-мм пушки легких танков Т-26 и БТ. Короткоствольная же немецкая танковая пушка могла эффективно бороться только с последними. Все это не замедлило сказаться на боевых потерях: в течение 1941 года на Восточном фронте было уничтожено 348 Pz.lV.

Со сходной ситуацией немцы столкнулись в Северной Африке, где короткая пушка Pz.lV оказалась бессильной перед мощно бронированными "матильдами". Первые "четверки" выгрузили в Триполи 11 марта 1941 года, и было их совсем не много, что хорошо видно на примере 2-го батальона 5-го танкового полка 5-й легкой дивизии. По состоянию на 30 апреля 1941 года, в батальон входили 9 Pz.l, 26 Pz.ll, 36 Pz.lll и только 8 Pz.lV (в основном машины модификаций D и Е). Вместе с 5-й легкой в Африке воевала 15-я танковая дивизия вермахта, располагавшая 24 Pz.lV. Наибольшего успеха эти танки достигали в борьбе с британскими крейсерскими танками А.9 и А. 10 - подвижными, но легкобронированными. Главным же средством борьбы с "матильдами" стали 88-мм зенитные пушки, а основным немецким танком на этом театре в 1941 году был Pz.lll. Что касается Pz.lV, то в ноябре их в Африке осталось всего 35 штук: 20 - в 15-й танковой дивизии и 15-в 21-й (преобразована из 5-й легкой).

Невысокого мнения о боевых качествах Pz.lV придерживались тогда и сами немцы. Вот что пишет по этому поводу в своих воспоминаниях генерал-майор фон Меллентин (в 1941 году в звании майора он служил в штабе Роммеля): "Танк T-IV завоевал у англичан репутацию грозного противника главным образом потому, что был вооружен 75-мм пушкой. Однако эта пушка имела низкую начальную скорость снаряда и слабую пробивную способность, и, хотя мы и использовали T-IV в танковых боях, они приносили гораздо большую пользу как средство огневой поддержки пехоты". Более существенную роль на всех театрах военных действий Pz.lV стал играть только после приобретения "длинной руки" - 75-мм пушки KwK 40.