حاييم بارليف خدم في وحدات عسكرية يهودية مختلفة ، مثل البلماح. أصبح طيارًا ومظليًا على حد سواء ، والذي خدمته لاحقًا في تطوير كلا الفرعين العسكريين في جيش الدفاع الإسرائيلي الشاب.
في عام 1946 فجر بارليف جسر اللنبي بالقرب من أريحا لمنع رجال المليشيات العربية في عبر الأردن من دخول البلدات اليهودية غرب نهر الأردن. خلال الحرب العربية الإسرائيلية عام 1948 ، كان بارليف قائد الكتيبة الثامنة (الآلية) في لواء النقب ، والتي قاتلت في الجزء الجنوبي من البلاد وفي سيناء.

خلال أزمة السويس عام 1956 ، قاد اللواء 27 مدرع ، الذي سيطر على قطاع غزة قبل أن يتحول إلى الجنوب الغربي ويصل إلى قناة السويس. بحلول عام 1964 أصبح مدير العمليات في جيش الدفاع الإسرائيلي.
خلال حرب حزيران / يونيو 1967 ، شغل منصب نائب رئيس الأركان في جيش الدفاع الإسرائيلي. في أواخر عام 1968 قبل اقتراح اللواء أدان ببناء جدار مرتفع كثبان رملية على طول الضفة الشرقية لقناة السويس لمنع الجيش المصري من مراقبة الدفاعات الإسرائيلية على طول قناة السويس. خلف الكثبان الرملية شُيِّد خط من التحصينات الثابتة. أصبح هذا معروفًا باسم خط بار ليف.
بين عامي 1968 و 1971 ، شغل بارليف منصب رئيس الأركان العامة للجيش الإسرائيلي ، مما جعله أعلى رتبة ضابط عسكري.
خلال حرب أكتوبر 1973 ، على الرغم من تقاعده من جيش الدفاع الإسرائيلي وعمل وزيراً للتجارة والصناعة ، استدعته رئيسة الوزراء غولدا مئير إلى الخدمة العسكرية ليحل محل شموئيل "غوروديش" جونين كرئيس للقيادة الجنوبية ، والتي دافع عن شبه جزيرة سيناء. لعب بارليف دورًا محوريًا في الحرب. قبل تعيينه ، كانت الجبهة الجنوبية في حالة من الفوضى إلى حد شبه الانهيار التام ، وكان جونين يثبت أنه غير قادر على السيطرة بشكل فعال على الوضع. تولى بارليف المسؤولية على الفور وعمل على تحقيق الاستقرار في الجبهة. أثبتت مهاراته السياسية والتفاوضية أيضًا أنها مفيدة في السيطرة على جنرالاته الميدانيين الذين كانوا يتنافسون فيما بينهم لأن لكل منهم مفاهيمه الخاصة ، وأحيانًا المتنافسة ، فيما يتعلق بكيفية شن الحرب في الجنوب. التأثير الذي أحدثه وصول بارليف على مقر القيادة الجنوبية الفوضوي وصفه نائب جونين ، أوري بن آري ، في شهادة أمام القسم التاريخي للجيش الإسرائيلي:
جلب بارليف الهدوء علينا جميعًا. أخيرًا ، كان هناك شعور بأن لدينا قائدًا حقيقيًا مسؤولاً. انتشر هذا الشعور فيما بيننا ولاحقًا أيضًا في أجهزة الراديو مثل النار في ساحة المعركة. كما تمكن بارليف من تهدئة جوروديش. قبل وصوله ، كانت اجتماعات هيئة الأركان عبارة عن صيحة مدوية من فم غوروديش. وضع بار ليف إجراءات عمل منظمة. لم يتحدى أحد سلطته. البلد مدينة له بالكثير. عادت "دفيلة" إلى كونها غرفة حرب حقيقية ، غرفة مجزأة. لم يُسمح لأي شخص [لا ينتمي إلى هناك] بالدخول. نزل الصفاء على غرفة الحرب. تحول ضباط الأركان إلى أداء مهامهم في نوبات منظمة. حتى نبرة صوت أريك [آرييل شارون] تغيرت عندما وصل بار ليف. [بحاجة لمصدر]