ونشط في المجال الإعلامي وأصدر نشرة "نداء الحياة: فلسطيننا" في
بيروت عام 1959، وأشرف على تنظيم وتسليح خلايا سرية في
الضفة الغربية لنهر الأردن ما بين 1960 و1962.
وانتقل أبو جهاد إلى الجزائر عام 1963 وفتح فيها أول مكتب لحركة فتح، وأشرف على دورات تدريب عسكري لمتطوعين فلسطينيين في الكلية الحربية بالجزائر، كما أشرف أثناء وجوده هناك على إصدار نشرتين، الأولى تحمل اسم "صرخة فلسطيننا"، والثانية "أخبار فلسطيننا".
وعام 1964 زار كلا من
الصين الشعبية
وفيتنام الشمالية
وكوريا الشمالية ويوغسلافيا وألمانيا الشرقية من أجل حشد الدعم للقضية الفلسطينية، وشارك في المؤتمر التأسيسي لمنظمة التحرير الفلسطينية في مارس/آذار 1964 ممثلا لحركة فتح.
وساهم أبو جهاد في تنفيذ أول عملية فدائية لـ"قوات العاصفة" -الجناح العسكري لحركة فتح- في 31 ديسمبر/كانون الأول 1964، والتي استهدفت ممرا مائيا يحمل اسم "نفق عيلبون"، وخلفت جرح جنديين إسرائيليين.
وغادر الجزائر وانتقل إلى دمشق عام 1965، وهناك شهد تأسيس القيادة العسكرية التي كلفته بالعلاقات مع الخلايا الفدائية وقيادة العمل الفدائي داخل فلسطين.
وقد اعتقلته السلطات السورية مع عرفات وآخرين فترة قصيرة في دمشق في فبراير/شباط 1966، بعد اتهامهم بالتسبب في مقتل الضابط الفلسطيني في
الجيش السوري يوسف عرابي.
وقاد أبو جهاد عمليات عسكرية ضد إسرائيل بعد حرب يونيو/حزيران 1967، خاصة في
الجليل الأعلى شمال فلسطين المحتلة.
وتولى مسؤوليات قيادية في حركة فتح، إذ كان مسؤولا عن التنظيم والإعلام، كما أشرف على "القطاع الغربي" داخل فلسطين بعد اغتيال
كمال عدوان في أبريل/نيسان 1973.
وخطط أبو جهاد لعملية سافوي عام 1975، حين داهم 8 من مقاتلي فتح فندقَ سافوي في
تل أبيب واحتجزوا رهائن، وأسفرت العملية عن مقتل 3 جنود إسرائيليين إضافة إلى المقاتلين الثمانية.
كما انتخب نائبا لعرفات القائد العام لحركة فتح في مؤتمرها الرابع
بدمشق في مايو/أيار 1980، واضطلع بدور محوري في التصدي للعدوان الإسرائيلي على لبنان صيف 1982، وانتقل إلى
تونس بعد خروج منظمة التحرير الفلسطينية من لبنان عام 1984.
تم تعيين أبو جهاد رئيسا للجانب الفلسطيني في اللجنة الأردنية الفلسطينية، وعمل على دعم مؤسسات المجتمع المدني عبر تأسيس حركة "الشبيبة الطلابية" و"لجان المرأة للعمل الاجتماعي" ونقابات العمال في الأراضي المحتلة.
وقاد وفد حركة فتح في جلسات "الحوار الوطني الفلسطيني" التي عقدت في كل من عدن والجزائر صيف 1984، وانتقل إلى
بغداد صيف 1986، بعد فشل خطة العمل المشترك الفلسطينية الأردنية، التي كان عرفات وملك الأردن حسين بن طلال قد اتفقا بشأنها في فبراير/شباط 1985.
وساهم أبو جهاد في التخطيط لانطلاق الانتفاضة الأولى في 8 ديسمبر/كانون الأول 1987 من
جباليا بقطاع غزة، وأطلق عليه الإسرائيليون لقب "مهندس الانتفاضة".
في 16 أبريل/نيسان 1988، اغتالت أبو جهاد وحدة "
سييرت متكال" (إحدى وحدات قوات النخبة في
الجيش الإسرائيلي) في منزله بمنطقة سيدي بوسعيد إحدى ضواحي
تونس العاصمة.
وقد قاد عملية الاغتيال موشي يعلون الملقب باسم "بوغي" والذي أصبح لاحقا رئيسا لأركان جيش الاحتلال ثم وزيرا للدفاع.
ونُقل جثمان أبو جهاد إلى دمشق حيث شيعه عشرات الآلاف من الفلسطينيين والسوريين، ودفن في مقبرة الشهداء بمخيم اليرموك يوم 21 أبريل/نيسان 1988.