پاکر در ۲۹ دسامبر ۱۸۰۵ در میستیک کنتیکت به‌دنیا آمد و بعدتر راهی پنسیلوانیا شد تا در کارگاه نجاری یکی از بستگان شروع به‌کار کند. وی به عنوان نجار بعدتر در نیویورک و اسپرینگ ویل‌تاون‌شیپ نیز فعالیت کرد. در ۱۸۳۳ با همسرش در ماچ‌چانک پنسیلوانیا اقامت گزید؛ جایی‌که یک کشتی داشت و با آن به مقصد فیلادلفیا زغال‌سنگ حمل می‌کرد.
او شرکتی با نام ای‌اند‌آر دبلیو تاسیس کرد که برای کمپانی زغال‌سنگ و حمل و نقل لیهای قایق و آب بند می‌ساخت. پاکر به این کمپانی قبولاند تا یک خط‌آهن بخار را برای حمل زغال‌سنگ به‌کار برد اما این پروژه به خوبی پیش نرفت.
وی در ۱۸۵۱ عمده سهامدار خط‌آهنی شد که دو سال بعد راه‌آهن لیهای ولی نامیده شد. این شرکت توانست تا ۱۸۵۵ خط آهنی بین ماوچ چانک و ایستون بکشد. او پس از آن خطوط آهنی ساخت که خطوط اصلی را به معادن زغال سنگ وصل می‌کرد و سپس آن را به سسکوهانا ولی و ایالت نیویورک متصل کرد. پاکر از ۱۸۴۲ به مدت یک سال عضو مجلس نمایندگان ایالت پنسیلوانیا بود و بعدتر از سوی حزب دموکرات در کنگره آمریکا حضور داشت. او تلاش ناموفقی نیز برای ورود به انتخابات ریاست‌جمهوری ۱۸۶۸ انجام داد. آسا پاکر مردی کم‌حرف و خموش بود بنابراین وقتی شایعه شد که او درصدد تاسیس یک دانشگاه است گمانه‌زنی‌های زیادی صورت گرفت. در نهایت قرار بر این گرفت که این دانشگاه در بیت‌اللحم پنسیلوانیا تاسیس شود. پاکر در ۱۸۶۵، ۲۴۳ هزار متر‌مربع به این دانشگاه اختصاص داد و در نهایت آن را به بیش از ۴۵ هکتار افزایش داد تا یک آموزشگاه مهندسی و فنی با هدف کمک به توسعه منطقه لی‌های‌ولی ساخته شود. ساخت این دانشگاه در ۱۸۶۶ شروع شد و ساخت سالن پاکر (اکنون ساختمان مرکزی این دانشگاه) در ۱۸۶۹ به پایان رسید. با سخاوت‌های پاکر این دانشگاه طی بیست سال (۹۱-۱۸۷۱) سیستم آموزشی کاملا رایگان ارائه می‌کرد اما با وقوع مشکلات اقتصادی دهه نود به ناگزیر سیاست‌های خود را تغییر داد.
اقامتگاه پاکر موسوم به کاخ آسا پاکر بدل به یک موزه و در ۱۹۵۶ افتتاح شد. این بنا در ۱۹۸۵ در فهرست آثار تاریخی محافظت‌شده جای گرفت. او در ۱۷می۱۸۷۹ در فیلادلفیا درگذشت.
