Самолёт представлял собой подкосный высокоплан смешанной силовой конструкции с полотняной обшивкой, традиционным хвостовым оперением, неубирающимся шасси.

Самолёт получил лицензию Американского департамента торговли 11 июля 1931 года. Первоначально назывался Taylor Cub E-2. С 11 июля 1931 года и до конца года были проданы 22 самолёта по цене $1325 за каждый. По инициативе 19-летнего дизайнера Вальтера Жамоно (Walter Jamouneau) E-2 начали выпускаться под названием Taylor J-2 Cub, где J — первая буква фамилии Жамоно. Со временем прошёл модернизацию и стал обозначаться Piper J-3. К концу 1937 года компания выпустила уже 687 самолётов.
С новым двигателем самолёт имел максимальную скорость в 85 миль в час (137 км/ч) и потолок в 9300 футов. Дальность полёта составляла 351 км при ёмкости топливного бака всего в 45,4 литра.

Начиная с 1939 года Пайпер J-3 стал основным самолётом начальной подготовки пилотов для гражданской авиации — 75 % пилотов обучались на Cub. С учётом производившихся после войны более усовершенствованных самолётов Каб J-4 Купе (Cub J-4 Coupe), компания Пайпер произвела в общей сложности 14125 гражданских и 5703 военных экземпляра. Пайпер Каб стал легендой авиации общего назначения, он наиболее известный и популярный лёгкий двухместный самолёт на «западе».

Производился в течение 80 лет — абсолютный рекорд в истории авиации. Новые модели пришли на замену J-3, но его многочисленные модификации (PA11, PA14 Cruiser, PA16 Clipper, PA18 Super Cab) летают и сегодня