Jednym z pierwszych urządzeń spełniających kryteria „rakiety” był „latający gołąb” – drewniany ptak poruszający się dzięki strumieniowi pary pod ciśnieniem, zbudowany przez Greka Archytasa w IV wieku p.n.e.1) Data pierwszego pojawienia się rakiet we właściwym tego słowa znaczeniu, jako napędzanych siłą odrzutową pocisków, nie jest jednoznacznie stwierdzona, gdyż szczątkowe przekazy pochodzą z różnych miejsc i czasów. Prawdopodobnie jednak przodowali w tym Chińczycy, którzy znali rakietowe fajerwerki już w III w. p.n.e. Początkowo fajerwerkami były bambusowe kije wypełnione mieszanką saletry, siarki i węgla drzewnego, eksplodujące po wrzuceniu do ognia (możliwe, że pierwsze „rakiety” powstały przypadkowo – były to te bambusy, które zamiast eksplodować, wystrzeliwały z ogniska w feerii iskier i dymu). Bardziej zaawansowany i wydajny czarny proch, będący wciąż mechaniczną mieszanką tych samych składników, ale już w określonych proporcjach (saletra, czyli azotan potasu – 75%, węgiel drzewny 15%, siarka 10%) powstał również w Chinach około VI wieku. Początkowo wypełnione prochem pojemniki wystrzeliwano z łuku, później odkryto, że mogą one być odpalane samodzielnie dzięki odrzutowi wydzielanego gazu. Kij przymocowany do pojemnika z prochem pełnił rolę prostego systemu naprowadzającego, podobnie jak w dzisiejszych fajerwerkach.

Pierwsze udokumentowane świadectwo użycia rakiet do celów innych niż rozrywkowe pochodzi z roku 1232 z opisu chińsko-mongolskiej bitwy pod Kaifeng, kiedy to Mongołowie zostali odparci między innymi dzięki „ognistym strzałom”, które płonąc, dymiąc i świszcząc, wywoływały popłoch u najeźdźców. Prawdopodobnie skuteczność tych pierwszych rakiet polegała właśnie na psychologii, a nie na sile destrukcyjnej. Mongołowie szybko przejęli umiejętność produkcji rakiet, a za ich pośrednictwem ta wiedza przeniosła się do Europy. W okresie od XIII do XVI wieku, historia prochu i rakiet związana była z takimi nazwiskami jak Albertus Magnus (XIII-wieczny niemiecki filozof), Roger Bacon (XIII-wieczny angielski mnich i naukowiec eksperymentator), Muratori (XIV-wieczny włoski historyk, twórca słowa rochetta, opisującego ogniste strzały), Jean Froissart (XIV-wieczny francuski historyk i poeta) i Giovanni da Fontana (XV-wieczny włoski autor) – obaj niezależnie od siebie wymyślający fantastyczne na owe czasy zastosowania rakiet, takie jak bazooka czy torpeda – czy Vannoccio Biringuccio (XVI-wieczny włoski chemik, próbujący opisać naturę ruchu rakiet). Znacząco przyczynili się oni do rozwoju i utrwalenia artylerii rakietowej jako istotnej części wojskowości.

Od XVI wieku artyleria rozwija się w innym kierunku, a rakiety przestają być bronią – zaczynają być używane, jak niegdyś w Chinach, jako fajerwerki. Właśnie w tym rozrywkowym przemyśle pojawiły się pierwsze rakiety wieloczłonowe, pozwalające wynosić fajerwerki na dużo większą wysokość. Pierwszy zagadnieniem zainteresował się austriacki oficer artylerii Conrad Haas, a rozwinął je niemiecki producent fajerwerków Johann Schmidlap, który w roku 1591 odpalił niewielką rakietę dwustopniową. Pomysł był bardzo prosty – większa rakieta (pierwszy człon) wynosiła na pewną wysokość rakietę mniejszą (drugi człon), która zapalała się dopiero po wypaleniu i odpadnięciu pierwszej – i jest stosowany do dziś w rakietach latających w kosmos.

W XVII w. rozpoczyna się naukowe badanie fenomenu napędu odrzutowego. Jeszcze tylko polski inżynier artylerii Kazimierz Siemienowicz obszernie opisywał wojskowe zastosowania w dziele „Wielkiej sztuki artylerii część pierwsza” (1650 r.), rozważając rakiety wieloczłonowe, baterie rakietowe i pociski stabilizowane skrzydłami zamiast kijków. Podwaliny pod napęd odrzutowy położył Isaac Newton ze swoimi prawami fizyki, które wyjaśniały sposób działania rakiet oraz pozwalały im działać w próżni, a tym samym w kosmosie. Teorie szybko wywarły praktyczny wpływ na projektantów rakiet i już w 1720 r. duński profesor Willem Gravesande zbudował pojazd napędzany wyrzutami pary z rakiet, a w Niemczech i Rosji rozpoczęły się eksperymenty z rakietami o masie powyżej 10 funtów (45 kg – odrzut był już na tyle duży, że powodował powstanie sporej dziury w ziemi).

Na przełomie XVIII i XIX wieku rakiety epizodycznie odrodziły się jako broń artyleryjska.2) Takie pociski wciąż jednak pozostawiały wiele do życzenia pod względem celności i siły wybuchu, więc efektywności szukano w ilości wystrzeliwanych rakiet. Dopiero angielski wynalazca William Hale w 1844 r. wpadł na pomysł nadawania rakietom stabilizującego ruchu obrotowego, podobnie jak w kulach z broni palnej. Jednak już w latach 60. XIX w., w czasie wojen prusko-austriackich, rakiety znów okazały się bezradne wobec nowszych form artylerii. Relegowane do zastosowań pokojowych, wciąż jednak się rozwijały. Z 1821 r. pochodzą informacje o używaniu rakietowych harpunów do polowania na wieloryby, a od kiedy w latach 70. zauważono, że są w stanie rozciągnąć linę na przestrzeni blisko 1000 stóp (ok. 300 m), używano rakiet do holowania statków. Były też idee bardziej fantazyjne lub wręcz fantastyczne, jak na przykład pomysł używania rakiet do przenoszenia poczty.