Po upadku rewolucji lat 1905-1907 w Królestwie Polskim najwybitniejsi uczestnicy wystąpień antyrosyjskich oraz licząca kilka tysięcy grupa patriotycznej młodzieży schronili się w Galicji. Najaktywniejsi skupili się w tajnym Związku Walki Czynnej założonym przez Kazimierza Sosnkowskiego z inspiracji Józefa Piłsudskiego we Lwowie w czerwcu 1908 roku, którego jawnym przedłużeniem stały się organizacje paramilitarne, powstałe w 1910 roku: Związek Strzelecki we Lwowie oraz Towarzystwo „Strzelec” w Krakowie. Ich naczelny cel, sformułowany przez Piłsudskiego, stanowiło przygotowanie kadr dla wojska powstańczego, które miało wystąpić przeciwko Rosji w chwili wybuchu europejskiego konfliktu zbrojnego. Za przykładem towarzystw strzeleckich powstawały też inne organizacje paramilitarne: Polskie Drużyny Strzeleckie, Drużyny Bartoszowe, Polowe Drużyny Sokole oraz Drużyny im. Tadeusza Kościuszki, w których także szkoliła się młodzież polska.
W przededniu wybuchu wojny austriacko-rosyjskiej, na początku sierpnia 1914 roku, Piłsudski doprowadził do koncentracji w krakowskich Oleandrach zmobilizowanych członków związków i drużyn strzeleckich, w tym tzw. Kompanię kadrową, która 6 sierpnia 1914 roku wyruszyła do Królestwa z zamiarem wywołania powstania przeciwko Rosji i utworzenia samodzielnej polskiej siły wojskowej. W ślad za nią granicę zaboru rosyjskiego przekraczały następne pododdziały. Obojętna postawa większości mieszkańców zaboru rosyjskiego zmusiła jednak Piłsudskiego do porzucenia tych planów.
Piłsudski podporządkował się Naczelnemu Komitetowi Narodowemu, utworzonemu 16 sierpnia 1914 roku w Krakowie, a jego oddział, który rozrósł się już do rozmiarów pułku, został włączony do Legionów Polskich organizowanych przez czynniki polskie przy armii austro-węgierskiej. W formacjach tych obowiązywała polska komenda, polskie było też umundurowanie. W oddziałach podporządkowanych Piłsudskiemu panowały bardzo demokratyczne stosunki, dowódcy niższych szczebli, do kompanii włącznie, byli obieralni. Początkowo nie istniały stopnie oficerskie, a tylko funkcje dowódcze: komendanta kompanii, batalionu itp. Orzełek strzelecki nie miał korony, a przy wzajemnym zwracaniu się do siebie wszystkich żołnierzy obowiązywała forma „obywatel”. Obowiązywało też tradycyjne salutowanie dwoma palcami.
Na czele Legionów stała Naczelna Komenda Legionów Polskich. Funkcje komendantów pełnili kolejno wyżsi oficerowie austriaccy: generał Karol Trzaska-Durski (od 22 września 1914 roku), generał Stanisław Puchalski (od 1 lutego 1916 roku), pułkownik Stanisław Szeptycki ( od 14 listopada 1916 roku), pułkownik Zygmunt Zieliński ( od kwietnia 1917 roku). Kierowali oni organizacją Legionów z ramienia Naczelnej Komendy Armii Austro-Węgierskiej oraz przekazywali jej do decyzji postulaty i życzenia NKN.
Choć planowano sformowanie dwóch legionów: Wschodniego i Zachodniego, to ostatecznie utworzono tylko Legion Zachodni. W jego ramach 19 grudnia 1914 roku została utworzona I Brygada Legionów, a dowództwo nad nią objął Józef Piłsudski. W 1914 roku I Brygada walczyła w Królestwie Polskim i Galicji Zachodniej, m.in. pod Laskami koło Dęblina i Łowczówkiem koło Tarnowa, natomiast formowane następnie pułki 2 i 3 biły się jesienią i zimą na przełomie 1914 i 1915 roku w Karpatach Wschodnich pod Mołotkowem, Rafajłową i Kirlibabą. Stworzyły one następnie II Brygadę. W 1915 roku I Brygada walczyła m.in. pod Konarami i nad Styrem, II Brygada zaś – pod Rarańczą i Rokitną. Latem 1915 roku sformowano także III Brygadę, której oddziały walczyły u boku I Brygady. Jesienią wszystkie trzy brygady, które osiągnęły liczebność około 25 000 żołnierzy, obsadziły jeden odcinek frontu pod Kostiuchnówką, gdzie w lipcu stoczyły największą bitwę, powstrzymując natarcie Rosjan podjęte w ramach ofensywy Brusiłowa.
Bohaterska postawa żołnierzy Legionów Polskich skłoniła naczelne władze niemieckie do wysunięcia koncepcji szerszego sięgnięcia po wojskowe rezerwy okupowanego kraju, toteż Legiony zostały wycofane z frontu celem ich dozbrojenia i przekształcenia w armię pod nadzorem niemieckim jako tzw. Polska Siła Zbrojna (Polnische Wehrmacht). Było to zgodne z decyzjami politycznymi Austro-Węgier i Niemiec, które tzw. „Aktem 5 listopada” 1916 roku zapowiedziały utworzenie wojska polskiego.
W dniu 20 września 1916 roku Legiony Polskie zostały oficjalnie przemianowane na Polski Korpus Posiłkowy, który w kwietniu 1917 roku został przekazany pod dowództwo niemieckie z zamiarem włączenia do Polskiej Siły Zbrojnej. Gdy w lipcu 1917 roku zażądano od Królewiaków złożenia przysięgi na wierność sojuszniczą armiom niemieckiej i austro-węgierskiej, większość legionistów odmówiła jej wykonania, idąc w tej mierze za poleceniami Piłsudskiego. Doprowadziło to do uwięzienia Piłsudskiego oraz rozwiązania I i III Brygady. Żołnierzy pochodzących z terenów Królestwa internowano, a solidaryzujących się w nielicznej Polskiej Sile Zbrojnej, Galicjanie zaś jako Polski Korpus Posiłkowy (PKP) wrócili pod austro-węgierskie dowództwo. W dniu 15 lutego 1918 roku, w proteście przeciwko oddaniu Chełmszczyzny Ukrainie w traktacie brzeskim, pułkownik Haller przebił się z częścią PKP przez front pod Rarańczą i połączył się z polskimi formacjami w Rosji.