Josef Šíma se narodil roku 1891 do rodiny výtvarníků; dědeček byl sochařem a kameníkem, otec profesorem kreslení. Roku 1909 studoval na Uměleckoprůmyslové škole v Praze, v letech 1910–1914 na pražské akademii u profesora Jana Preislera a Vlaha Bukovace. V letech 1913 až 1915 byl zároveň studentem pozemního stavitelství v Brně.

Aktivně se účastnil bojů ve Světové válce (1915–1918). Po návratu předsedal Klubu výtvarných umělců Aleš v Brně, roku 1920 nastoupil jako asistent technického kreslení na VUT v Brně a téhož roku spoluzakládal skupinu Devětsil. Šímovou poslední prací v Praze byla scéna pro hru R.U.R. Karla Čapka.

Než roku 1920 odjel do Paříže, strávil prvních devět měsíců pod Pyrenejemi, v Hendaye, kde pracoval jako malíř pro slavného výrobce uměleckých vitráží Mauméjean. Po svatbě s Nadine Germainovou v roce 1923 získal roku 1926 francouzské občanství, nicméně udržoval čilý kontakt se svou bývalou vlastí. Vystavoval a podílel se o své dojmy z Paříže především ve spolupráci s pražským nakladatelstvím Otakara Štorcha-Mariena Aventinum, ve kterém roku 1927 vydal i své nejvýznamnější a pro česko-francouzský umělecký kontext zcela ikonické grafické album Paříž, soubor osmnácti vlastnoručně kolorovaných leptů, doprovázejících texty francouzských autorů o Paříži.

V Paříži samé se ve 20. letech živil převážně ilustracemi děl svých básnických přátel, ale od počátku tu i maloval, především snové krajiny a portréty. Na první výstavě v roce 1929 vystavil zejména krajiny, na druhé pak v roce 1930 portréty svých přátel pod názvem Énigme de la face (Tajemství tváře). Obě výstavy se konaly v Galerii Povolozky na adrese 13, rue Bonaparte. Předmluvu k druhému katalogu napsal básník Roger Gilbert-Lecomte, podobně jako Šíma člen skupiny Le Grand Jeu (1927–1932), která inklinovala k imaginativnímu surrealismu, tedy surrealismu jiného typu, než byl surrealismus definovaný Bretonem jako umění spíše iracionální podstaty. Vztahy obou skupin se sice v roce 1929 vyhrotily, ale Šíma zůstal v dobrých vztazích jak s Bretonem, tak s Éluardem a dokonce je doprovázel při jejich slavné návštěvě Prahy roku 1935. V roce 1939 byl mobilizován, ale už v prosinci poslán do výslužby. Válku prožil s velkým psychickým strádáním v jižní Francii, zapojil se tu i do odboje, ale přestal úplně malovat. Po válce se stal vládním zmocněncem pro kulturní záležitosti obnoveného československého velvyslanectví v Paříži, přímo v Masarykově domě v rue Bonaparte. V této funkci uspořádal v roce 1945 výstavu českých umělců ve Francii a roku 1946 odjel společně s Paulem Éluardem do Prahy, aby tu vybrali díla pro výstavu mladého československého umění, která se konala v létě v Galerii La Boëtie. Spřátelil se tu především se členy Skupiny 42, mj. s Jiřím Kolářem. Po roce 1948 už ale nikdy do své bývalé vlasti nepřijel. V roce 1950 pak zjevně i z politických důvodů opustil místo zmocněnce pro kulturní styky na ambasádě a znovu se vrátil k malování. Měl štěstí, protože ho zastupovali velmi významní galeristé. Nejprve Paul Facchetti a od roku 1965 Jean Hugues, majitel proslulé galerie Le Point Cardinal. Hugues patřil k předním mediátorům literárního a výtvarného světa a Šímu přivedl do vzácné společnosti svých básníků a malířů – mezi jinými i Reného Chara a Henriho Michauxe. V letech 1963–1969 pobýval Šíma v Remeši, kde se vrátil ke své první francouzské profesi a ve slavné manufaktuře Charlese Marqa vytvořil vitráže pro okna tamního kostela svatého Jakuba. V Musée national d’art moderne v Paříži na retrospektivní výstavě, která se konala ve stínu neblahých československých událostí od 7. listopadu do 23. prosince 1968, tedy tři roky před jeho smrtí, se malíři dostalo důstojného zhodnocení celoživotního díla. Jeho poslední velká pařížská výstava se konala v roce 1992.