Josef Šíma est né en 1891 dans une famille d’artistes ; son grand-père était sculpteur et tailleur de pierre et son père était professeur de dessin. En 1909, il étudie à l’École des beaux-arts de Prague, puis à l’Académie de Prague de 1910 à 1914 sous la tutelle des professeurs Jan Preisler et Vlaha Bukovac. De 1913 à 1915, il étudia également la construction de bâtiments à Brno.

Il participa activement aux combats de la première guerre mondiale (1915–1918). À son retour, il présida le club artistique Aleš à Brno. En 1920, il commença à travailler comme assistant de dessin technique au VUT également à Brno et co-fonda la même année le groupe Devětsil. Le dernier travail de Šíma à Prague a été la scène pour la pièce R.U.R. de Karel Čapek.

Avant de partir pour Paris en 1920, il passa les neuf premiers mois sous les Pyrénées, à Henday, où il travailla comme peintre pour le célèbre fabricant de vitrail Mauméjean. Après son mariage avec Nadine Germain en 1923, il acquit la nationalité française en 1926 mais conserva un contact actif avec son ancienne patrie. Il exposa et contribua ses impressions de Paris en collaboration avec la maison d’édition praguoise Otakar Štoch-Marien Aventinum, dans lequel il publia également en 1927 son plus important album graphique Paris et dans le contexte artistique tchéco-français, totalement emblématique. Cet ensemble de dix-huit eaux-fortes coloriées à la main fut accompagné par des textes d’auteurs français de Paris.

À Paris, dans les années 1920, il gagnait principalement sa vie en illustrant les œuvres de ses amis poètes, mais dès le début, il peignait notamment des paysages de rêve et des portraits. Lors de sa première exposition de 1929, il exposa principalement des paysages. En 1930, pour sa deuxième exposition, il afficha les portraits de ses amis sous le nom Énigme de la face. Les deux expositions ont eu lieu à la Galerie Povolozky, à l’adresse 13, rue Bonaparte. La préface pour le deuxième catalogue a été écrit par le poète Roger Gilbert-Lecomte, membre comme Šíma du groupe Le Grand Jeu (1927–1932), qui tendait au surréalisme imaginatif, un surréalisme d’un type différent du surréalisme défini par Breton comme un art de nature plutôt irrationnelle.

En 1929, bien que les relations des deux groupes se soient détériorées, Šíma a maintenu de bonnes relations avec Breton et Éluard et les a même accompagnés lors de leur célèbre visite à Prague en 1935. Šíma a été mobilisé lors de la guerre en 1939 et a été envoyé en service en décembre. Il passa la guerre dans le sud de la France avec une grande souffrance psychologique. Il y rejoignit également la résistance mais cessa complètement de peindre. Après la guerre, il devint commissaire aux affaires culturelles de l’Ambassade Tchécoslovaque, restaurée à Paris, dans la maison de Masaryk, rue Bonaparte. À ce titre, il organisa une exposition d’artistes tchèques en France en 1945 et, avec Paul Éluard, se rendit à Prague en 1946 pour sélectionner des œuvres destinées à l’exposition de jeunes artistes tchécoslovaques présentée à la galerie La Boëtie en été.

À cette occasion, il s’est lié d’amitié avec les membres du Groupe 42, notamment avec Jiří Kolář. Après 1948, il ne revint plus jamais dans son ancienne patrie. Puis, en 1950, pour probablement des raisons politiques, il quitta son poste aux relations culturelles à l’ambassade et se remit à peindre. Il a eu de la chance car il était représenté par de très prestigieuses galeries ; d’abord Paul Facchetti et, à partir de 1965, Jean Hugues, propriétaire de la célèbre galerie Le Point Cardinal. Hugues fût l’un des plus importants médiateurs du monde littéraire et artistique. Il introduit Šíma dans la précieuse société de poètes et peintres, parmi lesquels figuraient aussi René Char et Henri Michaux. De 1963 à 1969, Šíma vivait à Reims, où il revint à sa première profession française et créa les vitraux pour l’église Saint Jacques, dans la célèbre usine Charles Marq. Lors d’une exposition rétrospective du 7 novembre au 23 décembre 1968 au Musée national d’art moderne à Paris, organisée dans l’ombre des malheureux événements tchécoslovaques, trois ans avant sa mort, le peintre a reçu une appréciation célébrant son travail de toute une vie. Sa dernière grande exposition parisienne a eu lieu en 1992.