沙尔克04的前身是于1904年成立的威斯特法倫1904沙尔克俱乐部（Sportclub Westfalia 1904 Schalke），队名的来历是一座叫做“沙尔克”的矿井。因為盖尔森基兴是煤矿城市，所以成员都是煤矿工人。1924年改名为沙尔克04足球俱乐部（FC Schalke 04）；5年后的1929年因获得盖尔森基兴市的财政协助而兴建新球场，更名為盖尔森基兴沙尔克04足球俱乐部（FC Gelsenkirchen-Schalke 04）。

沙尔克04总部

当时未成立德甲，联赛是德国锦标赛。沙尔克04在1934年首度奪得联赛冠军；1937年沙尔克04赢得了首个德国盃冠军。此後至1958年，沙尔克04一共赢得了17次德国锦标赛冠军。

沙尔克04是1963年德甲成立时的创始成员，但由于实力所限，多年來沙尔克04都未曾赢得德甲联赛冠军。1972年德国盃是沙尔克04当时之唯一錦標。自1981年至1991年，沙尔克曾三度降至德乙。至2001年和2002年兩赢德国盃，沙尔克04才得以挽回颜面。

2009/10赛季，沙尔克04获得德甲联赛亚军，这是该队近年来在德甲联赛的最佳战绩，也因此直接晋级2010/2011赛季欧洲冠军联赛小组赛。这一赛季的欧洲冠军联赛1/4决赛中，沙尔克04以两回合7比3的悬殊比分淘汰卫冕冠军国际米兰（客场5-2，主场2-1），首次晋级欧冠四强，然而好景不长，他们在随后的四强中被曼联淘汰。

2017/18年賽季，沙爾克04又奪歐冠資格，不過在2018/19年賽季歐冠16強被曼城雙殺。

2020/21賽季，沙爾克04延續上季16連不勝的低潮，以一波開季14連不勝穩居榜尾。直到2021年1月9日第15輪的比賽終於以4-0大勝賀芬咸取得賽季首場勝仗，但截至當日累積只有7分維持榜尾。這麼糟糕的表現降班是遲早的問題。

2021年4月20日，沙爾克04在德甲第30輪的比賽0-1負於比勒費爾德，持續一落千丈的表現，降班的事實亦無法改變，故提前確定2021/2022賽季降級至德乙。[1]

2022年5月15日，沙爾克04德乙排名榜首奪冠，重新升班至德甲。

2022/23賽季，沙爾克04最終輪客場2-4不敵RB萊比錫，以倒數第二之排名再次降級至德乙[2]。