Urodził się w Niemczech w zasymilowanej rodzinie żydowskiej. W młodości związał się z ruchem syjonistycznym. Najpierw studiował matematykę w Berlinie, lecz jej nie ukończył. W latach 1917-1918 studiował matematykę i filozofię w Jenie, a 1918-1922 filozofię, judaistykę i języki semickie w Berlinie i Monachium. W tym czasie zawiązał znajomości z najwybitniejszymi umysłami spośród Żydów niemieckich tego czasu. Poznał Martina Bubera, Franza Rosenzweiga i Waltera Benjamina. Zwłaszcza znajomość z Buberem stała się dla niego owocna, bowiem ten nakłonił go do zajęcia się żydowskim mistycyzmem. Sam osobiście został zafascynowany środowiskiem ortodoksjichasydzkiej, z którą zetknął się w Berlinie. Przez krótki czas wykładał w na uniwersytecie berlińskim, ale już w 1923 wyjechał do Palestyny. W latach 1925-1964 pracował jako wykładowca judaistyki i mistyki żydowskiej na Uniwersytecie Hebrajskim w Jerozolimie. Aktywnie włączył się w ruch pojednania żydowsko-arabskiego. Uczestniczył w zjazdach intelektualistów w Asconie, gdzie poznał m.in. Carla Gustava Junga i Mircea Eliadego. W 1959 prowadził swe badania w Polsce.
Gershom Scholem za swego życia był niekwestionowanym autorytetem w dziedzinie mistyki żydowskiej, a jego praca i osobowość zdominowały tę naukę. Również i dzisiaj, mimo rosnącej krytyki ze strony młodszych badaczy, jego prace pozostają fundamentalne dla tej gałęzi judaistyki. Swą pracę doktorską poświęcił księdze Sefer ha-Bahir, zaś w pierwszych latach swej pracy naukowej pogłębiał zainteresowanie kabałą. Szczególnie cenne są jego badania nad sabbataizmem, w którym widział istotny czynnik rozwoju żydowskiego mistycyzmu aż do XVIII w., w przeciwieństwie do swych poprzedników, którzy widzieli w nim marginalny epizod. Efektem prac Scholema było uznanie mistycyzmu za istotny i niezbywalny składnik żydowskiej kultury i religijności. W 1941 wydał swoje opus magnum - Die jüdische Mystik in ihren Hauptströmungen, które to dzieło do dziś jest uznawane za niezwykle istotne. Z innych istotnych zagadnień poruszanych przez Scholema należy wymienić kwestię mesjanizmu, która była dla niego jednym z głównych motorów przemian w mistycyzmie i gnostycyzmu żydowskiego, pod którego kątem rozpatrywał np. Mistykę Merkawy. Jako pierwszy zajął się głębiej problematyką chasydyzmu niemieckiego i kabały profetycznej Abrahama Abulafii. Obecnie na Uniwersytecie Hebrajskim działa Centrum Badań nad Mistycyzmem Żydowskim i Kabałą im. Gershoma Scholema. Przyznawane są także nagrody jego imienia za wybitne osiągnięcia w tej dziedzinie.
W wydawnictwie Pogranicze wydano:
Scholem Gershom, Żydzi i Niemcy. Eseje. Listy. Rozmowa. Sejny 2006, Pogranicze.