Предприимчивых отца и сына подстерегали новые удары судьбы. Началась Вторая мировая война, Дания была оккупирована фашистскими войсками. Жить и работать стало сложнее, кроме того война перечеркнула надежды отца дать сыну достойное образование. Сам основатель LEGO окончил лишь начальную школу и мечтал, чтобы Готфрид учился в университете. Этим мечтам не суждено было сбыться.
В 1942 году единственная фабрика компании сгорела дотла. Оле Кирк пришел в отчаяние – рухнул с таким трудом налаженный бизнес, единственный источник дохода. Но предприниматель решил не сдаваться и заново наладил производство игрушек (от остального ассортимента было решено отказаться). Ему удалось не только восстановить, но и расширить производство – уже в следующем году в компании работало 40 человек.
