Если на сервере не настроено кеширование, то ничего вам не поможет. Начинать нужно с сервера, только потом переходить к сайту.
Если сервер настроен, но скорость не возрастает, копать в теме. Google показывает какие элементы торамозят загрузку, дает рекомендации по их устранению.