Нужно в настройках js определить размеры всплывающего окна. В шаблонах Fancybox определить типы изображений. В админке установить размеры для этих типов.Перегенировать миниатюры изображений для этого типа.
В папке темы должны быть.