1. За вывод подкатегорий отвечает шаблон /themes/default/category.tpl
<ul class="inline_list">
{foreach from=$subcategories item=subcategory}
2. За расположение на странице отвечает файл стилей /themes/default/css/category.css
inline_list {...
Для отображения подкатегорий в виде списка (линейное), нужно изменить файл стилей. Пример стилей для расположения в виде списка вы найдете в файле /themes/default/css/product_list.css
#product_list li {...