Крон отдельно, обработка прайсов отдельно. Это разные вопросы. В крон заносишь скрипт, который и обрабатывает прайсы перед импортом. Дубли можно убрать сравнением ид, заголовка, артикула. Но если у тебя все у товаров разное, то дубли удалять только в ручную.