Если свой алгоритм, то как объяснять что нужно там делать?
В обычном варинате, есть ключ, ключ шифруется, с сайта оплаты возвращается ответ, сравнивается и по результату заказа или сохраняется, или отклоняется.
Но все хавист от сайта оплаты, то что он возвращает при успехе или ошибки оплаты.