Нужно зарегистрировать ваш класс, чтобы система знала, что он есть.
initialization
RegisterFmxClasses([TCustomRoundRect]);
end.
Регистрацию делают в секции инициализации.
Для справки
Стиль сохраняется в бинарном виде. Поэтому, когда идет чтение стиля из бинарного вида, то система должна знать, а экземпляр какого класса именно нужно создать при чтении. Названия класса не достаточно, так как классов с одним именем может быть несколько. Чтобы четко указать, нужно сделать регистрацию вашего класса. Этот подход так же используется и в VCL.