Ради эксперимента пробовал на ScrollBox кидать (runtime) достаточное кол-во объектов (TRectangle) - более 100. Правда стили не использовал. На 4 аппратах (2013, 2014, 2010 годов), т.е. с разными процессорами и ОЧЕНЬ разной производительностью проблем с вылетом или тормозами не заметил. Так - что:
1) Какие контролы кидаете? это вычеркнул, не внимательно прочел в Вашем посте...
2) Попробуйте отключить стили
3) Если контролы "кидаете" в рантайм - проверьтесь на освобождение ресурсов, выход за рэйндж и пр.