Если нужно менять цвет, то выбирайте TRectangle, как выше писали. Он полностью заменяет TPanel + имеет много возможностей по оформлению заливки и рамки, даже углы можно закруглить и т.п.
Ну значит точно в биндинге дело, делайте вот так:
FIdTCPServer.Bindings.Clear;
with FIdTCPServer.Bindings.Add do
begin
IP:='0.0.0.0';
Port:=ATCPPort;
end;