Первым делом подключаем репозитарий EPEL
rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/i386/epel-release-5-4.noarch.rpm
Для x64 систем устанавливаем репозитарий отсюда:

rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/x86_64/epel-release-5-4.noarch.rpm
В нем нет ветки php 5.3.x, он подключается для разрешения некоторых зависимостей при последующей установке.

И подключаем репозитарий Remi:

rpm -Uvh http://rpms.famillecollet.com/enterprise/remi-release-5.rpm
Устанавливаем MySQL:

yum --enablerepo=remi install mysql-server
Ставим php и apache

yum --enablerepo=remi install httpd php php-common
Устанавливаем модули для php (мне нужны только эти модули):

yum --enablerepo=remi install php-pear php-pdo php-mysql php-pgsql php-pecl-memcache php-gd php-mbstring php-mcrypt php-xml

Запускаем apache и mysql

service httpd start
service mysqld start

Задаем пароль root для MySQL

mysql_secure_installation

Теперь на сервере имеем установленные PHP 5.3.6, Apache 2.2.3 и MySQL 5.1.56 =)