Есть ли способ заставить `xmodmap ~/.Xmodmap` работать быстрее?

На Fedora 19, когда я бегу xmodmap ~/.Xmodmap он блокирует мой дисплей на 15-20 секунд. Команда завершается успешно, но я не уверен, почему это занимает так много времени. Я предполагаю, что есть модуль X, который должен быть перезагружен, или что-то в этом роде.

Есть ли способ сделать это быстрее?