Помимо всего прочего, вы можете устанавливать все нужные гемы (и их зависимости) не в системную директорию для гемов, а в любое другое место. Хорошей практикой является установка необходимых приложению гемов в директорию этого приложения по адресу vendor/bundle.

Делается это вот такой командой:

bundle install --path vendor/bundle

Если вы однажды использовали команду bundle install с ключом --path, то все последующие вызовы этой команды будут устанавливать гемы в указанную папку. Чтобы вернуться к установке гемов в системную директорию, используйте ключ --default.