Распространение большого набора данных (80 ГБ +) через Интернет
Я видел несколько похожих вопросов, но они касаются файлов размером менее 1 ГБ, и ответы обычно рекомендуют такие службы, как Dropbox, S3 и Skydrive. Это не подходит для моих нужд.
У меня есть очень большой набор данных (общедоступная история матчей Dota2), который в исходном виде в MongoDB (без индексов) составляет около 800 ГБ. Сбросив его и используя уровень сжатия 7Zip Ultra, я могу достичь степени сжатия около 9-10%, я могу уменьшить этот размер примерно до 80 ГБ для распространения. Я ищу способ сделать эти сжатые файлы общедоступными, но не уверен, что это лучший способ их распространения. Я могу разбить файлы на более мелкие части, выполнив дамп с запросом. Это оказывает незначительное влияние на степень сжатия.
Мой домашний интернет имеет очень низкую скорость загрузки (макс. 1,3 Мбит / с, часто ограничивается), поэтому я бы предпочел не пропустить торрент из моего домашнего подключения.
Каков наилучший способ распространения этого набора данных? Может ли быть способ дополнительно сжать набор данных?
РЕДАКТИРОВАТЬ: Поскольку этот вопрос был отмечен как дубликат, я не думаю, что я могу ответить на него больше. Я не уверен, как кто-то думает, что это дубликат вопроса, где принят ответ "Dropbox", но для любого, кто наталкивается на этот вопрос по лучшим вариантам, выглядит следующим образом:
Используйте BitTorrent в качестве протокола передачи, но размещайте файлы с поставщиком "Seedbox". Похоже, что это поставщики VPS, ориентированные на предоставление пропускной способности и места для хранения для активных пользователей протокола BitTorrent. В качестве средней цены достаточно места и пропускной способности для моих нужд примерно за 10 долларов в месяц. Чтобы передать файлы на хостинг-провайдеров, я скопирую их на внешний диск и затем отправлю их по FTP на хостинг из нескольких мест, где у меня есть доступ к интернет-соединениям.