Спасает то, что файловые хранилища всё больше приближаются к бытовым устройствам. Т.е. для управления таким домашним сервером уже не требуются специальные знания.

Я хочу рассказать и показать как можно подготовить файловое хранилище FileNode к работе с ZFS. Которая, как я считаю, является лучшей файловой системой для надежного хранения данных.

FileNodeOS, которая предустановлена на серверах FileNode, управляется через русскоязычный веб-интерфейс. Поэтому вам достаточно лишь набрать в адресной строке вашего браузера адрес сервера и получить доступ ко всем необходимым функциям.

Мы будем создавать ZFS аналог RAID-1, т.е. дисковый массив из двух дисков, с автоматическим зеркалированием информации, для обеспечения надежного ее сохранения.

Шаг первый: Форматирование дисков.

В веб интерфейсе необходимо выбрать пункт меню Диски->Форматирование.

На открывшейся странице выберите диск, который нужно отформатировать. Укажите, в качестве файловой системы, «ZFS storage pool device». И нажмите кнопку «Форматировать диск».
Повторите операцию для второго диска.

Шаг второй: Создание виртуального устройства ZFS

Теперь нам необходимо создать виртуальное устройство ZFS. Виртуальное устройство — это набор дисков и отношение между ними: зеркалирование, объединение,  и т.д.

Для создания виртуального устройства, выберите пункт меню Диски->ZFS->Виртуальные устройства. И нажмите «+», для создания нового устройства.

Тут необходимо ввести название нового устройства, только английскими буквами. В качестве типа устройства выберите «Зеркалирование данных (Mirror)». В поле «Устройства» кажите все диски, которые будут использованы. И нажмите кнопку «Добавить».

Во вновь открывшемся списке виртуальных устройств, не забудьте нажать кнопку «Применить изменения».

Шаг третий: Создание ZFS пула

На той же странице выберите закладку «Управление» и нажмите «+», для добавления нового пула.

Здесь вам нужно ввести название пула, выбрать вирутальные устройства, которые туда войдут и нажать кнопку «Добавить».

Во вновь открывшемся окне, со списком доступных ZFS пулов, не забудьте нажать кнопку «Применить изменения».

Всё! Ваши диски готовы к работе. Они будут доступны по адресу /mnt/<имя ZFS пула>. И вся информация, которая туда записывается, будет автоматически копироваться на оба диска нашего устройства. Так что, если один из дисков выйдет из строя, информацию можно будет прочитать со второго.

С другой стороны, хранение всех данных только в облаке, тоже плохо.

Поэтому разумным компромиссом представляется наличие домашнего сервера, на нем содержится все файлы, с которыми вы постоянно работаете. И копирование всей или самой важной информации куда-нибудь во внешнее хранилище, для большей надежности.

Проблема в том, что большинство подобных сервисов имеют самодельные клиенты, работающие под Windows и, если повезло, под Mac OS X. Если же ваш сервер работает под Linux или любым другим вариантом Unix, то круг доступных сервисов значительно сужается.

Одним из лучших, найденных мною, вариантов является Amazon Simple Storage Service, известный так же как AWS S3. AWS S3 предоставляет облачное хранилище данных, документированный интерфейс к нему и вполне доступные цены:

• $0,15 за каждый гигабайт в месяц в более надежном хранилище или $0,10 за каждый гигабайт в месяц за менее надежное хранилище.
• $0,10 за каждый гигабайт входящего трафика (закачивание на S3)
• $0,15 за каждый гигабайт исходящего трафика (скачивание с S3)

Таким образом, за хранение 100Gb файлов, в более надежном хранилище, вам обойдётся в $15/месяц. Еще $15 придётся отдать за закачивание туда этой информации. Дальнейшие обновления не должны есть много трафика.

Кроме того, вы можете выбрать где хранить ваши данные: в Америке, Европе или Азии. От этого будет зависеть стоимость хранения и перидачи данных. Ну и, конечно, скорость доступа.

Но самое приятное, что AWS S3 имеет доступный и документированный интерфейс. Это дало возможность создать большое количество платных и бесплатных клиентов под все возможные операционные системы. От приложений, имеющих графический интерфейс, до программ с интерфейсом командной строки и даже возможностью подключить это облачное хранилище, как дополнительный диск в системе.

Теперь о более и менее надежном хранилищах. Amazon декларирует надёжность сервиса на уровне 99.999999999%, для более надёжного, и на уровне 99,99%, для менее надёжного. Если переводить в более понятные величины, то при хранении 10 тысяч файлов существует вероятность потери одного из них один раз в 10 миллионов лет. И одного из 10 тысяч файлов в год, для менее надежного.

Итак. Разумные цены, возможность выбора степени надежности и места хранения, клиенты доступные для всех операционных систем и потребностей. Чего ещё желать?

Достаточно быстро я пришёл к ZFS, которая обладает достаточно интересными свойствами, например возможностью увеличивать объём доступного места в файловой системе путём простого подключения дополнительных дисков.

Нам же, для домашнего хранилища, более интересна возможность делать снимки сотояния файловой системы (снэпшоты) и потом откатываться на предыдущие состояния.

Т.е. в после случайного удаления нужных файлов в ZFS достаточно восстановить состояние файловой системы до удаления. И всё.

Особенно приятно, что приличная реализация ZFS существует не только для Solaris, но и для FreeBSD. Для Linux же полного счастья с ZFS, на сколько я понимаю, наступить не может. По лицензионным ограничениям невозможно сделать ZFS частью ядра. Хорошо, что я выбрал FreeBSD в качестве операционной системы своего хранилища.

К сожалению, даже разработчики ZFS не волшебники. И если вы хотите сделать надёжное хранилище из двух дисков, то единственный путь — зеркалирование, как и в RAID-1.

Онлайн надо все хранить, зачем с домашним сервером заморачиваться. Вряд ли у кого больше пары гигов незаменимых данных (плюс видео и фото, но это за копейки можно сбрасывать в сеть). Плюсов — масса. Пусть хоть вся квартира сгорит, данные в порядке.

Комментарий очень в тему, хочу ответить на него отдельным постом.

Нельзя не признать, что онлайновое хранилище имеет свои, достаточно серьёзные преимущества. Надёжность действительно, с высокой вероятностью, но не гарантированно, будет выше, чем в домашнем хранилище.

И количество подобных сервисов растёт и цены падают. Некоторые даже предлагают хранить 2-5Gb бесплатно.

Но! Но минусы есть и довольно существенные.

1. Большинство сервисов предоставляют всё же меньше места, чем необходимо. Либо цена уже устрашающа. У меня, например, объём занимаемый фотографиями и видео перевалило за 200Gb и быстро растёт. Подавляющее большинство этих данных появилось за последние два года, с рождения детей. +70Gb — музыкальный архив.

2. Большинство сервисов имеют клиентов только под Windows. Что мне, например, неприемлимо.

3. Скорость доступа крайне низка, для работы с большими фотографиями и исходниками видео. Когда каждая фотография по 12Mb особенно их туда-сюда не покачаешь, да и закачать 200Gb занимает очень много времени.

Короче, удалённые сервисы по хранению данных — несомненно польза. Но я бы скорее рассматривал их не как полную замену домашнему хранилищу, а как дополнение, для обеспечения ещё большей надёжности хранения.

P.S. Если подскажете сервис, куда можно закачать минимум 300Gb, за разумные деньги и возможностью доступа из *nix, буду сильно признателен

Коробочки

Коробочки — это сетевые хранилища, внутри которых установлены маломощные процессоры и достаточно мало памяти.

В результате, такие устройства не блещут скоростью и набором сервисов. Например, смотреть фильм высокого разрешения по сети, с такого устройства, врядли получится. И не каждый ещё сможет транслировать фильм обычного разрешения на достаточной скорости. Да и просто бекап достаточно большого объёма данных может затянуться. Практически все коробочки, если и поддерживают торренты, то условно, т.к. есть проблемы и со скоростью закачки, и со скоростью раздачи. А многие вообще не могут раздавать файлы, что ведёт к падению рейтинга и блокировке на торрент-трекерах.

Другая проблема подобных устройств — они вещь в себе. Т.е. в случае выхода такого сетевого хранилища из строя, по любому, поводу существует вероятность, что вы не сможете его отремонтировать, т.к. оно использует нестандартные комплектующие, или потеряете свои данные, т.к. не всегда известно какую файловую систему они используют на своих дисках.

Но зато коробочки достаточно дёшевы и, как правило, очень компактны и малошумны.

Домашние сервера

Домашние сервера — это, фактически, обычные компьютеры, использующие стандартные компоненты и обычные операционные системы, либо оберационные системы, специально модифицированные для использования в сетевыйх файловых хранилищах.

Модификация операционных систем заключаются в упрощении настройки и управления сервером. Прошли те времена, когда для управления файловым сервером требовались серьёзные знания в области истемного администрирования и умение вводить текстовые команды, невиданной длины. Сейчас всё значительно проще. Домашние сервера, как и коробочки, управляются либо через браузер, либо специальными графическими программами. Справиться с таким сервером сможет практически любой пользователь, а управление им ни чуть не сложнее управления коробочкой.

Но возможностей он предоставляет значительно больше.

Производительность файловых хранилищ выше, чем у коробочек. И скорость работы самого устройства уже редко бывает проблемой.

Как правило, на файловый сервер можно устанавливать дополнительные программы и сервисы. Например, торренты отлично качаются и раздаются на всю ширину канала.

Т.к. в подобных хранилищах используются стандартные компоненты и обычные операционные системы, то и восстановить его, в случае поломки, легче.

Я бы сказал, что у домашнего сервера всего два минуса, в сравнении с коробочками. Корпус: они, обычно, несколько больше, чуть тяжелее и немного шумнее. Кроме того, такие сетевые хранилища дороже.

Что выбрать?

Если вам критична цена, хранилище будет стоять у вас в спальне, прямо под ухом, и вам не важна скорость передачи файлов по сети и возможность качать торренты и другие файлы, то вы вполне можете рассмотреть покупку коробочки.

Во всех остальных случаях берите домашний файловый сервер, со специализированной операционной системой.

Метки

В дальнейшем я буду использовать метки «Коробочка» и «Домашний сервер», чтобы было понятно о каком типе сетевых файловых хранилищ идёт речь в заметке.

Вот, например, стоимость услуг одного из специализированных центров по восстановлению данных с повреждённых жёстких дисков.

Или вот из другой аналогичной организации.

Т.е. в случае выхода из строя вашего диска необходимо готовить от 4500 до 40000 (!) рублей и более. При этом, самое главное, никто не гарантирует полного восстановления данных или восстановления вообще. Т.к. данные могут быть уничтожены физически.

С учётом этой информации, стоимость сетевого, файлового хранилища в 10-20 тысяч рублей уже не выглядит устрашаюшей. Хранить свою важную информацию просто на жёстком диске компьютера может выйти заметно дороже, не считая собственно потери информации.

Так стоит ли играть в рулетку и надеяться на авось?

Идеальное файловое хранилище для дома, какое оно? Какими свойствами должно обладать?

Список достаточно небольшой:

• Дублирование хранимых данных
• Возможность работать в сети
• Поддержка распространённых файловых систем
• Поддержка стандартных сетевых протоколов
• Управление через браузер

Дублирование хранимых данных

Первое и самое важное — дублирование данных. В каждый момент времени необходимо иметь, как минимум, две копии данных.Чтобы, в случае утери одной из копий, данные можно было считать со второй.

Достичь этого, проще всего, с помощью автоматического копирования всей информации в хранилище на второй винчестер. Реализуется это либо используя RAID 1, либо файловую систему ZFS, либо нечто вроде реализации в Windows Home Server.

Таким образом, в нашем идеальном хранилище необходимо наличие, как минимум, двух винчестеров и возможности автоматического копирования информации на оба диска сразу.

Возможность работать в сети

Без поддержки сети вообще трудно представить себе подобное устройство. Это лучший способ организовать совместный доступ к данным с разных компютеров.

Кроме того, появляется возможность реализовать полезные сервисы. Вроде закачки файлов по протоколу BitTorrent, без использования основного компьютера. Трансляции видео и аудио на сетевые медиаплееры и так далее.

А вот скорость сетевого интерфейса не кажется мне принципиальной, в большинстве случаев. Гигабитные роутеры пока достаточно дороги и задач, где реально можно почувствовать разность между сетью в 100Mbit/s и гигабитной сетью, не очень много. Естественно, если вы собираетесь просматривать или редактировать видео высокого разрешения, то вам нужна гигабитная сеть.

Поддержка распространённых файловых систем

Этот вопрос имеет две стороны: возможность подключить уже имеющие диски, без перезаписи данных на них, и возможность прочитать информацию, в случае смерти самого устройства по тем или иным причинам.

Отсутствие каких-либо данных о файловой системе используемой в Netgear Storage Central Turbo SC101T стало одной из причин, по которой я отказался от использования этого устройства.

Поддержка стандартных сетевых протоколов

Поддержка стандартных сетевых протоколов передачи данных, таких как Windows Networking/Samba, NFS, FTP и т.д., позволит получить доступ к вашим данным с любого компьютера, с любой операционной системой.

И не нужно воспринимать этот пункт, как пункт для людей использующих «нестандартные» Linux и Mac OS X. Производитель хранилища вполне может не написать драйвер своего проприетарного протокола доступа к данным и для новой версии Windows, и тогда вы неожиданно получите дорогую, но бесполезную, коробку набитую кучей электроники.

Управление через браузер

По той же причине совместимости, лучше всего иметь возможность управлять вашим сетевым хранилищем с помощью браузера. Такой вид интерфейса так же будет работать на любом компьютере, с любой операционной системой.

Кроме того, при некоторой настройке, можно будет управлять своим хранилищем и через Интернет. Например, поставить на закачку новый фильм, чтобы к вашему приходу домой всё было готово.

Дополнительные сервисы по вкусу

До этого моемнта я говорил о тех свойствах, котороми обязано обладать любое приличное домашнее хранилище данных. Но редкое современное сетевое хранилище лишь обеспечивает хранение и доступ к данным.

Большинство так же предоставляет дополнительные возможности. Например, различные медиа-сервера для работы с сетевыми медиа-плеерами, предоставление доступа к принтеру различным компьютерам, закачку файлов из Интернета и т.д. и т.п.

Но эти сервисы уже нужно подбирать по вкусу и потребностям.

В принципе, он может таковой являться, если вы готовы поступиться многими возможностями и строго выполнять некоторые правила.

Давайте рассмотрим плюсы и минусы по пунктам...

Плюсы внешнего жёсткого диска

Первый, главный и часто определяющий выбор — цена. Действительно, попытаться решить проблему сохранности данных за 2500 рублей крайне привлекательно. Но стоимость эта условна, т.к. не нужно забывать, что необходимо хранить минимум две копии данных. Соответственно включайте в стоимость хранения либо ещё один диск внутри компьютера, либо ещё один внешний диск.

Простота обращения с устройством, крайне важный фактор для начинающих пользователей. Казалось бы, что может быть проще? Воткнул, всем знакомый, USB шнур в компьютер и пользуешься диском. Всё так, но, после первоначальной настройки, пользоваться сетевым хранилищем НЕ сложнее, где-то даже проще. А сложность первоначальной настройки, в современных устройствах, сведена к минимуму и не будет проблемой даже для начинающих пользователей.

На этом плюсы заканчиваются.

Минусы внешнего жёсткого диска

Необходимость синхронизировать хранимые данные со второй копией. В сетевом хранилище, с двумя дисками, копии всегда синхронизированы.

Т.к. основное время внешний диск отключен, синхронизацию нельзя сделать совсем автоматической. Как минимум, вам придётся взять диск, подключить его к компьютеру и запустить программу синхронизации.

Невозможность одновременного доступа к данным с разных компьютеров. Диск придётся отключать и отдавать.

И, естественно, в отличии от сетевого хранилища, внешний винчестер не может предоставлять сервисы, вроде закачки файлов по протоколу BitTorrent, локального веб-сервера, работы в связке с медиаплеером для показа ваших фильмов прямо на телевизоре и т.д.

Правила сохранения информации на внешнем диске

1. Любая важная информация должна иметь копию на другом диске. Внешние диски мрут с такой же частотой, как и все остальные.
2. После работы обязательно отключайте диск. Чем меньше он работает, тем позже наступит его конец.

Выводы

Если вы готовы смириться с необходимостью делать несколько лишних действий для синхронизации информации и прочими неудобствами. Подключать и отключать диск, каждый раз, когда вам нужен доступ к информации на нём. У вас в семье один компьютер или  невозможность одновременного доступа к данным вас не пугает. И экономия в несколько тысяч рублей кажется вам достойной компенсацией за всё вышеперечисленное, то внешний жёсткий диск несомненно является возможной альтернативой сетевому хранилищу.