Rsync: мощная утилита для быстрого, гибкого удаленного и локального копирования файлов

Rsync разработан для замены rcp – древней программы для удаленного копирования под Unix. Благодаря широким возможностям синхронизации и передачи файлов, rsync часто применяется для создания зеркал.
Использование хитроумного алгоритма, позволяет rsync передавать только изменения в файлах, причем для выявления изменений ему не надо сравнивать два файла. Кроме того, rsync производит сжатие на лету, позволяя тем самым передавать файлы с максимальной эффективностью.
Кроме вышеописанных вкусностей, rsync обладает также и несколькими полезными возможностями обеспечения безопасности. Он поддерживает ssh – рекомендованный протокол для безопасной передачи данных; перед обработкой информации производит ее запись во временный файл, чтобы ничего не случилось с оригиналом, наконец, он поддерживает специальный режим безопасной отладки команд.
Rsync прост в использовании, но не является программой «click-and-play». Это -мощный инструмент, который может быть очень полезным, но не стоит забывать об осторожности, так как его с помощью легко что-нибудь испортить.

Синтаксис утилиты
Синтаксис утилиты простой и довольно обыденный.
rsync [опции] источник [приемник]
Указав только источник, мы увидим список файлов без операции копирования.

Опции и примеры
Для простоты понимания, операции синхронизации привожу сперва локально.
Быстрый способ синхронизировать два каталога, это использовать опцию -a :
rsync -a foobar_src/ foobar_dst/
В данном случае файлы и директории из источника скопируются в приемник, при этом, если там были файлы, то совпавшие по имени будут перезаписаны, а остальные не тронуты.

Опция -a задает архивный режим работы утилиты, и является эквивалентом набора опций:
-r, --recursive - рекурсивный режим;
-l, --links - пересоздание symlinks , это значит, что символические ссылки будут так же переноситься;
-p, --perms - перенос прав;
-t, --times - передача времени модификации и его обновление на удаленной системе. Этот ключ должен быть установлен для точной синхронизации;
-g, --group - установить группу конечного файла таким же, как и у исходного;
-o, --owner - установить владельца конечного файла таким же, как и у исходного;
-D, - same as --devices --specials - установить тип файла устройства и файла специального типа таким же, как у исходного.
В итоге получаем копию директории источника. Кстати, это можно использовать при переносе ОС на другой винчестер, подправив /etc/fstab, установив/переустановив grub на новом винте - получаем рабочую систему, но это уже другая тема.

Для вывода информации о работе утилиты, существует опция -v, --verbose . Чем больше опций -v , тем боле информативным будет вывод утилиты. Максимальная информативность достигается при четырех опциях -v, --verbose .

Если у нас содержится в директории источника актуальная информация, то чтобы не засорять приемник информацией, которая в процессе работы была удалена или перемещена в источнике, нужно старые файлы и директории удалить. Для этого есть несколько опций удаления, каждая из которых предоставляет свой алгоритм удаления. Их аж шесть!
--del - сокращенная форма --delete-during ;
--delete - просто удалить посторонние файлы из приемника;
--delete-before - приемник удаляет перед передачей;
--delete-during - приемник удаляет в процессе передачи, но не перед;
--delete-delay - отложенное удаление/найти файлы для удаления в процессе передачи, но удалить после передачи;
--delete-after - приемник удаляет после передачи, но не перед ней;
--delete-excluded - так же удалить исключенные файлы в приемнике, для этого задается шаблон (--exclude=PATTERN).

Допустим у нас на приемнике есть более свежие файлы, и мы не хотим что бы они были перезаписаны старыми из источника, то для этого применяется ключ -u, --update .
-u, --update - пропустить файлы, если на приемнике файл новее.
Не стоит пугаться если изменились даты директорий, т.к. сами файлы небыли перезаписаны.

Порой файлы могут повредится или быть модифицырованы, но совпадать и датой и размером. То можно использовать проверку контрольной суммы, опция -c, --checksum .

Моей задачей было разобраться, как сделать резервную копию коллекций фотографий, музыки, наработок по университету и работе. При этом в источнике информация всегда актуальная, а то что удалено - мусор. Пример для решения моей задачи:
rsync -auvv --delete-during foobar_src/ foobar_dst/
Это обновит мой приемник, если он был уже чем то заполнен - вычистит то, чего нет в источнике, но не затронет файлы которые поновее, выведет статистику и состояние по каждому файлу.

Удаленная работа
Кроме того, очень полезным будет его способность работать через ssh. Что обеспечивает шифрование канала, что очень важно, если вы синхронизируете два сервера в сети интернет. Для уменьшение трафика, rsync так-же умеет сжимать данные, при передаче по сети.
Необходимы следующие опции:
-e - задать удаленный шелл для использования;
-z - сжимать передаваемые данные, либо задать:
-compress-level=9 - сжатие с установкой уровня компрессии.

Пример копирования с удаленного хоста по протоколу ssh:
rsync -avv --delete-during -compress-level=9 -e "ssh -p remote_ssh_port" user@host:/dir/to/foobar_src foobar_dst/
При этом, на стороне источника нужно иметь установленную утилиту rsync.

Надеюсь эта информация будет полезна многим. Больше информации про утилиту rsync вы сможете найти в ее же документации, благо она хорошо описана.
Там же вы можете найти информацию о том, как поднять дэмон rSync для непосредственного подключения без использования удаленного ssh шелла, а так же описание множества других опций на любой вкус и цвет.

Теги: rsync, копирование, резервирование файлов, синхронизация файлов

У замечательной и очень популярной программы rsync есть множество удобных опций и необычайных способностей, вот только их не так-то просто найти. Ну, если только вы не готовы прочитать весь мануал от корки до корки.

Попробую сберечь вам немного времени на чтение мануала и рассказать о самом важном и полезном. Простыми словами, как есть.

Зачем нужен rsync?

Зачем пользоваться rsync если есть привычные cp и scp , спросите вы.

В одной части rsync удобней и лучше упомянутых аналогов потому что он дает вам возможность увидеть все что он сделает при копировании файлов до непосредственно операции копирования.

В другой части - rsync по умолчанию копирует только новые и изменившиеся файлы, и даже не только файлы - а отдельные их части, делая это жестоко и эффективно.

Только этих двух причин достаточно чтобы в своей ежедневной работе забыть про cp , променяв эту команду и ее аналоги на rsync .

Принцип применения

Если мы говорим о простом копировании файлов, то первым делом всегда стоит сделать пробный прогон (ключ -n) в режиме с показом подробностей (-v):

rsync -avn source example.com:destination

В этом режиме rsync покажет список файлов, которые он скопирует. Будут скопированы только новые и изменившиеся файлы. Вы сможете убедиться что копируется сам каталог, а не содержимое, или что копируется именно содержимое.

После того как вы убедились что копируется именно то, что вы хотите, можно запускать самое настоящее копирование:

rsync -av source example.com:destination

В этой команде ключ -a подразумевает рекурсивное копирование всех файлов и каталогов включая их атрибуты, такие как дата создания и дата изменения. Ключ -v даст вам подробный отчет о работе по мере выполнения и по окончании.

Правила копирования каталогов

С одной стороны правила очень простые.

Если в конце пути до именованного источника нет слеша, то скопируется сам каталог.

$ rsync -avn path/to/source example.com:destination sending incremental file list source/ source/example.html ...

Если слеш есть, или источник указывает на каталог без имени, то скопируется содержимое каталога.

$ rsync -avn path/to/source/ example.com:destination ^^^ sending incremental file list example.html ... # Что эквивалентно такой команде: $ cd path/to/source; rsync -avn . example.com:destination

С другой стороны вполне можно в пылу забыть что и как, скопировав содержимое каталога вместо самого каталога , получив кучу хлопот с удалением лишних файлов, появившихся из ниоткуда с датами в прошлом (ключик -a , помните?).

Потому лучше всегда следовать обычному сценарию с предварительной проверкой операции.

Некоторые полезные ключи

Сначала поговорим об опциях которые вам будет здорово знать без шпор и шпаргалок.

Ключ -P включает сразу несколько опций. С этим ключем rsync и покажет процесс копирования отдельных файлов, и продолжит копирование если оно было прервано. Особо эта опция пригождается при копировании больших файлов. Ключ -P нужно указывать каждый раз, иначе rsync удалит файлы которые не успели полностью закачаться.

Если вы копируете файлы с какого-то очень занятого, или слабого, сервера, то можно исключить трату ресурсов процессора на вычисление изменившихся частей файлов, скопировав их целиком. Для этого нужен ключ -W .

Если вам хочется знать сколько всего, по мнению rsync, осталось работать, вам нужен ключ --info=progress2 . Если вы копируете целую файловую систему, то этот ключ, будучи использован сам по себе, вас разочарует: информация об итоговом объёме будет постоянно обновляться. Это происходит потому что rsync не пытается считать всю файловую систему до того как начнёт копирование, а делает обе задачи сразу.

Но не отчаивайтесь! Если вы хотите знать точно сколько осталось работать с самого начала, то можно отключить последовательное сканирование ключём --no-inc-recursive или, короче, --no-i-r .

$ rsync -ah --partial --info=progress2 --no-i-r source example.com:destination 623.38M 0% 82.23MB/s 0:11:10

Ключи выше есть начиная с версии 3.1.0, то есть уже работают в Debian stable.

Если требуется не просто скопировать файлы, а полностью синхронизировать содержимое каталогов, удалив лишние файлы, при этом вам почему-то не с руки синхронизировать файлы с помощью Git , то пригодится ключ --delete (или эквивалентный ему --del).

С этим ключём rsync удалит лишние файлы из каталого-назначения.

$ rsync -avn --delete source example.com:destination sending incremental file list deleting source/bad.txt source/ source/test.txt

Ключ -n в команде выше был оставлен намеренно.

О сжатии замолвим слово

Вопреки популярному заблуждению от использования сжатия внутри rsync (ключ -z) больше вреда, чем пользы. Дело в том что всюду используемый OpenSSH уже с версии конца 2005 года по-умолчанию использует сжатие передаваемых данных. Сами понимаете, сжатие уже сжатых данных только лишь использует ресурсы процессора, не уменьшая объем передаваемых данных.

В том, что при соединении с вашим сервером уже используется сжатие, можно убедиться так:

$ ssh -v [email protected] false 2>&1 | grep compression debug1: Enabling compression at level 6.

Если эта команда не покажет , в числе прочих, такую строчку про включение сжатия как выше, то может быть вам стоит использовать сжатие. Стоит проверить что от сжатия есть толк. Особенно это касается маломощных устройств с быстрым соединением: вашему NAS может быть быстрее скопировать что-то по гигабитному линку без сжатия, чем пытаться обогнать гигабитную сеть маломощным процессором.

К счастью, rsync достаточно умен чтобы не использовать сжатие если вы копируете файлы локально, из каталога на диск и т.п.

Копируем частично

Наверняка вам когда-нибудь понадобится чтобы rsync пропускал некоторые файлы при копировании.

В самом простейшем случае вам нужно чтобы rsync не копировал файлы разных систем контроля версий, включая каталог вроде.svn и.git . В этой задаче вам не нужно ничего кроме ключа -C (или --cvs-exclude в полной форме). Так файлы большинства популярных VCS будут проигнорированы будто их нет. Не забываем использовать -n при первом запуске.

rsync -nC example.com:source destination

Может получиться так что вы, по ошибке, скопируете кучу таких файлов от VCS. В этом случае для получения чистой копии вам пригодится ключ --delete-excluded , с которым все исключенные файлы будут удалены.

rsync -nC --delete-excluded example.com:source destination

Исключаем через.rsync-filter

Если нужные более гибкие правила, что особенно актуально если копирование делается регулярно, то лучше не мелочиться и оформить все исключения в файле.rsync-filter .

$ cat source/.rsync-filter - test.bin - *.tmp - /.cache - /example/ - /**/Trash/ - /.mozilla/firefox/*/Cache/ + Projects/**/Trash/

Для исключения чего-либо из списка на перенос нужно добавить в этот файл строчку с правилом (- или + в начале строки).

Если нужно исключить конкретный файл, где бы он ни был в любом каталоге ниже по иерархии, то укажем просто имя файла.

# никакой файл test.bin не будет скопирован - test.bin # все файлы.tmp будут пропущены - *.tmp

Если нужно исключить файл или каталог относительно каталога в котором находится.rsync-filter , то укажем со слешем в начале:

# не будет скопирован каталог или файл.cache, но будут скопированы foo/.cache и foo/bar/.cache - /.cache # не будет скопирован каталог example, но будет скопирован файл example - /example/

В правилах звездочка соответствует любым символам кроме слеша, а две звездочки соответствуют вообще любым символам:

# будут пропущены каталоги.local/share/Trash/ и Documents/example/Trash/ - /**/Trash/ # не будет пропущен каталог.mozilla/firefox/abcd.profile/ext/Cache/ # но будет пропущен каталог.mozilla/firefox/abcd.profile/Cache/ - /.mozilla/firefox/*/Cache/

Наконец, если нужно чтобы какие-то файлы всё-таки копировались, не смотря на ранее заданные правила, то их можно отметить правилом + в начале строки.

# каталог Projects/Example/layout/Trash/ будет скопирован + Projects/**/Trash/

Файлы.rsync-filter команда rsync умеет искать по всей структуре каталогов будучи запущена с ключём -F .

Если нужно чтобы сами эти файлы не копировались, то нужно указать этот ключ два раза так:

$ rsync -avFFn source example.com:destination sending incremental file list source/ source/example.html source/tmp/ source/tmp/foo.bin sent 174 bytes received 30 bytes 408.00 bytes/sec total size is 18,400 speedup is 90.20 (DRY RUN)

Как видите, лишние файлы не скопировались:

$ ls source/.rsync-filter source/foo.tmp source/foo.tmp source/.rsync-filter $ cat source/.rsync-filter - *.tmp

Ограничим rsync по ssh

Случается нужно разрешить работу rsync по ssh, удалённо и без пароля, только определённого для каталога и хоста, исключив копирование чего-либо в другие места или из других мест.

Например, вы хотите чтобы можно было скопировать файлы на сервер backup.example.com только с хоста server.example.com , только и только в каталог backup-example , и только с этими опциями:

$ rsync -aW --del source/ backup.example.com:destination/backup-example/

То сначала нужно получить команду, которую rsync выполняет при вызове ssh на удаленном хосте:

$ rsync -e "ssh -t -v" -aW --del source/ backup.example.com:destination/backup-example/ 2>&1 | grep command debug1: Sending command: rsync --server -lWogDtpre.iLsfxC --delete-during . destination/backup-example/

Соответственно, в ~/.ssh/authorized_keys на example.com следует добавить для известного ssh ключа запуск этой команды по-умолчанию при подключении:

from="server.example.com",command="rsync --server -lWogDtpre.iLsfxC --delete-during . destination/backup-example/",no-pty,no-port-forwarding ssh-rsa AAAA... # дальше ваш ключ

Таким образом, даже если при запуске rsync будут указаны какие-то другие опции, на сервере-назначении всё равно выполнится команда rsync соответствующая исходным, заданным вами, опциям и настройкам.

Если нужно чтобы ваш бекап нельзя было перезаписать или удалить на сервере назначения, то опцию --del следует заменить на --ignore-existing .

Машина времени

Те пользователи macOS и OS X, что делают бэкап, наверняка оценили работу Time Machine . Эта программа позволяет буквально в два клика вернуться к прошлой версии любого файла. Не смотря на все красивости, Time Machine не делает ничего такого чего мы не можем сделать с помощью rsync .

#!/bin/bash set -o nounset -o errexit cd $(dirname " $0 " ) date = $(date --iso-8601 = seconds) test -L latest || ln -s " $date " latest rsync --delete-excluded --prune-empty-dirs --archive -F --link-dest = ../latest " $@ " "./ $date " rm latest ln -s " $date " latest

Скрипт следует положить в корень того диска или каталога, куда следует делать бэкапы.

Запускать с указанием единственного аргумента: каталога с исходными файлами. Например, так.

/mnt/backups/backup /home

После нескольких запусков получается такая структура каталога:

2017-02-08T22:05:04+09:00 2017-02-08T22:10:05+09:00 2017-02-08T22:15:05+09:00 2017-02-08T22:20:06+09:00 2017-02-08T22:25:05+09:00 2017-02-08T22:30:04+09:00 latest -> 2017-02-08T22:30:04+09:00

При этом latest указывает на самый последний бэкап.

В каждом из каталогов содержится слепок того, что было в исходном каталоге в момент копирования. Можно подумать что и место на диске занято пропорционально количеству копий, однако это не так.

$ du -sh /mnt/backups 4,5M /mnt/backups $ du -sh /home 3,8M /home

Всё множество копий занимает лишь немного больше места чем исходный каталог. Место уходит на изменившиеся файлы.

Если ничего не менялось, то место всё равно расходуется на создание каталогов, которые нельзя хранить как жесткие ссылки .

$ du -hs 2017-02-08T22:20:06+09:00 2017-02-08T22:25:05+09:00 2017-02-08T22:30:04+09:00 3,8M 2017-02-08T22:20:06+09:00 136K 2017-02-08T22:25:05+09:00 136K 2017-02-08T22:30:04+09:00

Такая существенная экономия возможна благодаря упомянутым жестким ссылкам, которые rsync делает для файлов, не изменившихся с последнего копирования.

$ stat -c "%i" 2017-02-08*/example.txt | uniq 31819810

У одинаковых, не менявшихся, файлов будет один и тот же inode.

Конечно, по возможной экономии места на диске такому способу резервного копирования далеко до специальных программам, таких как

Потребность передачи файлов между серверами и компьютерами возникает довольно часто, особенно при администрировании нескольких устройств. Обычно для этих целей удобно использовать ssh и scp, но если файл очень большой, а изменена была только небольшая его часть, или вы хотите настроить постоянную автоматическую синхронизацию, то scp уже явно неидеальный вариант. Для этого существуют специальные утилиты. В этой статье мы рассмотрим одну из них. А именно будет рассмотрена rsync синхронизация в linux.

Rsync — это программное обеспечение с открытым исходным кодом, которое можно использовать для синхронизации файлов и папок с локального компьютера на удаленный и наоборот. Примечательная особенность Rsync — возможность передавать зашифрованные файлы с помощью SSH и SSL. Кроме того, здесь передача файлов выполняется в один поток, в отличие от других подобных программ, создающий отдельный поток для передачи каждого файла. Это увеличивает скорость и убирает дополнительные задержки, которые становятся проблемой при передаче большого количества маленьких файлов.

Возможно использование rsync для синхронизации файлов, каталогов, при этом может применяться сжатие и шифрование. Программа впервые была применена в июне 1996 года, она разработана Эндрю Тридгелом и Полом Маккеррасом. Rsync синхронизация выполняется по протоколу RSYNC, который специально разработан не просто для передачи файлов между двумя компьютерами, а для их синхронизации. Если точнее, то передается не файл полностью, а только то, что было изменено.

Как вы уже поняли, в этой статье мы рассмотрим rsync примеры синхронизации, настройку rsync, а также ее основные возможности и опции.

Особенности Rsync

Давайте сначала рассмотрим примечательные особенности Rsync:

• Возможность поддерживать синхронизацию целых деревьев каталогов
• Можно сохранять символические ссылки, жесткие ссылки, владельцев и права файла, метаданные и время создания.
• Не требует особых привилегий
• Передача файлов одним потоком
• Поддержка RSH, SSH в качестве транспорта
• Поддержка анонимного Rsync

Синтаксис Rsync

Мы не будем подробно останавливаться на установке этой утилиты в системе. Она очень популярна, поэтому вы можете установить ее с помощью своего пакетного менеджера из официальных репозиториев. В Ubuntu команда установки будет выглядеть вот так:

$ sudo apt-get install rsync

А теперь, уже по традиции подобных статей, рассмотрим синтаксис команды rsync:

$ rsync опции источник приемник

В качестве источника и приемника может выступать удаленная или локальная директория. Например, ssh, rsync, samba сервер или локальная директория. Опции задают дополнительные параметры rsync.

Опции Rsync

Теперь давайте кратко рассмотрим параметры rsync. Здесь перечислены не все опции. Для более подробной информации смотрите man rsync:

• -v — Выводить подробную информацию о процессе копирования
• -q — Минимум информации
• -c — Проверка контрольных сумм для файлов
• -a — Режим архивирования
• -R — относительные пути
• -b — создание резервной копии
• -u — не перезаписывать более новые файлы
• -l — копировать символьные ссылки
• -L — копировать содержимое ссылок
• -H — копировать жесткие ссылки
• -p — сохранять права для файлов
• -g — сохранять группу
• -t — сохранять время модификации
• -x — работать только в этой файловой системе
• -e — использовать другой транспорт
• -z — сжимать файлы перед передачей
• —delete — удалять файлы которых нет в источнике
• —exclude — исключить файлы по шаблону
• —recursive — перебирать директории рекурсивно
• —no-recursive — отключить рекурсию
• —progress — выводить прогресс передачи файла
• —stat — показать статистику передачи
• —version — версия утилиты

Настройка сервера Rsync

Как вы понимаете, нельзя просто так взять и закинуть на первую попавшуюся машину файлы без установки на нее специального программного обеспечения. На удаленной машине должен быть установлен и настроен RSYNC, SSH, Samba или FTP сервер, с помощью которого Rsync сможет авторизоваться на машине и передавать туда файлы.

Рассмотрим минимальную настройку сервера rsync, для того чтобы могло быть выполнено rsync копирование файлов. Он позволит нам не только синхронизировать файлы на машину, но и получать и от туда.

Сначала создайте конфигурационный файл со следующим содержимым:

$ sudo nano /etc/rsyncd.conf

Path = /tmp/share/ hosts allow = 192.168.1.* hosts deny = * list = true uid = root gid = root read only = false

Здесь мы задаем путь к нашей папке для синхронизации, разрешаем доступ к серверу только с домашней сети (192.168.1.*) и запрещаем все остальные подключения. Параметры uid и gid указывают пользователя и группу, от которых будет запущен демон. Лучше не использовать root, а указать пользователя nobody и выдать ему права на ту папку, в которую будет выполняться rsync синхронизация каталогов.

$ sudo service rsyncd start

$ sudo service rsyncd enable

Примеры синхронизации Rsync

Копирование и синхронизация файлов на локальном компьютере

Rsync позволяет синхронизировать файлы и папки в пределах одной машины. Давайте сначала рассмотрим использование rsync для синхронизации файла на локальном компьютере:

$ rsync -zvh file /tmp/backups/

Синхронизация папок на локальной машине

Синхронизация папок rsync выполняется так же просто, как и файлов:

$ rsync -avzh /home/user/documents /tmp/backups/

Синхронизация с удаленным сервером

Ненамного сложнее синхронизировать файлы с удаленным сервером. Скопируем локальную папку documents, на удаленный сервер:

$ rsync -avz documents/ [email protected]:/home/

Также само можно синхронизировать файлы с rsync из удаленного сервера:

$ rsync -avz [email protected]:/home/ documents/

Адрес удаленного сервера записывается в таком формате:

имя_пользователя@адрес_машины:порт/папка/на/удаленной_машине

Порт указывать не обязательно, тогда rsync синхронизация папок будет выполняться на стандартном порту.

Синхронизация файлов по SSH

Чтобы задать протокол подключения используется опция -e. При использовании SSH все передаваемые данные шифруются и передаются по защищенному каналу, таким образом, чтобы никто не мог их перехватить.

Для использования SSH вам нужно знать пароль пользователя в системе.

Синхронизация файлов rsync с удаленного сервера по ssh будет выглядеть вот так:

$ rsync -avzhe ssh [email protected]:/root/install.log /tmp/

А теперь передадим данные на тот же сервер:

$ rsync -avzhe ssh backup.tar [email protected]:/backups/

Просмотр прогресса при синхронизации

Для просмотра прогресса копирования файла с одной машины на другую используется опция progress:

$ rsync -avzhe ssh --progress /home/user/documents [email protected]:/root/documents

Синхронизация не всех файлов в rsync

Опции include и exclude позволяют указать какие файлы нужно синхронизировать, а какие исключить. Опции работают не только с файлами но и с директориями.

Например, скопируем все файлы, начинающиеся на букву R:

$ rsync -avze ssh --include "R*" --exclude "*" [email protected]:/root/documents/ /root/documents

Удаление при синхронизации

Во время синхронизации можно удалять файлы, которых нет на машине откуда идет rsync синхронизация, для этого используется опция —delete.

Например:

$ rsync -avz --delete [email protected]:/documents/ /tmp/documents/

Если перед выполнением этой команды создать в папке файл которого нет на удаленном сервере, то он будет удален.

Максимальный размер файлов

Вы можете указать максимальный размер файлов, которые нужно синхронизировать. Для этого используется опция —max-size. Например, будем синхронизировать только файлы меньше 200 килобайт:

$ rsync -avzhe ssh --max-size="200k" /user/documents/ [email protected]:/root/documents

Удаление исходных файлов

Есть возможность удалять исходные файлы после завершения синхронизации с удаленным сервером:

$ rsync --remove-source-files -zvh backup.tar /tmp/backups/

Таким образом, файл backup.tar будет удален после завершения копирования в папку /tmp/backups.

Описание

rsync - программа, похожая на rcp, но более гибкая и использует протокол remote-update значительно увеличивающий скорость передачи файлов. Данный протокол позволяет передавать по сети только различия между двумя наборами файлов, используя при этом алгоритм проверки контрольных сумм.

Возможности программы:

• поддержка копирования ссылок, устройств, владельцев, групп и прав доступа к файлам;
• использовать функции, аналогичные tar в графической оболочке;
• режим, игнорирующий CVS файлы;
• возможность использования удаленных консольных соединений ssh и rsh;
• не требует привилегий суперпользователя (root);
• конвейерная передача данных, уменьшающая время синхронизации
• поддержка анонимного копирования с помощью демонов, что позволяет создавать автоматические "зеркала" данных.

Rsync позволяет сделать синхронизации с локального компьютера на удаленный и наоборот, но не поддерживает синхронизации между двумя удаленными компьютерами.

Существует два варианта связи с удаленным компьютером, это использование rcync-демона а в этом случае связь идет напрямую, через протокол TCP и соединение с помощью дистанционного терминального соединения, такого как ssh.

Для указания типа соединения с узлом используется символ двоеточия ":", если оно использовано один раз перед именем узла, то это будет соединение через ssh. При использовании демона, двоеточие указывается дважды или адрес узла задается в виде rsync://имяузла.

Если не указать компьютер источник или получатель тогда, вместо пропущенного, будет использован локальный компьютер.

Необходимо помнить, что rsync должен быть установлен и на компьютере получателе и отправителе.

Возможно использование rsync и в случае, когда источник и получатель находятся на одном компьютере. В этом случае утилита работает как улучшенная команда копирования.

Примеры:

Перенести все файлы, совпадающие с шаблоном *.c из текущей папки на компьютер foo в папку scr. При этом если на удаленном компьютере существуют файлы с такими именами, то будут передаваться только изменения, а не файлы целиком.

Rsync -t *.c foo:src/

Перенести все файлы из папки src/bar, включая подпапки и их содержимое с компьютера foo в папку /data/tmp/bar на локальном компьютере. При этом при переносе будет использован режим сжатия данных и "архивный" режим, позволяющий сохранить символьные ссылки, права, атрибуты, владельцев.

Rsync -avz foo:src/bar /data/tmp

Слэш в конце указания пути источника данных позволяет изменить поведение команды и не создавать новую подпапку на компьютере получателе, например две следующие команды выполняют одинаковое действие:

Rsync -av /src/foo /dest rsync -av /src/foo/ /dest/foo

Скопировать файлы file1 и file2 с помощью демона на локальный компьютер в папку /dest. Каждый добавленный файл или папка источник должен содержать /modname/ и перед ним должен быть пробел. Все остальные пробелы считаются частью имени файла.

Rsync host::"modname/dir1/file1 modname/dir2/file2" /dest

Скопировать файлы file1 и file2 на локальный компьютер в папку /dest с помощью дистанционного подключения к оболочке bash. Обработка имен файлов происходит на удаленном компьютере и возможна ситуация, когда удаленный компьютер неправильно обработает пробелы (очень редко).

Rsync -av host:"dir1/file1 dir2/file2" /dest

В случае если имя файла содержит пробелы можно использовать обратный слэш для их указания или маску или шаблон для пробелов, например:

Rsync -av host:"file\ name\ with\ spaces" /dest rsync -av host:file?name?with?spaces /dest

Работа через демона

Прямое подключение к rsync демону обычно происходит через 873 TCP порт и необходимо, чтобы он был запущен для приема на удаленном компьютере. Работа через демона аналогична работе через оболочку bash за исключением:

• Необходимо использование двух символов "::" для разделения имени компьютера (хоста) и пути или указание в виде rsync://имяузла.
• первое слово в "пути" это имя модуля.
• удаленный демон может вывести сообщение о моменте подключения
• если не указать путь на удаленном компьютере, то будет показан список доступных путей
• нельзя использовать параметры, предназначенные для режима --rsh

Например, копировать все файлы, доступные удаленному модулю с именем src.

Rsync -av host::src /dest

Некоторые модули могут потребовать авторизации, в этом случае будет запрошен пароль. При написании скрипта процедуру авторизации можно выполнить автоматически, задав значение пароля в глобальной переменной RSYNC_PASSWORD или в параметре --password-file. Но при этом нужно помнить, что в некоторых версиях операционных систем, значения глобальных переменных видны всем пользователям и в этих системах правильнее будет использование параметра --password-file.

Возможно подключение через прокси сервер с помощью установки значения переменной в оболочке bash RSYNC_PROXY. При этом необходимо проверить, что конфигурация web proxy поддерживает соединения через порт 873.

Иногда полезно использовать возможности демона при соединении по ssh. Такой режим полезен, например, для шифровки передачи данных. С точки зрения пользователя синтаксис команды передачи данных с помощью демона через удаленное sh соединение практически не отличается от обычного соединения с помощью демона. За исключением необходимости явного указания соединения через rsh в командной строке с помощью параметра --rsh=КОМАНДА . (Переменная bash RSYNC_RSH в данном случае не может быть применена). Например:

Rsync -av --rsh=ssh host::module /dest

В случае если необходимо использование другого пользователя удаленного компьютера, то нужно учитывать, что Пользователь, указанный перед символом @ указывает на имя пользователя модуля rsync, а не компьютера. А пользователь ssh указывается с помощью параметра -l например:

Rsync -av -e "ssh -l ssh-user1" rsync-user2@host::module /dest

Где user1 - это пользователь ssh, а user2 пользователь для доступа к модулю, если это требуется.

Запуск rsync-демона для приема соединений.

Для того чтобы было возможно соединение с помощью демона, он должен быть запущен на удаленном компьютере. Процедура запуска и настройки демона описана в описании rsyncd.conf (5) . При использовании --rsh ручной запуск не требуется.

Параметры rsync

Многие параметры команды имеют длинное и короткое написание, некоторые имеют только "длинный" вариант. Для установки значения после параметра необходимо использовать конструкцию "=Значение".

Параметры, используемые при запуске демона rsync

Правила фильтрации

Позволяют настраивать какие файлы должны быть включены в копирование (include), а какие исключены. Шаблоны включения/исключения могут быть указаны непосредственно в командной строке, а могут быль прочитаны из фала или канала ввода.

Когда будет построено дерево каталогов для копирования, rsync будет проверять каждое встреченное имя файла на соответствие шаблонам. Сначала проверяется на соответствие шаблона исключения, потом включения.

Шаблоны правил имеют следующий синтаксис:

RULE

RULE,MODIFIERS

Возможно использование коротких или длинных имен правил, которые описаны ниже. Если Вы используете имена, то необходимо использовать запятую для разделения правил (RULE) и модификаторов (MODIFIERS). Шаблон должны следовать после одиночного пробела или символа подчеркивания. Допустимо использование следующих приставок для описания правил:

Exclude, - определяет шаблон исключений.

Include, + определяет шаблон включений.

Merge, . указывает на файл, в котором описаны дополнительные правила.

Dir-merge, : указывает на каталог слияния.

Hide, H определяет шаблон для передачи скрытых файлов.

Show, S файлы, которые не совпадают с шаблоном и не скрытые.

Protect, P задает шаблон для файлов, которые нельзя удалять.

Risk, R файл совпадающие с шаблоном и незащищенные.

Clear, ! очищает текущие значения включений/исключений. Не требует параметров.

Если правила считываются из файла, то строки начинающиеся с символа # и пустые строки игнорируются.

Параметры --include/--exclude не дают тех возможностей для фильтрации файлов как описано выше. Данные параметры, как и --filter могут принимать только одно правило (шаблон для каждого). Для полного использования всех возможностей используйте импорт правил из файла с параметрами --filter (синтаксис для файла) или --include-from/--exclude-from.

Правила шаблонов для включения/исключения файлов.

INCLUDE/EXCLUDE PATTERN RULES

При определении файлов, которые подлежат копированию возможно использование шаблонов, которые задаются в структурах, начинающихся с символов "+" и "-". Данные шаблоны сравниваются с именами файлов выборке.

Если шаблон начинается с символа "/", то это означает привязку файла к конкретному месту в иерархии файлов, в противном случае сравнение происходит с конца пути. Это действие похоже на начальный символ "^" в регулярных выражениях. Таким образом "/foo" будет соответствовать корневой папке передачи или в файле слияния (merge-file).

Обычное указание "foo" будет соответствовать файлу с таким именем, встреченным в любом месте выборки. Подробнее о применении "/" в начале шаблона в разделе ANCHORING INCLUDE/EXCLUDE PATTERNS.

• Если шаблон заканчивается на слэш "/", это указывает, что он применяется для каталогов, а не для файлов, ссылок и устройств.
• В шаблоне можно использовать три подстановочных символа: "*", "?" и "[".
  • "*" указывает на любые символы компонента пути и его действие ограничивается символами "/".
  • "**" все символы, включая "/"
  • "?" один любой символ, за исключением "/"
  • "[" вводит класс символов таких как или [[:alpha:]].
• обратный слэш "\" используется для защиты от подстановочных символов, то есть "\?" будет использовано как символ, а не подстановочный знак.
• Если шаблон содержит "/" (не считая завершающий) или "**", то они сравниваются с полным путем, включая каталоги, идущие в начале. Если шаблон не содержит указанные символы, то сравнение идет только по последнему компоненту полного имени файла.

Последовательность символов "dir_name/***" будет совпадать и с каталогом (если было бы указано "dir_name/") и с файлами в данной папке, как если было указано "dir_name/**" (начиная с версии 2.6.7)

Однако когда вы используете параметр --recursive (-r) (он встроен в -a), то каждый подкаталог посещается сверху вниз, то шаблоны include/exclude для файлов и каталогов применяются с рекурсивно. Например, include "/foo/bar/baz" не должны исключать содержимое "/foo" и "/foo/bar"). Если вы исключите отдельный каталог, то rsync может исключить из обхода его подкаталоги, поэтому важно правильно использовать "*"

Следующая группа шаблонов неправильная:

+ /some/path/this-file-will-not-be-found

+ /file-is-included

Это ошибка, так как родительский каталог "same" исключен из выборки и rsync никогда не найдет файлы, находящиеся в папках "some" или "some/path". Одним из решений проблемы будет прямое указание включения всех каталогов в иерархии, как это сделано в следующем примере:

+ /some/path/this-file-is-found

+ /file-also-included

Вот некоторые примеры фильтров включения/исключения:

• "- *.o" будут исключены все файлы, совпадающие с *.o
• "- /foo" исключить копирования файлы или папки с именем foo в корневой папке копирования
• "- foo/" исключить из копирования каталог foo, встреченный в любом месте дерева
• "- /foo/*/bar" будут исключены файлы bar из копирования, встреченные в каталогах на два уровня ниже начального.
• "+ */", "+ *.c", and "- *" - данное сочетание позволит скопировать дерево каталогов и все файлы расширением.c. Больше ничего скопировано не будет.
• Комбинация "+ foo/", "+ foo/bar.c", and "- *" скопирует только сами каталоги foo и файлы foo/bar.c.

Правила фильтров для MERGE-FILE

Существует возможность объединения файлов с фильтрами в условиях правил фильтрации, указав объединение (.) или объединение каталогов (:)

Существует два типа объединения файлов - одиночный (.) или на каталог (:). В случае одиночного типа файл считывается один раз, и эти правила включаются в список фильтров. В режиме (:) rsync сканирует все каталоги и отслеживает merge файлы. И если такой файл существует, то включает их содержимое в список унаследованных правил. Эти правила должны быть созданы на отправляющей стороне, потому что именно она сканирует каталоги для выявления файлов предназначенных для копирования. Эти файлы в случае необходимости могут быть переданы принимающей стороне^ если вы хотите, чтобы файлы не удалялись. (смотреть раздел PER-DIRECTORY RULES AND DELETE).

Некоторые примеры:

Следующие модификаторы могут быть применены:

• - файл с фильтрами состоит исключительно из шаблонов исключения (возможно использование комментариев)
• + Файл состоит только из шаблонов включения и комментариев.
• C файл должен быть прочитан CVS совместимым способом. Если имя не указано, то предполагается ".cvsignore".
• e исключить имя merge-файла из передачи. Например "dir-merge,e .rules" аналогично "dir-merge .rules" и "- .rules".
• n указывает, что правила не распространяются на подкаталоги.
• w предполагает разделение слов с помощью пробелов (whitespace) вместо нормального построчного считывания. В этом случае строка "- foo + bar" будет считаться двумя шаблонами.

После "+" и "-" могут быть использованы следующие модификаторы:

• "/" шаблон должен сравниваться с абсолютным путем к объекту. Например, "-/ /etc/passwd" исключить передаче файла passwd из каталога "/etc", а "-/ subdir/foo" должна исключать "foo" в том случае если она находится в любом каталоге с именем "subdir" даже если "foo" находится в начальном каталоге, предназначенном для копирования.
• "!" Логическое "нет". Например, последовательность "-! */" должна исключать из копирования все, что не является каталогом.
• C указывает, что все глобальные правила CVS-исключений должны быть вставлены в месте "-C".
• s - правило используется отправляющей стороной. По умолчанию считается, что шаблон влияет на обе стороны в копировании, если не указано --delete-excluded.
• r - указывает, что данные правила должны быть использованы на отправляющей стороне.

В режиме объединения каталогов (:) правила фильтрации файла действуют и для всех подкаталогов относительно каталога, где он был найден, если только не был указан модификатор "n". В случаях если в подкаталогах, на которые были унаследованы правила тоже есть merge-files, то правила из новых файлов будут иметь более высокий приоритет. Чтобы предотвратить действие одного конкретного правила можно использовать указание абсолютного пути с лидирующим "/".

Вот пример фильтра, который должен быть указан с помощью параметра --filter: --filter=". file"

Merge /home/user/.global-filter - *.gz dir-merge .rules + *. - *.o

Это позволит объединить содержимое файла.global-filter в начале списка и также включает содержимое файлов.rules в фильтры.

Если в режиме по каталогам в merge-file указан вместе с путем начала дерева копирования, rsync будет сканировать все родительские папки начиная с начального каталога копирования.

Filter=": /.rsync-filter"

Данное правило заставляет программу отсканировать все каталоги, начиная со стартового на наличие файлов.rsync-filter.

Некоторые примеры команд предварительного сканирования для merge-files:

Rsync -avF /src/path/ /dest/dir rsync -av --filter=": ../../.rsync-filter" /src/path/ /dest/dir rsync -av --filter=": .rsync-filter" /src/path/ /dest/dir

Первые две команды будут искать файлы с правилами ".rsync-filter" в "/" и "/src" до того как будет начато нормальное сканирование в каталоге "/src/path" и его подкаталогах. Третья команда избегает поиска файла с правилами фильтрации в родительском каталоге и ищет его во всех каталогах, которые передаются.

Если вы хотите включить содержимое ".cvsignore" в ваш шаблон, вы должны использовать модификатор ":C", который включит в шаблоны (:), но будет разбирать его по CVS-совместимым правилам.

Правила очистки списка фильтров.

LIST-CLEARING FILTER RULE

Действующий список фильтров можно очищать, используя правило "!". С помощью него возможна очистка как глобальных (изначальных) фильтров, так и унаследованных.

Закрепленные INCLUDE/EXCLUDE шаблоны

Как уже говорилось раньше глобальные шаблоны, возможно закреплять на начальный каталог (они называются закрепленными "ANCHORING"). Эти правила касаются шаблонов, начинающихся с "/".

Предположим, что мы хотим сравнить два исходных файла, один как абсолютный путь "/home/me/foo/bar", а второй просто с путем "/home/you/bar/baz". Ниже как различные команды сравнивают файлы для передачи

Пример команды: rsync -a /home/me /home/you /dest +/- pattern: /me/foo/bar +/- pattern: /you/bar/baz Файл назначения: /dest/me/foo/bar Файл назначения: /dest/you/bar/baz Пример команды: rsync -a /home/me/ /home/you/ /dest +/- pattern: /foo/bar (note missing "me") +/- pattern: /bar/baz (note missing "you") Файл назначения: /dest/foo/bar Файл назначения: /dest/bar/baz Пример команды: rsync -a --relative /home/me/ /home/you /dest +/- pattern: /home/me/foo/bar (note full path) +/- pattern: /home/you/bar/baz (ditto) Файл назначения: /dest/home/me/foo/bar Файл назначения: /dest/home/you/bar/baz

Пример команды:

Cd /home; rsync -a --relative me/foo you/ /dest +/- pattern: /me/foo/bar (начать с указанного пути) +/- pattern: /you/bar/baz (ditto) Файл назначения: /dest/me/foo/bar Файл назначения: /dest/you/bar/baz

Самый простой способ узнать, что будет скопировано, это использовать параметр --dry-run --verbose и задать / в начале имени.

Режимы фильтрации по каталогам и удаления файлов.

PER-DIRECTORY RULES AND DELETE

Без параметра delete правила (:) действуют только на отправляющей стороне, так что можно спокойно исключить передачу файлов с правилами. Следующие две команды эквивалентны:

Rsync -av --filter=": .excl" --exclude=.excl host:src/dir /dest rsync -av --filter=":e .excl" host:src/dir /dest

Если вы хотите удалять на принимающей стороне и хотите исключить некоторые файлы из удаления, необходимо удостовериться, что принимающая сторона знает об этих исключениях. Самый простой способ использовать режим (:) и параметр --delete-after, это гарантирует, что принимающая сторона сначала получит все правила исключений и только потом попытается удалить что-либо.

Rsync -avF --delete-after host:src/dir /dest

Однако если файлы с шаблонами (merge-files) сами не передаются, то необходимо указать глобальные правила исключения, указав их в командной строке или поддерживать свои файлы фильтрации на принимающем компьютере. Пример:

Rsync -av --filter=": .rules" --filter=". /my/extra.rules" --delete host:src/dir /dest

В данном примере extra.rules может влиять на обе стороны, но на отправляющей стороне правила подчиняются содержимому файлов.rules так как они описаны после ":".

Пакетный режим

Пакетный режим может быть использован для выполнения одних и тех же обновлений для большого количества однотипных систем. Предположим, что имеется дерево документов, которое было реплицировано на некоторое количество компьютеров. Теперь предположим, что в некоторые документы были внесены изменения и эти изменения необходимо перенести на все компьютеры. Для этого rsync запускается с параметром записи пакетного режима на один из существующих узлов. Записанный таким образом список действий можно использовать для переноса файлов на все остальные узлы.

Чтобы применить записанные действия для остальных компьютеров необходимо запустить программу в пакетном режиме указав конечное дерево и имя пакетного файла для чтения.

Для удобства во время записи дополнительно создается скрипт с расширением ".sh" и заданным именем. Данный файл содержит команду, подходящую для обновления дерева файлов на удаленном компьютере. Он может, выполнен в bash с параметром, указывающим на каталог компьютера назначения.

Примеры:

$ rsync --write-batch=foo -a host:/source/dir/ /adest/dir/ $ scp foo* remote: $ ssh remote ./foo.sh /bdest/dir/ $ rsync --write-batch=foo -a /source/dir/ /adest/dir/ $ ssh remote rsync --read-batch=- -a /bdest/dir/

В данных примерах программа используется для обновления /adest/dir/ из /source/dir/ и информация для повторения будет записана в файлах "foo" и "foo.sh". Различия между двумя примерами показывают возможную гибкость применения.

Первый пример показывает, что первоначальная копия не должна быть локальной. Вы можете брать или класть данные на удаленный компьютер с помощью удаленного доступа или rsync-демона. И потом он использует созданный файл foo.sh на удаленном компьютере.

Второй пример считывает пакетные данные из стандартного ввода, так как пакетный файл не нуждается в предварительном копировании на удаленный компьютер. Этот пример позволяет избежать использования скрипта foo.sh.

Предостережения:

При использовании пакетного режима (чтение) ожидается, что каталог назначения будет полностью идентичен дереву, с которого делался пакетный файл. В случае обнаружения расхождений обновление может быть прервано с сообщением об ошибке или с предупреждением. Если вы хотите, чтобы обновление было выполнено независимо от расхождения размера файлов и их дат, то обновление необходимо выполнять с параметром -l (при чтении пакетного файла). В случае возникновения ошибки существует возможность, что дерево будет обновлено лишь частично. В этих случаях уместно использование rsync в обычном (не пакетном) режиме, чтобы восстановить дерево файлов.

Версия rsync, используемая для обновления должна быть той же версии (или свежее), чем использованная при создании пакетного файла. (Серьезные изменения пакетных файлов были произведены в в версии 2.6.3)

При чтении пакетного файла будут принудительно установлены некоторые параметры для сравнения данных. Другие параметры могут быть изменены. Например --write-batch изменяется на --read-batch, --files-from отбрасывается. --filter/--include/--exclude не требуются, кроме использования --delete.

Символические ссылки.

Существует три варианта поведения программы, когда она встречает символическую ссылку в каталоге.

Если использован --copy-links, то будет скопирован файл, на который указывает ссылка, а не сама ссылка.

Ssh remotehost /bin/true > out.dat

И последующее изучение файла out.dat. Если все работает нормально, то размер этого файла, должен быть равен 0. Если же вы имеете описанную ошибку от rsync, то вероятно обнаружите в этом файле текст или данные. Их необходимо изучить и разобраться в чем проблема. Очень частой ошибкой является неправильно сконфигурированный скрипт запуска (такие файлы как.cshrc или.profile) в которых есть команды для неинтерактивного входа.

Если у вас возникают проблемы с настройкой шаблонов фильтрации, следует указать параметр -vv. На этом уровне отчетности программа покажет, почему был включен или исключен конкретный файл.

Статусы завершения Rsync.

0 Успешное завершение (Success)

1 Синтаксическая ошибка или ошибка выполнения (Syntax or usage error)

2 Несовместимые протоколы (Protocol incompatibility)

Используемые файлы /etc/rsyncd.conf или rsyncd.conf

Rsync: мощная утилита для быстрого, гибкого удаленного и локального копирования файлов

• Чулан *

Rsync разработан для замены rcp – древней программы для удаленного копирования под Unix. Благодаря широким возможностям синхронизации и передачи файлов, rsync часто применяется для создания зеркал.
Использование хитроумного алгоритма, позволяет rsync передавать только изменения в файлах, причем для выявления изменений ему не надо сравнивать два файла. Кроме того, rsync производит сжатие на лету, позволяя тем самым передавать файлы с максимальной эффективностью.
Кроме вышеописанных вкусностей, rsync обладает также и несколькими полезными возможностями обеспечения безопасности. Он поддерживает ssh – рекомендованный протокол для безопасной передачи данных; перед обработкой информации производит ее запись во временный файл, чтобы ничего не случилось с оригиналом, наконец, он поддерживает специальный режим безопасной отладки команд.
Rsync прост в использовании, но не является программой «click-and-play». Это -мощный инструмент, который может быть очень полезным, но не стоит забывать об осторожности, так как его с помощью легко что-нибудь испортить.

Синтаксис утилиты
Синтаксис утилиты простой и довольно обыденный.
rsync [опции] источник [приемник]
Указав только источник, мы увидим список файлов без операции копирования.

Опции и примеры
Для простоты понимания, операции синхронизации привожу сперва локально.
Быстрый способ синхронизировать два каталога, это использовать опцию -a :
rsync -a foobar_src/ foobar_dst/
В данном случае файлы и директории из источника скопируются в приемник, при этом, если там были файлы, то совпавшие по имени будут перезаписаны, а остальные не тронуты.

Опция -a задает архивный режим работы утилиты, и является эквивалентом набора опций:
-r, --recursive - рекурсивный режим;
-l, --links - пересоздание symlinks , это значит, что символические ссылки будут так же переноситься;
-p, --perms - перенос прав;
-t, --times - передача времени модификации и его обновление на удаленной системе. Этот ключ должен быть установлен для точной синхронизации;
-g, --group - установить группу конечного файла таким же, как и у исходного;
-o, --owner - установить владельца конечного файла таким же, как и у исходного;
-D, - same as --devices --specials - установить тип файла устройства и файла специального типа таким же, как у исходного.
В итоге получаем копию директории источника. Кстати, это можно использовать при переносе ОС на другой винчестер, подправив /etc/fstab, установив/переустановив grub на новом винте - получаем рабочую систему, но это уже другая тема.

Для вывода информации о работе утилиты, существует опция -v, --verbose . Чем больше опций -v , тем боле информативным будет вывод утилиты. Максимальная информативность достигается при четырех опциях -v, --verbose .

Если у нас содержится в директории источника актуальная информация, то чтобы не засорять приемник информацией, которая в процессе работы была удалена или перемещена в источнике, нужно старые файлы и директории удалить. Для этого есть несколько опций удаления, каждая из которых предоставляет свой алгоритм удаления. Их аж шесть!
--del - сокращенная форма --delete-during ;
--delete - просто удалить посторонние файлы из приемника;
--delete-before - приемник удаляет перед передачей;
--delete-during - приемник удаляет в процессе передачи, но не перед;
--delete-delay - отложенное удаление/найти файлы для удаления в процессе передачи, но удалить после передачи;
--delete-after - приемник удаляет после передачи, но не перед ней;
--delete-excluded - так же удалить исключенные файлы в приемнике, для этого задается шаблон (--exclude=PATTERN).

Допустим у нас на приемнике есть более свежие файлы, и мы не хотим что бы они были перезаписаны старыми из источника, то для этого применяется ключ -u, --update .
-u, --update - пропустить файлы, если на приемнике файл новее.
Не стоит пугаться если изменились даты директорий, т.к. сами файлы небыли перезаписаны.

Порой файлы могут повредится или быть модифицырованы, но совпадать и датой и размером. То можно использовать проверку контрольной суммы, опция -c, --checksum .

Моей задачей было разобраться, как сделать резервную копию коллекций фотографий, музыки, наработок по университету и работе. При этом в источнике информация всегда актуальная, а то что удалено - мусор. Пример для решения моей задачи:
rsync -auvv --delete-during foobar_src/ foobar_dst/
Это обновит мой приемник, если он был уже чем то заполнен - вычистит то, чего нет в источнике, но не затронет файлы которые поновее, выведет статистику и состояние по каждому файлу.

Удаленная работа
Кроме того, очень полезным будет его способность работать через ssh. Что обеспечивает шифрование канала, что очень важно, если вы синхронизируете два сервера в сети интернет. Для уменьшение трафика, rsync так-же умеет сжимать данные, при передаче по сети.
Необходимы следующие опции:
-e - задать удаленный шелл для использования;
-z - сжимать передаваемые данные, либо задать:
-compress-level=9 - сжатие с установкой уровня компрессии.

Пример копирования с удаленного хоста по протоколу ssh:
rsync -avv --delete-during -compress-level=9 -e "ssh -p remote_ssh_port" user@host:/dir/to/foobar_src foobar_dst/
При этом, на стороне источника нужно иметь установленную утилиту rsync.

Надеюсь эта информация будет полезна многим. Больше информации про утилиту rsync вы сможете найти в ее же документации, благо она хорошо описана.
Там же вы можете найти информацию о том, как поднять дэмон rSync для непосредственного подключения без использования удаленного ssh шелла, а так же описание множества других опций на любой вкус и цвет.

Теги: rsync, копирование, резервирование файлов, синхронизация файлов