Введение в Linux и Bash, часть III

Но а что если мы хотим заменить все совпадения во всех строках? Все очень просто - достаточно добавить букву g в конец. Допустим что мы хотим заменить все подстроки "cool" на "dank" в файле sample.txt

user@host:~/Documents/notes$ sed 's/cool/dank/g' sample.txt
Pepe    dank
Tide Pods   lame
Uganda Knuckles dank
Thanos  dank
JPEG    ok
Despacito   lame
Bowsette    dank
Harold  dank
Sans    dankest
Minions lamest
NPC dank

Обратите внимание на то что команду которую мы передаем sed'у находится в кавычках. Конечно это только одни из самых основных применении.

grep

Это последняя программа-фильтр, о которой я расскажу. Я покажу самое основное применение данной программы, а затем, после того как расскажу о регулярных выражений, покажу ее более интересные применения.

grep - программа, которая выполняет поиск выражения переданный ей пользователем, и выводит на экран строки, совпадавшие с условиями поиска. Допустим, например, что мы хотим увидеть только крутые (cool) мемы

user@host:~/Documents/notes$ grep 'cool' sample.txt
Pepe    cool
Uganda Knuckles cool
Thanos  coolcharacter
Bowsette    cool
Harold  cool
Sans    coolest
NPC cool

То, что мы передали grep'у является самым простым видом регулярного выражения. По факту мы указали программе чтобы нам показала строки где содержится подстрока "cool".

Регулярные выражения

Регулярное выражение - язык поиска и манипуляции подстроками в тексте. Для поиска используется строка текста, часто называемая строка-образец или "шаблон", состоящая из символов, которые задают правило поиска. Регулярные выражения применяются в многих программах и языках программирования, таких как например редакторов текста и поисков, и естественно, может быть довольно полезным в терминале.

Антракт

Перед тем как объяснить как работать с регулярными выражениями, хочу показать пару символов, облегчающие жизнь при работе с файлами в терминале - символы-джокеры (на англ. wildcards). В терминале они - звездочка (*) и вопросительный знак (?). Как раз из-за их специального применения, их нельзя использовать в названиях файлов.

Начнем со звездочки. Звездочка озночает что на ее месте может быть любое количество любых символов. Например, чтобы искать файлы, чье название начинается с sa

user@host:~/Documents/notes$ ls sa*
saturday.txt sample.txt sample2.txt sample.png

Другой пример, найти файлы чье название просто содержит подстроку sa

user@host:~/Documents/notes$ ls *sa*
asado.png saturday.txt sample.txt sample2.txt sample.png

Вопросительный знак указывает на то что, на его месте должен быть символ, любой символ. Допустим что, мы хотим посмотреть все файлы которые называются sample, у которых есть трех-символьное расширение

user@host:~/Documents/notes$ ls sample.???
sample.txt sample.png

Символы-джокеры очень полезные когда необходимо манипулировать несколько файлов с похожими названиями. Однако, если названия файлов не похоже никак, нам придется использовать фигурные скобки, чтобы указать список файлов. Например

user@host:~/Documents/notes$ rm {monday.txt,december1999.txt,saturday.txt}

Обратно к regex

А теперь я объясню основные части и символы регулярных выражении, а затем вам покажу как их использовать в grep

• . - Точка означает один символ (любой символ). Например, 'be.r' найдет нам bear, beer, befr, и т.д.
• * - Предыдущий элемент совпадает 0 или больше раз. Например 'an*t' нам найдет at, ant, annt, annnt, и т.д.
• + - Предыдущий элемент совпадает один или больше раз. Например 'an+t' нам найдет ant, annt, annt, и т.д.
• ? - Предыдущий элемент совпадает 0 или один раз. Например 'an?t' нам найдет at и ant.
• {n} - Предыдущий элемент совпадает ровно n раз.
• {min, } - Предыдущий элемент совпадает хотя бы min раз
• {min, max} - Предыдущий элемент совпадает хотя бы min раз и не больше max раз.
• | - Логический оператор ИЛИ. Например, 'gray|grey' нам найдет gray и grey.
• () - Круглые скобки группируют несколько символов в один элемент. Например 'gr(a|e)y' нам найдет gray и grey.
• [abc] - Совпадает если один из символов, который внутри скобок, присуствует.
• [^abc] - Совпадает если нет ни одного, из которых внутри скобок.
• [a-d] - Диапазон символов. То есть a, b, c и/или d.
• ^ - Начало строки.
• $ - Конец строки.

А теперь, ради примера с grep, допустим что, мы хотим найти все строки в которых содержится "cool" или "ok" в них. В этом случае нам нужна вертикальная черта "|". Однако, если использовать grep без параметров, нам нужно будет напечатать слеш перед ней "|". Поэтому лучше использовать команду egrep, которая является сокращением "grep -E", затем чтобы включить расширенные регулярные выражения. Например

user@host:~/Documents/notes$ egrep 'cool|ok' sample.txt
Pepe    cool
Uganda Knuckles cool
Thanos  cool
JPEG    ok
Bowsette    cool
Harold  cool
Sans    coolest
NPC cool

А теперь допустим что, нам неоюходимо найти все строки с буквой 't' в качестве последнего символа в строке

user@host:~/Documents/notes$ egrep 't$' sample.txt
Sans    coolest
Minions lamest

Я уже продемонстрировал применение regex'ов с grep'ом (и/или egrep). А теперь я хочу вам показать более практический пример с sed'ом. Да, в sed'e помимо собственного языка, можно еще и регулярные выражения использовать.

Допустим у нас есть файл который выглядит следующим образом

user@host:~/Documents/notes$ cat shortcuts
# Some shortcuts

d       ~/Documents
D       ~/Downloads
m       ~/Music
pp      ~/Pictures
vv      ~/Videos


s       ~/.scripts # My scripts
cf      ~/.config # My configs

Как вы могли заметить, в нашем файле много пустых строк, и много комментарри, которые полезные для человека, но бесполезные для компьютера. Начнем с того что, удалим комментарии, для этого мы будем использовать команду sed'а для поиска и замены, только в нашем случае мы хотим заменить комментарии на пустоту. Затем нам понадобится вставить регулярное выражение, которое поможет нам найти комментарии - '#.*'. Этот шаблон переводится как - найди символ '#' и все что после него находится. А теперь давайте мы все совместим

user@host:~/Documents/notes$ sed 's/#.*//g' shortcuts


d       ~/Documents
D       ~/Downloads
m       ~/Music
pp      ~/Pictures
vv      ~/Videos


s       ~/.scripts
cf      ~/.config

Вот и мы избавились от комментариев. Тем не менее нам еще осталось избавится от пустых строк, и если вы заметили, комментарии были удалены, но перед некоторыми из них остались пробелы.

И так, давайте мы сначала улучшим нашу команду, для этого нам нужно найти там где есть 0 или больше пробелов перед комментарии, но как нам обозначит пробелы в sed'е? Все очень просто с '\s', таким образом наша команда а теперь выглядет вот так 's/\s*#.*//g'.

А теперь нам нужно избавится от пустых строк. Для этого нам нужно ввести еще одну команду sed'а, но мы можем ее ввести вместе с предыдущей командой отделяя их точкой и запетой (;). Нам осталось придумать как найти пустую строку, все очень просто - '^$', то есть, найти ту строку где ее начало и ее конец находятся вместе. Нам осталось указать sed чтобы он удалил эту строку, и вот я вам расскажу еще одну команду sed - команду для удаления (d), и так...

user@host:~/Documents/notes$ sed 's/\s*#.*//g; /^$/d' shortcuts
d       ~/Documents
D       ~/Downloads
m       ~/Music
pp      ~/Pictures
vv      ~/Videos
s       ~/.scripts
cf      ~/.config

Конечно, когда мы вводим эту команду, она не переписывает файл, она всего лишь выводит на экран результат операции. Если вам необходимо переписать исходный файл вы можете передать sed параметр '-i.

Конвейер и перенаправление

Последнее о чем я буду писать в этом туториале не команда и не программа, но очень полезная вещь, которая есть во всех Unix и Unix-подобных системах - конвейер. Конвейер - это цепочка перенаправляющая вывод процесса или процессов в стандартный ввод других процессов. В том числе есть и операторы которые позволяют перенаправлять вывод программы в файл и наоборот.

Перенаправление в и из файлов

Допустим что мы хотим повторить последний пример, но в этот раз мы хотим записать результат в файл. Мы уже знаем как переписать оригинальный файл, но в этот раз мы хотим записать результат в новый файл. Для этого нам понадобятся операторы перенаправления Unix'а '>' и '>>'. Первый оператор переписывает файл, если указанный файл уже существует, а второй просто добавляет поток текста в конец файла. В этом случае безразлично какой из этих операторов использовать, ибо мы хотим записать поток текста на новый файл

user@host:~/Documents/notes$ sed 's/\s*#.*//g; /^$/d' shortcuts > shortcuts_clean

Так же существует оператор перенаправления ИЗ файла в стандартный ввод программы - '<'. Однако, в большинство случаях достаточно передать путь файла в качестве аргумента.

Конвейер

А теперь я вам покажу как перенаправить вывод одной программы в другую. Чтобы перенаправить вывод из одной программы в другую, достаточно ввести команду первой программы, затем ввести вертикальную черту (|), а затем команду второй программы. Допустим мы хотим увидит первые три файлы в нашей директории, для этого мы можем направить вывод ls в head, вот так

user@host:~/Documents/notes$ ls | head -n 3
asado.png
monday.txt
sample.txt

А теперь вернемся к файлу sample.txt. Допустим что сначала мы хотим отсортировать все строки файла, и хотим оставить только те строки с "cool" и "lame". Затем, мы хотим заменить неправильные старые термины, на современные, то есть "cool" на "dank" и "lame" на "normie". И наконец, мы хотим это сохранить в файл. И вот как все это выгладит

user@host:~/Documents/notes$ egrep 'cool|lame' sample.txt | sort | sed 's/cool/dank/g;s/lame/normie/g' > memes.txt

Взглядываем в файл и...

user@host:~/Documents/notes$ cat memes.txt
Bowsette    dank
Despacito   normie
Harold  dank
Minions normiest
NPC dank
Pepe    dank
Sans    dankest
Thanos  dank
Tide Pods   normie
Uganda Knuckles dank

И вот и все

Post scriptum

Перед тем как закончить с этим туториалом, я хочу вам показать еще несколько программ, которые могут вам пригодится

less

Данная команда вам пригодится когда, например, некоторая программа выводит слишком много текста. В таком случае, достаточно перенаправить вывод текста первой программы к less используя оператор конвейера (|), также как я вам только что показал. Используя эту команду вы можете листать текст используя стрелочки или vim-клавиши (hjkl). Так же вы можете искать термины введя слеш (/).

tar

Это de facto официальная программа Линукса для архивирования и сжатия файлов в формате .tar. Чаще всего используется формат сжатия gunzip (.gz), но есть и другие форматы сжатия.

Есть два основных способов использовать эту программу. Первый чтобы разархивировать

user@host:~/Documents/notes$ tar -xzvf oldnotes.tar.gz

Второй чтобы архивировать и сжать

user@host:~/Documents/notes$ tar -czvf allnotes.tar.gz *

Как обычно, вы можете узнать больше об этой программе используя утилиту man ('man tar').

ssh and scp

Скорее всего вы уже слышали или даже работали с ssh, даже если вы не работали до этого с Ликусом или Unix/Unix-подобных системах. Это программа позволяет подключится через терминал к другим компьютером через сеть (например, интернет), в том числе и к серверам.

Допустим вы хотите подключится к серверу с ip 180.80.8.20 и пользователь tux

user@host:~$ ssh tux@180.80.8.20

Здесь мы предполагаем что мы подключаемся через стандартный порт ssh (22), иначе придется его передать используя параметр -p а затем номер порта.

А теперь поговорим о scp. Это программа позволяет передать файлы из одного компьютера в другого используя протокол ssh'а. Допустим что мы хотим отправить файл с локального компьютер в тот же самый сервер, что и в прошлом примере

user@host:~$ scp somefile tux@180.80.8.20:/home/tux/directory/

Если бы мы хотели наоборот, получить, а не отправить, то мы просто поменяли порядок аргументов, примерно вот так

user@host:~$ scp tux@180.80.8.20:/home/tux/directory/somefile directory/

Так же как и с ssh порт по умолчанию 22, то есть если использовать другой порт, нужно его указать, только в отличие от ssh, параметр -P вместо -p и нужно его ввести сразу после "scp.

Вот и на этом все. Надеюсь вам этот туториал помог. С наступившим 2019.