#!/usr/local/bin/bash

# mirrorpg-functions Version 2.7 2017-01-27 17:00 Author: Sergej Qkowlew 
# Functions and constants                                  Функции и константы
# This file is Public Doimain           Я передаю это в общественное достояние
for i in config functions generate allsites 1site abandoned childs
    do
    [ ! -s ./mirrorpg-$i ] && wget http://mirrorpg.arda.ru/mirrorpg/mirrorpg-$i
    [ ! -s ./mirrorpg-$i ] && echo "No file mirrorpg-$i here. Download it from http://mirrorpg.arda.ru/mirrorpg/$i"
    [ ! -s ./mirrorpg-$i ] && exit
    done

# ===================================   ======================================
# BEGIN FUNCTIONS DECLARATIONS                      НАЧАЛО ОПРЕДЕЛЕНИЙ ФУНКЦИЙ

# ===================================   ======================================
# First function for any site config.      Первая фнукция для всякого конфига.
# Build technical lines from domain.       Строим технические строки из домена
# This variables are used in other         Сформированные перемеменные исполь-
# functions                                       зуются остальными функциями.
#              NowDomain NowDomReg NowDoMy NowDoOld
SqBuildLines() {
[ -z $1 ] && echo "Error. SqBuildLines must be called with domain name"
[ -z $1 ] && exit
NowDomain=$1
NowDomR=`echo "$NowDomain" | perl -pe "~s/\./\\\\\\./gi"`
NowDomReg="~s/http:\/\/$NowDomR//gi"
NowDoMy=
NowDoOld=
[ ! -z $SqRuleMyHall ] && NowDoMy=`echo "$NowDomain" | perl -pe $SqRuleMyHall`
[ ! -z $SqRuleOldHall ] && NowDoOld=`echo "$NowDomain" | perl -pe $SqRuleOldHall`
NowTitle=
}

# ===================================   ======================================
# makes tmp subdir and symlink to it.   Делает подкаталог для домена и симлинк
SqMakeDirDom() {
[ -z $1 ] && [ -z $NowDomain ] && return
[ -z $1 ] && SqMakeDirDom $NowDomain
[ -z $1 ] && return
rm -rf /tmp/mirrorpg/$1
mkdir -p /tmp/mirrorpg/$1
[ -h $1 ] && rm $1
ln -s /tmp/mirrorpg/$1/ $1
}

# ===================================   ======================================
# add VirtualHost to webserver config   Добавляет виртуальный хост в конфиг
# if assumed directory doesn't exist.   если нет каталога под него.
#
SqAddConf() {
 [ -z $1 ] && [ -z $NowDomain ] && return
 [ -z $1 ] && SqAddConf $SqUser $NowDomain $NowDoMy $NowDoOld
 [ -z $1 ] && return
[ -d ${SqBasePath}/$NowDomain${SqHtmlDir} ] && return
[ -x $SqAddHost ] && . $SqAddHost $1 $2 $3 $4
[ -d ${SqBasePath}/$NowDomain${SqHtmlDir} ] && return
echo "$1 Warning: Directory for copying this host does not exist."
}

# ===================================   =======================================
# Work with CSV/HTM files in MyHall                    Обработка CSV/HTM файлов
# -----------------------------------   ---------------------------------------
SqUpdateChilds() {
if [ ! -z $SqBasePath ] && [ -r mirrorpg-childs.txt ] ; then
cp mirrorpg-childs.txt $SqBasePath/mirrorpg.arda.ru/$SqHtmlDir/
cat mirrorpg-childs.txt | awk "(\$0 != \"$SqMyHall\") && (/\./) { print; }" | awk '
BEGIN { print "<ul>"; }
{ print " <li><a href=\"http://mirrorpg." $1 "/\">" $1 "</a></li>" ; }
END { print "</ul>"; }
' >$SqBasePath/mirrorpg.arda.ru/$SqHtmlDir/mirrorpg-childs.htm
fi
}

# -----------------------------------   ---------------------------------------
# Get NowTitle from index.html or       Берём наименование сайта из index.html
# from archive for NowDomain for CSV    или из .tar.gz архива для CSV
SqGetTitle() {
[ -z $1 ] && [ -z $NowDomain ] && return
[ -z $1 ] && SqGetTitle $NowDomain
[ -z $1 ] && return
# echo -n "$1 "
if [ ! -z ${SqBasePath} ] ; then
 if [ -s ${SqBasePath}/$1${SqHtmlDir}/index.html ] ; then
  NowTitle=`cat ${SqBasePath}/$1${SqHtmlDir}/index.* | grep -i \<title\> | perl -e '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?<TITLE>(.*?)<\/TITLE>.*/\1/gsi;
$fulltext=~s/\&.+?(\;|\:)/-/g;
print $fulltext;
' | sed 's/"//g' | sed 's/;/:/g'`
  fi
 fi
[ -z "$NowTitle" ] || return
if [ -s .First/$1.tar.gz ] ; then
 NowTitle=`cat .First/$1.tar.gz | gzip -d | tar -xf- -O ./index.html ./index.shtml ./index.php 2>/dev/null | grep -i \<title\> | perl -e '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?<TITLE>(.*?)<\/TITLE>.*/\1/gsi;
$fulltext=~s/\&.+?(\;|\:)/-/g;
print $fulltext;
' | sed 's/"//g' | sed 's/;/:/g'`
fi
}

# -----------------------------------   ---------------------------------------
# Adds/updates line to CSV file             Добавляет/меняет строку в файл .CSV
# $1 - description manually entered            Вручную введённое описание сайта
# $2 - check level (1 worst...5 best)                   качество проверки 1 - 5
# $3 - link to check, or short info           инфо о проверке или ссылка на неё
SqAddCsv() {
[ ! -s mirrorpg-good.csv ] && rm mirrorpg-good.csv
[ ! -e mirrorpg-good.csv ] && echo "Оригинал;Зеркало;Первый;Последний;Описание;Проверен;Пояснение;">mirrorpg-good.csv

CsvLine=`cat mirrorpg-good.csv | awk "/^$NowDomain;/ { print; }"`
if [ -z "$1" ] ; then
CsvTitle=`echo $CsvLine | cut -f5 -d\;`
else
CsvTitle="$1"
fi
if [ -z "$2" ] ; then
CsvLevel=`echo $CsvLine | cut -f6 -d\;`
else
CsvLevel="$2"
fi
if [ -z "$3" ] ; then
CsvLink=`echo $CsvLine | cut -f7 -d\;`
else
CsvLink="$3"
fi

cat mirrorpg-good.csv | awk "! /^$NowDomain;/ { print; }">mirrorpg-good.csv.bak
echo -n "$NowDomain;">>mirrorpg-good.csv.bak
echo -n "$NowDoMy;">>mirrorpg-good.csv.bak
echo -n `stat -q -t %Y-%m-%d .First/$NowDomain.tar.gz | awk '{print \$10;}' | sed 's/"//g'`>>mirrorpg-good.csv.bak
echo -n ";">>mirrorpg-good.csv.bak
echo -n `stat -q -t %Y-%m-%d .Latest/$NowDomain.tar.gz | awk '{print \$10;}' | sed 's/"//g'`>>mirrorpg-good.csv.bak
echo -n ";">>mirrorpg-good.csv.bak
echo -n `echo $CsvTitle | perl -pe '~s/&.+?;/-/gi ; ~s/;/:/gi ; ~s/"//gi' | sed "s/'//g"`>>mirrorpg-good.csv.bak
echo -n ";">>mirrorpg-good.csv.bak
echo -n `echo $CsvLevel | sed 's/;/:/g'`>>mirrorpg-good.csv.bak
echo -n ";">>mirrorpg-good.csv.bak
echo -n `echo $CsvLink | perl -pe '~s/&.+?;/-/gi ;' | perl -pe ' ~s/;/:/gi ;' | perl -pe ' ~s/"//gi' | sed "s/'//g"`>>mirrorpg-good.csv.bak
echo ";">>mirrorpg-good.csv.bak
mv mirrorpg-good.csv.bak mirrorpg-good.csv
}

# -----------------------------------   ---------------------------------------
# Updates HTM files from CSV                         Делает из .CSV файлов .HTM
SqUpdateCsv() {
cat mirrorpg-good.csv | awk '
BEGIN { FS=";"; print "Выбрать по проверенности:<br>";
print "<input type=\"checkbox\" checked title=\"5 Тщательно проверенные, исправлены ошибки оригинала\" id=\"hide5\"><span class=\"check5\">5 Тщательно проверенные</span><br>";
print "<input type=\"checkbox\" checked title=\"4 С недочётами копирования\" id=\"hide4\"><span class=\"check4\">4 С недочётами копирования</span><br>";
print "<input type=\"checkbox\" checked title=\"3 Неполностью проверенные\" id=\"hide3\"><span class=\"check3\">3 Неполностью проверенные</span><br>";
print "<input type=\"checkbox\" checked title=\"2 Недостаточно данных\" id=\"hide2\"><span class=\"check2\">2 Недостаточно даных</span><br>";
print "<input type=\"checkbox\" checked title=\"1 Проверка начата\" id=\"hide1\"><span class=\"check1\">1 Проверка начата</span><br>";
print "<input type=\"checkbox\" checked title=\"0 Никто не проверял\" id=\"hide0\"><span class=\"check\">0 Никто не проверял</span>";
print "<ul>";
print "<li class=\"checkx\"><span title=\"Ссылки на оригинальные сайты. Могут быть нерабочими!\">Оригинальный сайт </span><tt><span title=\"Ссылки на последние копии в нашем зале\">Копия от </span><span title=\"Ссылки на обсуждение проверки\"> Обс </span></tt></li>";
    }
($1~/\./) { printf ("%s", "<li class=\"check" $6 "\"><a href=\"http://" $1) ;
	    printf ("%s", "/\" title=\"");
	    printf ("%s", $5);
	    printf ("%s", "\" target=\"_blank\">" $1);
	    printf ("%s", "</a><tt>");
	    printf ("%s", " <a href=\"http://" $2 "\" title=\"Копия " $3 );
	    if ($6 =="") { printf ("%s",  ". Не проверено\" target=\"_blank\">");
	    } else { printf ("%s",  ". Проверено на " $6 "\" target=\"_blank\">"); }
	    if ($3 != "") { printf ("%8.8s", substr($3,3,8));
		} else { if ($4 != "") { printf ("%8.8s", substr($4,3,8)); } else { printf ("--------") ; }
		}
	    printf ("%s", "</a>");
	    if ($7 != "") { printf ("%s", "<a href=\"" $7 "\" title=\"Ссылка на обсуждение проверки.\"  target=\"_blank\"> <b>&gt;&gt;&gt;</b> </a>");
	    } else { printf ("%s", " <b>&nbsp;&nbsp;&nbsp;</b> "); }
	    print "</tt></li>";
	    }
END { print "</ul>"; }
' >mirrorpg-good.htm
cat mirrorpg-credits.csv | awk '
BEGIN { FS=";"; }
	{
	if ($2 != "") {
		printf ("%s", "<a href=\"" $2 "\"") ;
	    } else {
		printf ("%s", "<span" );
	    }
	    if ($3 != "") { printf ("%s", " title=\"" $3 "\""); }
	    printf ("%s", ">");
	printf ("%s", $1);
	if ($2 != "") {
		printf ("%s\n", "</a> ") ;
	    } else {
		printf ("%s\n", "</span> " );
	    }
	    }
END { }
' >mirrorpg-credits.htm
cat mirrorpg-size.csv > mirrorpg-size.htm

[ -z ${SqBasePath} ] && return
[ -d ${SqBasePath}/mirrorpg.arda.ru/${SqHtmlDir} ] || return
cp ./mirrorpg-good.* ${SqBasePath}/mirrorpg.arda.ru/${SqHtmlDir}/
cp ./mirrorpg-credits.* ${SqBasePath}/mirrorpg.arda.ru/${SqHtmlDir}/
}

# -----------------------------------   ---------------------------------------
# Create filelist index.html in .$1            Создаёт html список файлов в .$1
# и md5 файлы для .tar.gz
SqUpdateIndex() {
[ -z $1 ] && return
SqRetPath=`pwd`
cd .$1
echo -n "$1 index: "
echo -n "<!DOCTYPE HTML PUBLIC \"-//W3C//DTD HTML 3.2 Final//EN\">
<html>
 <head>
  <title>Index of /$1 on mirrorpg.$SqMyHall - архивы $SqMyThemeTitle</title>
  <meta name=\"keywords\" Content=\"$SqMyThemeDesc резервная, копия, техническое\">
  <meta name=\"description\" Content=\"Склад архивов статических html копий $SqMyThemeTitle\">
 </head>
 <body>
<h1>Index of /$1 on mirrorpg.$SqMyHall - архивы $SqMyThemeTitle</h1>
<pre>Name                                       Last modified         Size md5<hr>">index.html
SqSumSizes=0
SqNumFiles=0
for i in *.tar.gz
    do
    [ -s $i ] || continue
    echo -n '.'
    SqSumSizes="$(( $SqSumSizes + `stat $i | cut -f8 -d\ ` ))"
    SqNumFiles="$(( $SqNumFiles + 1 ))"
    ls -lhT $i | perl -nae '
$lengthanchor=index($F[9],".tar.gz");
if ($lengthacnchor > 42) { $lengthanchor = 42; $lpitch=0; } else {
    $lpitch = 42-$lengthanchor;
    }
$anchor=substr($F[9],0,$lengthanchor);
printf ("%${lpitch}.${lpitch}s<a href=\"%s\">%s</a> %s-%s-%s %s %5.5s", "", $F[9], $anchor, $F[8], $F[6], $F[5], $F[7], $F[4]);
'>>index.html
    [ -z $2 ] && md5 -q $i > $i.md5
    [ ! -z $2 ] && [ ! -s $i.md5 ] && md5 -q $i > $i.md5
    [ -s $i.md5 ] && echo -n " <a href=\"$i.md5\">`cat $i.md5 | cut -c 1-3`...`rev $i.md5 | cut -c 1-3 | rev`</a>">>index.html
    echo "">>index.html
    done
echo "`du -h | cut -f1` $SqSumSizes $SqNumFiles $SqVersion" | perl -nae '
printf ("%23.23s bytes in %6.6s files      Summary size:%5.5s\n", $F[1], $F[2], $F[0]);
printf ("By mirrorpg verion %3.3s ", $F[3]);
'>>index.html
date>>index.html
echo "<hr></pre>
</body>
</html>">>index.html
echo "AddType text/plain .md5">.htaccess

echo ""

cd $SqRetPath
echo "`du -hs ${SqBasePath}/mirrorpg.arda.ru/${SqHtmlDir}/ | cut -f1`" >mirrorpg-size.csv
}

SqDlTarGzMd5() {
[ -z $3 ] && return
echo "=====================================   ======================================
old .tar.gz archives downloading...                 Скачивание .tar.gz архивов"
SqRetPath=`pwd`
cd .$1
#echo "SqDlTarGzMd5 $1 $2 $3"
wget --restrict-file-names=nocontrol $SqReferer http://$2/$3/ -O index.html
wget --restrict-file-names=nocontrol -nc -np -nd -nH --base=http://$2/$3/ -F -i index.html
rm index.html

echo "=====================================   ======================================"
echo "testing md5 sums of downloaded files               тестирование md5 скачанного"
for j in *.tar.gz; do
    [ -s $j ] || continue
    [ -s $j.md5 ] || continue
#    echo -n "$j"
    [ "`md5 -q $j`" != "`cat $j.md5`" ] && rm $j $j.md5 && echo -n '#'
    [ -s $j ] && echo -n '+'
done
echo ''
cd $SqRetPath
SqUpdateIndex $1
}
# ===================================   =======================================
# Moves Previous .tar.gz from Latest    Передвигает .tar.gz из Latest в Prevous
# Packs Latest .tar.gz from fresh       Создаёт Latest архив .tar.gz из свежего
# If First .tar.gz not exist ln it      Линкует архив на First если того нету
# If site exists in webserver struc-    Если сайт есть в структуре вебсервера,
# ture, replaces it with fresh copy     Заменяет его свежей копией
# Makes .md5 files                      Создаёт файлы .md5
SqReplace() {
 [ -z $1 ] && [ -z $NowDomain ] && return
 [ -z $1 ] && SqReplace $NowDomain
 [ -z $1 ] && return
if [ -z $2 ] ; then
[ -d .Previous ] || [ -h .Previous ] && [ -r .Latest/$NowDomain.tar.gz ] && mv .Latest/$NowDomain.tar.gz* .Previous/
SqRetPath=`pwd`
cd $NowDomain
tar -czf ${SqRetPath}/.Latest/$NowDomain.tar.gz ./
md5 -q ${SqRetPath}/.Latest/$NowDomain.tar.gz >${SqRetPath}/.Latest/$NowDomain.tar.gz.md5
cd ${SqRetPath}
[ ! -e .First/$NowDomain.tar.gz ] && cp -l .Latest/$NowDomain.tar.gz* .First/
fi
[ -z $SqBasePath ] && return
[ ! -d ${SqBasePath}/$1${SqHtmlDir} ] && return
rm -rf ${SqBasePath}/$1${SqHtmlDir}/* 1>&2 2>/dev/null
rm -rf ${SqBasePath}/$1${SqHtmlDir}/.* 1>&2 2>/dev/null
cp -R $1/ ${SqBasePath}/$1${SqHtmlDir}/
[ `whoami` == 'root' ] && [ ! -z $SqUser ] && [ ! -z $SqGroup ] && chown -R $SqUser:$SqGroup ${SqBasePath}/$1${SqHtmlDir}/ 1>&2 2>/dev/null
}

# ===================================   ======================================
# Creates .tar.gz copy of host in .$1   Создаёт .tar.gz архив в подкаталоге .$1
# from VIRTUALHOST content              из содержимого виртуал хоста.
SqCreateTarGz() {
[ -z ${NowDomain} ] && return
[ -z $1 ] && return
[ -s .$1/$NowDomain.tar.gz ] && return
[ -z $SqBasePath ] && return
RetPath=`pwd`
cd ${SqBasePath}/${NowDomain}${SqHtmlDir}/
tar -czf $RetPath/.$1/$NowDomain.tar.gz ./
md5 -q $RetPath/.$1/$NowDomain.tar.gz >$RetPath/.$1/$NowDomain.tar.gz.md5
cd $RetPath
}

# ===================================   ======================================
# Replaces .tar.gz copy of host in .$1  Заменяет tar.gz архив в .$1
# from VIRTUALHOST content              из содержимого виртуал хоста.
SqReplaceTarGz() {
[ -z ${NowDomain} ] && return
[ -z $1 ] && return
[ -z $SqBasePath ] && return
[ -d ${SqBasePath}/${NowDomain}${SqHtmlDir} ] || return
[ -s .$1/$NowDomain.tar.gz ] && rm .$1/$NowDomain.tar.gz
RetPath=`pwd`
cd ${SqBasePath}/${NowDomain}${SqHtmlDir}/
tar -czf $RetPath/.$1/$NowDomain.tar.gz ./
md5 -q $RetPath/.$1/$NowDomain.tar.gz >$RetPath/.$1/$NowDomain.tar.gz.md5
cd $RetPath
}

# ===================================   ======================================
# Replaces  real site with content of   Заменяет реальный  сайт  распакованным
# .tar.gz unpacking from .$1            .tar.gz архивом из каталога .$1
SqExtract() {
echo "
Debug \$NowDomain=\"${NowDomain}\" \$1=\"$1\" -C ${SqBasePath}/${NowDomain}${SqHtmlDir}
"
[ -z "${NowDomain}" ] && return
[ -z "$1" ] && return
[ -s ".$1/$NowDomain.tar.gz" ] || return
[ -z "$SqBasePath" ] && return
[ ! -d "${SqBasePath}/${NowDomain}${SqHtmlDir}" ] && return
rm -rf ${SqBasePath}/${NowDomain}${SqHtmlDir}/* 1>&2 2>/dev/null
rm -rf ${SqBasePath}/${NowDomain}${SqHtmlDir}/.??* 1>&2 2>/dev/null
cat .$1/$NowDomain.tar.gz | gzip -d | tar -xf- -C ${SqBasePath}/${NowDomain}${SqHtmlDir}
}

# ===================================   ======================================
# Create subdirectory in virthost       Создаёт подкаталог  в вирт хосте и
# and .symlink in current dir           симлинк на него в текущем каталоге
# One of              Childs First Previous Latest       Один из каталогов
SqCreate() {
[ -z $1 ] && return
if [ -d ${SqBasePath}/${NowDomain}/${SqHtmlDir} ]
 then
    mkdir -p ${SqBasePath}/${NowDomain}/${SqHtmlDir}/$1
 [ ! -h .$1 ] && [ ! -d .$1 ] && [ ! -r .$1 ] && ln -s ${SqBasePath}/${NowDomain}/${SqHtmlDir}/$1/ .$1
 fi
}

# -----------------------------------   --------------------------------------
# copy static site w/o changes to       копирует статический сайт как он  есть
# directory named by it's domain        в каталог именованный как домен сайта.
# If second parameter exists - get      Если есть второй параметр - то контент
# content from that domain, not $1      берём с него, а не с $1
# Delete old content in subdir          Старое содержимое стирается
# $3 - additional params for wget       $3 - доп параметры wget
SqBackStatic() {
 [ -z $1 ] && [ -z $NowDomain ] && return
 [ -z $1 ] && SqBackStatic $NowDomain
 [ -z $1 ] && return
SqMakeDirDom $1
 cd $1
 [ -z $2 ] && wget --restrict-file-names=nocontrol -r -l 0 -x -nH $3 http://$1/
 [ -z $2 ] || wget --restrict-file-names=nocontrol -r -l 0 -x -nH $3 http://$2/
cd ..
}

# -----------------------------------   --------------------------------------
# Download one page as is in cur  dir   Скачивание одной страницы как есть в .
# $1 - URI                              - полный URI в кавычках
# $2 - alternate domain                 - альтернативный домен для скачивания
# $3 - additional params for wget       $3 - доп параметры wget
Sq1Page() {
[ -z $1 ] && return
[ -z $2 ] && wget --restrict-file-names=nocontrol -x -nH $3 http://$NowDomain/`echo $1 | sed 's/"//g'`
[ -z $2 ] || wget --restrict-file-names=nocontrol -x -nH $3 http://$2/`echo $1 | sed 's/"//g'`
}

# -----------------------------------   --------------------------------------
# Deletes all outside <HTML>..</HTML>   Удаляет всё за пределами тегов HTML
SqCleanOuterHTMLTree() {
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqCleanOuterHTMLTree
 cd ..
 done
for i in *.htm* *.shtml* *.php*
 do
 [ -s $i ] || continue
 echo -n "$i "
 cat $i | perl -e '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?(<!DOCTYPE.*?>.*?|)(<HTML.*?>.*?<\/HTML>).*/\1\2/gsi;
print $fulltext;

' > ${i}.bak
   mv ${i}.bak $i
 done
}

# -----------------------------------   --------------------------------------
# extract ulrs from html file $1        Извлекаем URI из html файла $1 и доба-
# and adds them to file $2              вляем их построчно в файл $2
# For MediaWiki projects only           Только для проектов на Викимедия
SqExtractWikiUrls() {
[ -z $2 ] && return
cat $1 |  perl -e '
# extract urls of pages
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gmsi;
$fulltext=~s/<a/\n<a/gsmi;
$fulltext=~s/&quot;/"/gsmi;
$fulltext=~s/\&amp\;/\&/gsmi;
$fulltext=~s/.*?<a .*?href=\"(\/wiki\/.*?)\".*?\>(.+?)\<\/a\>/\1\n/gsmi;
print $fulltext;
' | grep /wiki/ | sort -u >>$2
}

# -----------------------------------   --------------------------------------
# CSS JS from file $1 (relative path)   Собираем CSS JS из файла (отн. путь)
SqCollectJSCSS() {
[ -z $NowDomain ] && return
# rel href
cat "${1}" | grep .css | perl -pe '
~s/.*?href\=\"(.+?)\".*/\1/gi;
' | awk "{ print \"wget --no-check-certificate --restrict-file-names=nocontrol -x -nH http://$NowDomain/\" \$1; } ">>/tmp/addfiles.sh

# @import url("/path/1.css")
cat "${1}" | grep .css | perl -pe '
~s/.*?\@import\s+?url\(\"([^\"\)]+?)\"\).*/\1/gi;
' | awk "{ print \"wget --no-check-certificate --restrict-file-names=nocontrol -x -nH http://$NowDomain/\" \$1; } ">>/tmp/addfiles.sh

# @import url('/path/1.css')
cat "${1}" | grep .css | perl -pe "
~s/.*?\@import\s+?url\(\'([^\)\']+?)\'\).*/\1/gi;
" | awk "{ print \"wget --no-check-certificate --restrict-file-names=nocontrol -x -nH http://$NowDomain/\" \$1; } ">>/tmp/addfiles.sh

# @import url(/path/1.css)
cat "${1}" | grep .css | perl -pe "
~s/.*?\@import\s+?url\(([^'\"\)]+?)\).*/\1/gi;
" | awk "{ print \"wget --no-check-certificate --restrict-file-names=nocontrol -x -nH http://$NowDomain/\" \$1; } ">>/tmp/addfiles.sh

cat "${1}" | grep .js | perl -pe '
~s/.*?src\=\"(.+?)\".*/\1/gi;
' | awk "{ print \"wget --no-check-certificate --restrict-file-names=nocontrol -x -nH http://$NowDomain/\" \$1; } ">>/tmp/addfiles.sh
}

# -----------------------------------   --------------------------------------
# Clean UCOZ scipt and copyright off.   Чистит UCOZ'овые скрипт и копирайт
SqUcozCleanTree() {
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqUcozCleanTree
 cd ..
 done
for i in *.html *.htm
 do
 [ -s $i ] || continue
 echo -n "$i "
 cat $i | perl -pe '
~s/<script type=\"text\/javascript\" src=\"\/ab.*?<\/script>//gi
' | perl -pe '
~s/<!-- copyright .*?\/copyright -->//gi
' | perl -e '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?(<HTML>.*?<\/HTML>).*/\1/gsi;
print $fulltext;

' > ${i}.bak
   mv ${i}.bak $i
 done
}

# -----------------------------------   --------------------------------------
# copy PhpBB3 forum only static files   PhpBB3 (доступ анонима) как стат. сайт
# if clean urls are turned on.          если вкл соотв опция в движке форума.
SqBackPhpbb3Anon() {
 [ -z $1 ] && [ -z $NowDomain ] && return
 [ -z $1 ] && SqBackPhpbb3Anon $NowDomain
 [ -z $1 ] && return
SqBackStatic $1
rm -f $1/cron.php* 1>&2 2>/dev/null
rm -f $1/memberlist.php* 1>&2 2>/dev/null
rm -f $1/posting.php* 1>&2 2>/dev/null
rm -f $1/topic*.html\?* 1>&2 2>/dev/null
# - - - - - - - - - - - - - - - - - -   - - - - - - - - - - - - - - - - - - -
# avatars paths correct with renaming   аватары переименуем и правим пути их.
cd $1
 for i in *.html
 do
   sed -e "s/file\.php\?avatar\=//g" $i > ${i}.bak
   mv ${i}.bak $i
   echo $i
 done
 cd download
 for i in file.php*
 do
  mv ${i} ${i:16}
 done
cd ..
}

# -----------------------------------   --------------------------------------
# wikidot.com clean out css/js            Удаление css/js из сайта wikidot.com
# Delete editing/admin elements              Удаление элементов редактирования
SqWikiDot(){
SqDelJsTree
SqDelCssTree
SqDelStyleTree
SqTree '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/<li><a href\=\"javascript\:\;\">.*?Manage site<\/a><\/li>.*?<\/ul>.*?<\/li>//gsmi;
$fulltext=~s/<form.*?>.*?<\/form>//gsmi;
$fulltext=~s/<noscript>.*?<\/noscript>//gsmi;
$fulltext=~s/(<div id\=\"login-status\">).*?(<\/div>)/\1\2/gsmi;
$fulltext=~s/<link rel\=\"alternate\" type\=\"application\/wiki\".*?>//gsmi;
$fulltext=~s/(<div class\=\"actions\".*?>).*?(<\/div>)/\1\2/gsmi;
$fulltext=~s/(<div class\=\"page-tags\".*?>).*?(<\/div>)/\1\2/gsmi;
$fulltext=~s/(<div class\=\"options\".*?>).*?(<\/div>)/\1\2/gsmi;
$fulltext=~s/(<div class\=\"join\-box\".*?>).*?(<\/div>)/\1\2/gsmi;
$fulltext=~s/(<div class\=\"error\-block\".*?>).*?(<\/div>)/\1\2/gsmi;
$fulltext=~s/(<div class\=\"pages-tag-cloud-box\".*?>).*?(<\/div>)/\1\2/gsmi;
$fulltext=~s/(<div id\=\"[^>]*?-hovertip\".*?>).*?(<\/div>)/\1\2/gsmi;
$fulltext=~s/<\!\-\- .*?\-\->//gsmi;
$fulltext=~s/<span[^>]*?><a href\=\"([^\"]*?)\".*?>([^<>]*?)<\/a><\/span><br\/>/<a href="\1">\2<\/a><br>/gsmi;
$fulltext=~s/Powered by <a .*?<\/a>//gsmi;
$fulltext=~s/^\s*?$//gsmi;
print $fulltext;
' H
}


# -----------------------------------   --------------------------------------
# UNDER CONSTRUCTION                                                НЕДОДЕЛАНО
SqWikiDot2() {
CloudUrl=`cat index.html | grep \@import | grep cloudfront | grep style.css | perl -pe 's/.*?url\((.*?)\).*/\1/gi'`
wget -O style.css.gz "$CloudUrl"
gzip -d style.css.gz

j=0
j="$(( $j + 1 ))"

LocalCSS=`cat index.html | grep \@import | grep admin\:themes | perl -pe 's/.*?url\(\/(.*?)\).*/\1/gi'`
cat $LocalCSS | sed '/import url/d' >>style.css
RemoteCSS=`cat ${LocalCSS} | perl -pe 's/.*?\@import url\((.*?)\).*/\1/gi'`
DomainCSS=`cat ${LocalCSS} | perl -pe 's/.*?\@import url\(http:\/\/(.*?)\/.*?\).*/\1/gi'`
wget -O style1.css "$RemoteCSS"
cat style1.css | sed '/import url/d' >>style.css

for i in `cat style1.css | perl -pe 's/.*?\@import url\((.*?)\).*/\1/g'`
    do
    
    wget -O style2.css "$RemoteCSS"
    cat style2.css | sed '/import url/d' >>style.css
    done
}


# -----------------------------------   --------------------------------------
# Execute $1 Perl programm for any      Обходя каталоги от ./ исполняем $1 как
# file by $2 mask in tree from ./       перловую программу для файлов по маске
# H - html, php files (default)
# D - DOT files
# A - All files (*)
# C - .css files
# J - .js files
# X - .xml files
SqTree() {
[ -z "$1" ] && return
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqTree "$1" "$2"
 cd ..
 done
Mask='*.htm* *.shtml *.php*'
[ ".${2}" == ".A" ] && Mask='*'
[ ".${2}" == ".D" ] && Mask='.*'
[ ".${2}" == ".J" ] && Mask='*.js'
[ ".${2}" == ".C" ] && Mask='*.css'
[ ".${2}" == ".X" ] && Mask='*.xml'

for j in $Mask
 do
 [ -s $j ] || continue
 echo -n "$j "
 cat $j | perl -e "$1" > ${j}.bak
   mv ${j}.bak ${j}
 done
}

# - - - - - - - - - - - - - - - - - -    - - - - - - - - - - - - - - - - - - -
SqDelJsTree() {
SqTree '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/\<script.*?\>.*?\<\/script\>//gsmi;
print $fulltext;
' H
}

# - - - - - - - - - - - - - - - - - -    - - - - - - - - - - - - - - - - - - -
SqDelStyleTree() {
SqTree '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/\<style.*?\>.*?\<\/style\>//gsmi;
print $fulltext;
' H
}

# - - - - - - - - - - - - - - - - - -    - - - - - - - - - - - - - - - - - - -
SqDelCssTree() {
SqTree '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/<link[^>]*?href=[^>]*?http\:\/\/.*?>//gsmi;
print $fulltext;
' H
}

# -----------------------------------   --------------------------------------
# Clean google+mootools js/css off.     Чистит скрипт и стили google+mootools
SqCleanMooToolsTree() {
SqTree '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?(<HTML>.*?<\/HTML>).*/\1/gsmi;
$fulltext=~s/<link[^>]*?href=[^>]*?(google|mootools).*?>//gsmi;
$fulltext=~s/\<script.*?\>.*?\<\/script\>//gsmi;
print $fulltext;
' '*'
}

# -----------------------------------   --------------------------------------
# Clean off word techinfo.              Чистит офисные изыски
SqCleanOfficeTree() {
SqTree '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/\<\!\-\-\[if gte mso \d+?\]\>.*?\<\!\[endif\]\-\-\>//gsmi;
print $fulltext;
' H
}

# -----------------------------------   --------------------------------------
# Deletes META charset line             Стираем строку META charset
# Deletes \r                            Стираем возвраты каретки
# $1 - from encoding                    из какой кодировки
# $2 - to encoding                      в какую кодировку
# $3 - file                             файл
SqRecode1File() {
[ -z $3 ] && return
 echo -n "$3 "
 cat $3 | perl -e '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/\<meta\ +?http\-equiv\=\"Content\-Type\"\ +?content\=\"text\/html\;\ +?charset\=.*?\"(|\/|\ +?\/)\>//gsi;
print $fulltext;
' | iconv -f $1 -t $2 > $3.bak
   mv $3.bak $3
}

# Recode text encoding by iconv         Перекодируем тексты по iconv
# Recode NowTitle if it exists          Перекодируем NowTitle
# Deletes META charset line             Стираем строку META charset
# Deletes \r                            Стираем возвраты каретки
# $1 - from encoding                    из какой кодировки
# $2 - to encoding                      в какую кодировку
# $3 - file extentions descript:
#    - A - all files *
#    - D - default *.htm* *.shtml* *.php* *.js*
# $4 - empty for root                   пусто при первом вызове

SqRecodeTree() {
[ -z $2 ] && return
[ -z $4 ] && NowTitle=`echo $NowTitle | iconv -f $1 -t $2`
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 [ -z $3 ] && SqRecodeTree $1 $2 D NotRoot
 [ -z $3 ] || SqRecodeTree $1 $2 $3 NotRoot
 cd ..
 done
if [ ".$3" == ".A" ] ; then
for i in *
 do
 [ -s $i ] || continue
 SqRecode1File $1 $2 "$i"
 done
else
for i in *.htm* *.shtml* *.php* *.js*
 do
 [ -s $i ] || continue
 SqRecode1File $1 $2 "$i"
 done
fi
}

# ===================================   =======================================
# three most useful scenarios to show   Три сценария генерации скриптов  показа
# /*?query and /word /word/ pages.      страниц вида /*?query /слово /слово/
# - - - - - - - - - - - - - - - - - -   - - - - - - - - - - - - - - - - - - - -
# SqFilePage - the most simple, ugly,   Простейший, грубый скрипт, но .htaccess
# no .htaccess needed.                  не нужно менять.
# Filenames are equal to their URI.     Имена файлов в точности равны URI.
#
# SqAddQueryReportTree - more compli-   Посложнее, используется  если  головные
# cated, useful when basic pages  for   страницы групп  уже существуют, а таких
# the groups exist already, and there   групп много.  Если  не .php  расширение
# are MANY pages of this scheme. Need   файла - требуется изменение .htaccess
# .htaccess to work, if not .php URIs
# Filenames are equal to their URI.     Имена файлов в точности равны URI.
#
# SqShowFile - best  to use  with -E    Лучше всего применять с ключом  wget -E
# wget option, SqDupPageToIndexTree.    Требует  направления  ErrorDocument 404
# Clever. But ErrorDocument 404 MUST    на себя.  Интеллектуально ищет подходя-
# show to generated php script.         щие к данному URI файлы.
# Filenames are NOT equal to URI.       Имена многих файлов отличаются от URI.
# Very useful for MediaWiki sites.      Наиболее применим к сайтам на MediaWiki
# - SqFilePage ----------------------   --------------------------------------
# To show really static files                 Чтобы показать статические файлы
#                       /some_name.php?some_query
# To show statically kept uris:                             и сохранённые урлы
#                                /?some_query
# we need php file catching query       нам нужен php скрипт, что ловит строку
# string and showing content of file.     query и показывает содержимое файла.
# $1 - some_name
# $2 - Mime Type ( text/html if none)
SqFilePage() {
[ -z $1 ] && return
[ -z $2 ] && MimeType="text/html"
[ ! -z $2 ] && MimeType="$2"
if [ -z $3 ]; then
    DefaultPage='index.html';
else
    DefaultPage=$3;
fi
echo -n '<?php
if ($_SERVER{"QUERY_STRING"}) {
if (file_exists ($_SERVER{"DOCUMENT_ROOT"} . "/' >$1.php
echo -n "$1.php" >>$1.php
echo    '?" . $_SERVER{"QUERY_STRING"})) {' >>$1.php
echo    "header('Content-Type: $MimeType');" >>$1.php
echo -n '  echo file_get_contents ($_SERVER{"DOCUMENT_ROOT"} . "/'>>$1.php
echo -n "$1.php" >>$1.php
echo -n '?" . $_SERVER{"QUERY_STRING"});
  } else {
  $sapi_name = php_sapi_name();
  if ($sapi_name == "cgi" || $sapi_name == "cgi-fcgi") {
    header("Status: 404 Not Found");
    } else {
    header($_SERVER["SERVER_PROTOCOL"] . " 404 Not Found");
    }
  echo "No Page";
  }
} else {  if (file_exists ($_SERVER{"DOCUMENT_ROOT"} . "/'>>$1.php
echo -n "$DefaultPage">>$1.php
echo -n '")) {
    echo file_get_contents ($_SERVER{"DOCUMENT_ROOT"} . "/'>>$1.php
echo -n "$DefaultPage">>$1.php
echo -n '");
    } else {
    echo "No Page";
    }
} ?>
'>>$1.php
}

# -----------------------------------   --------------------------------------
# Adds QUERY analysing to html files.   Добавляем обработку QUERY в html файлы
# For example, wget downloaded pages:   Например, wget скачал такие страницы:
#                         print.shtml
#                         print.shtml?1
#                         print.shtml?d=2&r=4
# and kept them as files. Web server    и сохранил их как файлы. Веб сервер не
# can't show print.shtml?1 because ?1   отображает print.shtml?1 так как ?1  -
# is query, not part of filename.       QUERY_STRING, а не часть имени файла.
# If we add query parser main file,     Если мы добавим парсер QUERY в главный
# it can show all these files.          файл - он может отобразить остальные.
SqAddQueryReportTree() {
[ -z $1 ] && return
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqAddQueryReportTree "$1"
 cd ..
 done
for i in *.$1
 do
 [ -s $i ] || continue
 for j in ${i}\?*
  do
  [ ! -s "$j" ] && break;
# - - - - - - - - - - - - - - - - - -   - - - - - - - - - - - - - - - - - - -
# if at least 1 non-empty file ?some    Найден хотя бы один непустой файл ?..
# exists - add php code to main file.   - добавляем php код его отображения
  echo -n "$i "
  cat "$i" | perl -e '
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/\<\?/&lt;?/gsi;
$fulltext=~s/\?\>/?&gt;/gsi;
print "<?php
if (\$_SERVER{\"QUERY_STRING\"}) {
if (file_exists (\$_SERVER{\"SCRIPT_FILENAME\"} . \"?\" . \$_SERVER{\"QUERY_STRING\"})) {
  echo file_get_contents (\$_SERVER{\"SCRIPT_FILENAME\"} . \"?\" . \$_SERVER{\"QUERY_STRING\"});
  } else {
  \$sapi_name = php_sapi_name();
  if (\$sapi_name == \"cgi\" || \$sapi_name == \"cgi-fcgi\") {
    header(\"Status: 404 Not Found\");
    } else {
    header(\$_SERVER[\"SERVER_PROTOCOL\"] . \" 404 Not Found\");
    }
  echo \"No Page\";
  }
} else {
 ?>$fulltext<?php
} ?>";

' > "${i}.bak"
  mv "${i}.bak" "$i"
  break;
  done
 done
}

# - - - - - - - - - - - - - - - - - - - -     - - - - - - - - - - - - - - - - -
# Build files shower for many purporses       Строим показывалку файлов
# $1 - filename (index.php as usual)          имя создаваемого файла
# $2 - file to read as / and /index.php       имя файла читаемого на /
# $3 - Error code to add to .htaccess         Errorcode добавляемый в .htaccess
SqShowFile() {
if [ -z $1 ] ; then
CreFile='index.php';
else
CreFile=$1;
fi
if [ -z $2 ] ; then
DefRoot='/index.html';
else
DefRoot=$2;
fi

if [ -z $3 ] ; then
ErDoc=404
else
ErDoc=$3
fi

echo -n "<?php
\$Comment='$CreFile for static html mirror<BR>created by SqShowFile mirrorpg version $SqVersion<BR>"  >$CreFile
echo "`date`';" >>$CreFile
echo -n '$CheckFile = $_SERVER{"DOCUMENT_ROOT"} . $_SERVER{"REQUEST_URI"};
if (($_SERVER{"REQUEST_URI"} == "/") ||
    ($_SERVER{"REQUEST_URI"} == "/index.php") ||
    ($_SERVER{"REQUEST_URI"} == "/' >>$CreFile
echo -n "$CreFile" >>$CreFile
echo -n '")) {
    $CheckFile = $_SERVER{"DOCUMENT_ROOT"} . "'>>$CreFile
echo -n "$DefRoot">>$CreFile
echo -n '";
    }
'>>$CreFile
if [ ! -z "$4" ] ; then
echo "$4">>$CreFile
fi
echo -n 'if (file_exists ($CheckFile . ".html")) { $CheckFile = $CheckFile . ".html"; } else { }
if (file_exists ($CheckFile . ".js")) { $CheckFile = $CheckFile . ".js"; } else { }
if (file_exists ($CheckFile . ".css")) { $CheckFile = $CheckFile . ".css"; } else { }
if (file_exists ($CheckFile . ".xml")) { $CheckFile = $CheckFile . ".xml"; } else { }
if (file_exists ($CheckFile)) {
    $DefType="text/html";
    if (preg_match("/(rss|feed|\.xml)/", $CheckFile)) { $DefType="text/xml"; }
    if (preg_match("/(\/skins\/.*css|gen\=css|\.css)/", $CheckFile)) { $DefType="text/css"; }
    if (preg_match("/(\/skins\/.*js|gen\=js|\.js)/", $CheckFile)) { $DefType="text/javascript"; }
    if ($sapi_name == "cgi" || $sapi_name == "cgi-fcgi") {
        header("Status: 200 OK");
        } else {
        header($_SERVER["SERVER_PROTOCOL"] . " 200 OK");
        }
    header("Content-Type: " . $DefType);
    echo file_get_contents($CheckFile);
    } else {
    $sapi_name = php_sapi_name();
    if ($sapi_name == "cgi" || $sapi_name == "cgi-fcgi") {
        header("Status: '>>$CreFile
echo -n "$ErDoc">>$CreFile
echo -n '");
        } else {
        header($_SERVER["SERVER_PROTOCOL"] . " '>>$CreFile
echo -n "$ErDoc">>$CreFile
echo -n '");
        }
    echo "<tt><br>SCRIPT_NAME  : \"" . $_SERVER{"SCRIPT_NAME"} . "\"";
    echo "<br>REQUEST_URI  : \"" . $_SERVER{"REQUEST_URI"} . "\"";
    echo "<br>QUERY_STRING : \"" . $_SERVER{"QUERY_STRING"} . "\"";
    echo "<br>CheckFile    : \"" . $CheckFile . "\"";
    echo "<BR>No Page;<BR>$Comment</tt>";
    }
?>
' >> $CreFile
echo "
ErrorDocument $ErDoc /$CreFile
">>.htaccess
}

# - - - - - - - - - - - - - - - - - - - -     - - - - - - - - - - - - - - - - -
# Duplicate Page to Page/ if needed           Дублируем Page в Page/ если надо.
# useful with wget -E option                  Наиболее применим при wget -E
# Make URIs /path/word and /path/word/        Делает идентичными /путь/слово и
# equal, if SqShowFile is used.               /путь/слово/ при SqShowFile.
# $1 - current relative path                  текущий относительный путь
# $2 - addition to filename (def .html)       Добавление к имени файла
SqDupPageToIndexTree() {
[ -z $2 ] && AddExt=".html"
[ ! -z $2 ] && AddExt="$2"
for i in *
    do
    [ ! -d $i ] && continue
    [ -s "$i$AddExt" ] && [ ! -s "$i/index.html" ] && cp -l "$i$AddExt" "$i/index.html" && echo -n "$1/$i "
    cd $i
    SqDupPageToIndexTree "$1/$i" "$2"
    cd ..
    done
[ -z $1 ] && echo ""
}

# -----------------------------------   --------------------------------------
# Try get favicons all possible         Скачать фавиконки всеми методами

SqFavicons() {
 [ -z $1 ] && [ -z $NowDomain ] && return
 [ -z $1 ] && SqFavicons $NowDomain
 [ -z $1 ] && return
# default favicon as IE assumes         В корне сайта как думает IE
[ -s favicon.ico ] || wget http://$1/favicon.ico
# get info from typical lines           собрать информацию из типичных строк:
# <link rel="shortcut icon" href="http://www.pencioner.ru/favicon.ico" type="image/vnd.microsoft.icon" />
# Under construction
}

# -----------------------------------   --------------------------------------
# simply minimal file            robots.txt просто правильный минимальный файл

SqRobots() {
 [ -z $1 ] && [ -z $NowDomain ] && return
 [ -z $1 ] && SqRobots $NowDomain
 [ -z $1 ] && return
cd $1
echo "User-Agent: *
Host: $1
">robots.txt
cd ..
}


# -----------------------------------   --------------------------------------
# deletes http://domain/ part from  a   Стираем абсолютные вхождения домена из
# href, img src  walking through tree   ссылок, картинок, по дереву каталогов.
# param is text of PERL programm. not   Параметр вызова функции - текст  прог-
# domain itself.                        раммы на Перле, а не имя домена.
# deletes <base href= line              Удаляет строку <base href=
SqSubstDomainByRootTree() {
 [ -z $1 ] && [ -z $NowDomReg ] && return
 [ -z $1 ] && SqSubstDomainByRootTree $NowDomReg
 [ -z $1 ] && return
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqSubstDomainByRootTree $1
 cd ..
 done
for i in *.shtml* *.html* *.htm* *.php* *.css
 do
 [ -s $i ] || continue
 echo -n "$i "
 cat $i | perl -pe $1 | perl -pe '~s/\<base\ .*?href\=.*?\>//gi;'> ${i}.bak
   mv ${i}.bak $i
 done
}

# -----------------------------------   --------------------------------------
# builds  download  script for dl and   Делает скрипт скачки и  переименования
# rename pictures  (original urls are   картинок из ЖЖ (оригинальные  урлы  не
# not ends with .jpg)                   имеют расширения)
#
# replaces urls by local with .jpg      замещает урлы на локальные с .jpg
#
SqLjPicturesTree() {
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqLjPicturesTree
 cd ..
 done
for i in *.php* *.htm* *.shtml*
 do
 [ -s $i ] || continue
 echo -n "$i "
   cat $i | perl -e 'while (<>) { print if (/<img .*?src=(\"|)(http:\/\/pics\.livejournal\.com\/)(.+?)(\".*?| .*?|)>/); } 
' | perl -e '
# extract urls
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?<img .*?src=(\"|)(http:\/\/pics\.livejournal\.com\/)(.+?)(\".*?| .*?|)>.*/wget --restrict-file-names=nocontrol -x -nH \2\3 ; mv \3 \3.jpg\n/gi;
print $fulltext;
' >>/tmp/addfiles.sh
   cat $i | perl -e '
# subst paths
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/(<img .*?src=)(\"|)http:\/\/pics\.livejournal\.com(\/.+?)(\".*?| .*?|)>/\1\2\3.jpg\4>/gsi;
print $fulltext;
' > ${i}.bak
   mv ${i}.bak $i
   echo -n "$i "
 done
}

# -----------------------------------   --------------------------------------
# builds  download  script for dl ALL   Делает скрипт скачки всех css/js с
# css/js with abs urls                  абсолютных URL
# 
# replaces urls by local with           замещает урлы на локальные
#                                /domain/uri
SqAllCSSJSTree() {
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqAllCSSJSTree
 cd ..
 done
for i in *.php* *.htm* *.shtml*
 do
 [ -s $i ] || continue
 echo -n "$i "
# - w/o renaming ----------------------------------------
   cat $i | perl -e '
while(<>) {
print if (/.*?(<link .*?href=|<script .*?src=)(\"|)(http:\/\/.+?\/)(.+?\.)(css|js)(\".*?| .*?|)>.*/gi);
}' | perl -e '
# extract urls with pictures extentions
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?(<link .*?href=|<script .*?src=)(\"|)(http:\/\/.+?\/)(.+?\.)(css|js)(\".*?| .*?|)>.*/wget --no-check-certificate --restrict-file-names=nocontrol -x "\3\4\5"/gi;
print $fulltext;
' | sort -u >>/tmp/addfiles.sh
   cat $i | perl -e '
# subst paths with pictures extentions
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/(<link .*?href=|<script .*?src=)(\"|)http:\/(\/.+?\/.+?\.)(css|js)(\".*?| .*?|)>/\1\2\3\4\5>/gsi;
print $fulltext;
' > ${i}.bak
   mv ${i}.bak $i
 done
}

# -----------------------------------   --------------------------------------
# builds  download  script for dl ALL   Делает скрипт скачки всех картинок со
# pictures with internal urls (kept)    внутренних URL (оставляя как есть)
#
SqOurPicturesTree() {
[ -z $NowDomain ] && return
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqOurPicturesTree
 cd ..
 echo ""
 done
for i in *.php* *.htm* *.shtml*
 do
 [ -s $i ] || continue
 
 echo -n "."
# - .jpg .gif .jpeg .png w/o renaming ----------------------------------------
 cat $i | perl -e '
while(<>) {
print if (/.*?<img .*?src=(\"|)(.+?\.)(jpg|jpeg|png|gif)(\".*?| .*?|)>.*/gi);
}' | perl -e '
# extract urls with pictures extentions
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?<img .*?src=(\"|)(.+?\.)(jpg|jpeg|png|gif)(\".*?| .*?|)>.*/\2\3/gi;
print $fulltext;
' | awk "{print \"http://$NowDomain\" \$0; }" | perl -pe '
s/(.*)/wget --no-check-certificate --restrict-file-names=nocontrol -x -nH "\1"/
' >>/tmp/addfiles.sh
 done
}


# -----------------------------------   --------------------------------------
# builds  download  script for dl ALL   Делает скрипт скачки всех картинок со
# pictures with ext urls                внешних URL
# 
# replaces urls by local with           замещает урлы на локальные
#                                /domain/uri
SqAllPicturesTree() {
for i in *
 do
 [ -d "$i" ] || continue
 echo -n "$i/ "
 cd $i
 SqAllPicturesTree
 cd ..
 done
for i in *.php* *.htm* *.shtml*
 do
 [ -s $i ] || continue
 echo -n "$i "
# - .jpg .gif .jpeg .png w/o renaming ----------------------------------------
   cat $i | perl -e '
while(<>) {
print if (/.*?<img .*?src=(\"|)(http:\/\/.+?\/)(.+?\.)(jpg|jpeg|png|gif)(\".*?| .*?|)>.*/gi);
}' | perl -e '
# extract urls with pictures extentions
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?<img .*?src=(\"|)(http:\/\/.+?\/)(.+?\.)(jpg|jpeg|png|gif)(\".*?| .*?|)>.*/wget --no-check-certificate --restrict-file-names=nocontrol -x "\2\3\4"/gi;
print $fulltext;
' | sort -u >>/tmp/addfiles.sh
   cat $i | perl -e '
# subst paths with pictures extentions
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/(<img .*?src=)(\"|)http:\/(\/.+?\/.+?\.)(jpg|jpeg|png|gif)(\".*?| .*?|)>/\1\2\3\4\5>/gsi;
print $fulltext;
' > ${i}.bak
   mv ${i}.bak $i
# - renaming to .jpg ---------------------------------------------------------
   cat $i | perl -e '
while(<>) {
print if (/.*?<img .*?src=(\"|)(http:\/\/)(.+?\/)(.+?)(\".*?| .*?|)>.*/gi);
}' | perl -e '
# extract urls w/o pictures extentions
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?<img .*?src=(\"|)(http:\/\/)(.+?\/)(.+?)(\".*?| .*?|)>.*/wget --no-check-certificate --restrict-file-names=nocontrol -x "\2\3\4" ; mv "\3\4" "\3\4.jpg"/gi;
print $fulltext;
' | sort -u >>/tmp/addfiles.sh
   cat $i | perl -e '
# subst paths with pictures extentions
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/(<img .*?src=)(\"|)http:\/(\/.+?\/.+?)(\".*?| .*?|)>/\1\2\3.jpg\4>/gsi;
print $fulltext;
' > ${i}.bak
   mv ${i}.bak $i
 done
# - .jpg .gif .jpeg .png w/o renaming in .css --------------------------------
for i in *.css
 do
 [ -s $i ] || continue
 echo -n "$i "
   cat $i | perl -e '
while (<>) { print if (/url\(http:\/\/.+?\..+?\/.+?\)/); }' | perl -e '
# extract urls
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/.*?url\(http:\/\/(.+?\..+?\/.+?)\).*/wget --no-check-certificate --restrict-file-names=nocontrol -x "http:\/\/\1"/gsi;
print $fulltext;
' | sort -u >>/tmp/addfiles.sh
   cat $i | perl -e '
# subst paths
$fulltext=join("",<>);
$fulltext=~s/\r\n/\n/gsi;
$fulltext=~s/(url)(\()http:\/(\/.+?\..+?\/.+?)(\))/\1\2\3\4>/gsi;
print $fulltext;
' > ${i}.bak
   mv ${i}.bak $i
 done
}


# -----------------------------------   --------------------------------------
# builds  download  script for dl and   Делает скрипт скачки и  переименования
# rename pics/fonts mentioned in .css   картинок/шрифтов из .css файлов
# replaces urls by local                замещает урлы на локальные
#
CSSTree() {
 [ -z $1 ] && [ -z $NowDomain ] && return
 [ -z $1 ] && CSSTree $NowDomain
 [ -z $1 ] && return
echo -n "$2 "
for i in *.css
 do
 [ ! -s $i ] && continue
 echo $i
 for k in `cat $i | grep url | perl -pe 's/.*url\((.+?)\).*/\1/g' | sort -u | grep -v \< | grep -v \> | grep -v \( | grep -v \) | sed 's/"//g' | sed "s/'//g"`
   do
    if [ -z `echo $k | grep http` ] ; then
    echo "wget --no-check-certificate --restrict-file-names=nocontrol $3 -x -nH \"http://$1/$2/$k\"" >>/tmp/addfiles.sh
    else
    echo "wget --no-check-certificate --restrict-file-names=nocontrol $3 -x \"$k\"" >>/tmp/addfiles.sh
    fi
   done

 done
for j in *
 do
 [ -h "$j" ] && continue
 [ ! -d "$j" ] && continue
 cd $j
# echo -n "$j "
 CSSTree $1 "$2/$j" "$3"
 cd ..
 done
}

# -----------------------------------   --------------------------------------
# builds  download  script for dl and   Делает скрипт скачки и  переименования
# rename pictures mentioned in js       картинок упоминаемых в js конструктах
# sorry, VERY UGLY                      Извините, ОЧЕНЬ ГРУБЫЙ
#
SqJSTree() {
 [ -z $1 ] && [ -z $NowDomain ] && return
 [ -z $1 ] && SqJSTree $NowDomain
 [ -z $1 ] && return
echo $1 $2
for i in *.js *.htm *.html
 do
 [ ! -s $i ] && continue
 echo $i
 for k in `cat $i | grep src | grep -v eval | perl -pe 's/.*?src\ *?=\ *?\"(.+?\.(gif|jpg|png|jpeg))\".*/\1/gi' | sort -u | grep -v \< | grep -v \> | grep -v \( | grep -v \)| sed 's/"//g' | sed "s/'//g"`
   do
    echo "wget --no-check-certificate --restrict-file-names=nocontrol -x -nH \"http://$1/$2/$k\"" >>/tmp/addfiles.sh
   done
 done
for j in *
 do
 [ -h "$j" ] && continue
 [ ! -d "$j" ] && continue
 cd $j
# echo -n "$j "
 SqJSTree $1 "$2/$j"
 cd ..
 done
 }

# -----------------------------------   --------------------------------------
# Starts uniqued script for dl files    Запускает скрипт скачки дополнительных
# ans deletes it.                       файлов и удаляет его.
#
SqAddFiles() {
cat /tmp/addfiles.sh | sort -u >/tmp/addfiles2.sh
sh /tmp/addfiles2.sh
rm /tmp/addfiles.sh
}

# END OF FUNCTIONS DECLARATIONS                  ОКОНЧАНИЕ ОПРЕДЕЛЕНИЙ ФУНКЦИЙ
# ===================================   ======================================