PikoDrakův Blog » zálohování

Dataprotector a zasílání reportu na email

PikoDrak — Wed, 24 Nov 2010 12:53:00 +0000

Vzhledem k tomu, že spravuji Dataprotector ve více lokalitách a musím denně vědět o chybách a zároveň se nechci vzdáleně na všechny lokality přihlašovat, udělal jsem pár scriptů a nastavení, které mi to vyřeší.

Stručný popis funkce:

každý den v 10:00 vytvoření reportu Dataprotectorem
každý den v 11:00 hledání VBSkem v txt reportu, pokud není nalezen text že je vše bez chyb, dojde k odeslání reportu na specifikované emaily
každý den v 18:00 dojde k přepsání reportu (kdyby spadl DataProtector, nebude report přepisován, nebude nalezen text o proběhlých jobech a report nám bude zaslán s chybou)

Nejdříve je nutné si vytvořit adresářovou strukturu pro lokální ukládání reportů a uložení scriptů.

mkdir c:\scripts
mkdir c:\scripts\dp

Poté si v DP uděláme report, který následně nashedulujeme
DP-> Reporting -> Reports -> Add Report Group a přidat “Report to email” skupinu. V ní vytvořit “Add report”, vybrat “Reports on sessions in a timeframe”, název “Session Errors”, type Session Errors

Potom next, nastavit “Relative time” na 24h za poslednich 24h

Potom samé next až na obrazovku, kde je “Message level” a volbu na “Critical”

Next a nastavit, v jakým formátu a kam se to má ukládat

Stačí už jen danou skupinu jobů nashedulovat, a to 1x denně v 10h

Nyní můžeme mrknout na to, zda to funguje – pravé tlačítko na Skupinu a Start

V cestě C:\scripts\dp bude vygenerovaný soubor errors.txt, který buď bude obsahovat chyby nebo obsah souboru bude obsahovat text “No error messages” - podle toho bude logika následujícího scriptu rozhodovat o tom, zda nám pošle email či nikoliv.

Vytvoříme VBS script na zasílání reportu v případě nalezených chyb, nazveme ho c:\scripts\check_and_send_errors.vbs. V souboru je nutne zamenit NUTNO_ZADAT_SMTP_SERVER a EMAIL@EMAIL.CZ (význam nebudu popisovat :D), který dáme do Win shedule každý den v 11:00

Option Explicit
Dim objFSO, objSouborPikodrak, strObsahSouboru, intKdeJeHlaska
Const FOR_READING = 1
Const strFileName = "C:\scripts\dp\errors.txt"
Set objFSO = CreateObject ("Scripting.FileSystemObject")
Set objSouborPikodrak = objFSO.OpenTextFile (strFileName,FOR_READING,0,-1)
strObsahSouboru = objSouborPikodrak.ReadAll
intKdeJeHlaska = InStr (strObsahSouboru,"No error messages")
If intKdeJeHlaska = 0 Then
'WScript.Echo "Nenasel jsem hlasku - No error Messages - na pozici " & intKdeJeHlaska
Dim objEmail, iAttachmenCount, aAttachment
Const sSMTPserver = "NUTNO_ZADAT_SMTP_SERVER"
Set objEmail = CreateObject("CDO.Message")
objEmail.To = "EMAIL@EMAIL.CZ, EMAIL2@EMAIL.CZ"
objEmail.ReplyTo = "EMAIL@EMAIL.CZ"
objEmail.Sender = "EMAIL@EMAIL.CZ"
objEmail.Subject = "ERROR BACKUP"
objEmail.Textbody = strObsahSouboru
objEmail.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/sendusing") = 2
objEmail.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserver") = sSMTPserver
objEmail.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserverport") = 25
objEmail.Configuration.Fields.Update
objEmail.Send
End If
objSouborPikodrak.Close
Set objFSO = Nothing

Dále vytvoříme v C:\scripts\ soubor empty_dp_info_file.bat, který dáme do Win shedule každý den v 18:00


echo Soubor vyprazdnen > E:\scripts\dp\errors.txt

A to je vše přátelé, snad jsem na nic nezapomněl.

Dataprotector 6.11 a Exchange 2010 Single Box obnova

PikoDrak — Tue, 23 Nov 2010 16:57:08 +0000

Jelikož ve vlastní infrastruktuře i u zákazníků používáme HP Dataprotector a Exchange 2010, je nutné řešit obnovu mailů z důvodu uživatelské chyby (DP Single Box extension lze použít pouze do verze 2007). Lze namítnout, že Exchange 2010 uchovává emaily i dobu po smazání (standardně 30 dní), nicméně často si uživatelé vzpomenou po delší době. Navíc jsem se setkal s případem, že uživatelka tvrdila, že ji maily “zmizely” po synchronizaci telefonu v tramvaji a v Outlooku jsem je však neviděl.

Do začátku již budu předpokládat, že je DataProtector Cell Manager nainstalovaný a že máte Online licenci (je nutná k záloze Exchange). Dále je nutné mít nainstalovaného na Exchange serveru DP agenta s rozšířením “MS Volume Shadow Copy Writers”. Po jeho instalaci je nutné přejmenovat na Exchange serveru soubor “Omni_MicrosoftExchangeWriter.dll” na např “Omni_MicrosoftExchangeWriter.txt” (tím jej vyřadíme). Dále budeme pokračovat nastavením zálohovacího jobu.

DP -> Backup -> MS Volume Shadow Copy Writers -> Add Backup

Poté pouze specifikujeme Exchange server

Next, Next, Vybereme Microsoft Exchange Writer a zaškrtneme celý store (pokud jej celý chceme zálohovat)

Potom standardně nastavíme zbytek jobu (kdy a kam se má zálohovat, to rozebírat není třeba). Následuje spuštění jobu, aby bylo co obnovovat a vrhneme se na testovací obnovu. Z našeho mailboxu smažeme nějaké nedůležité emaily.

DP -> Restore Objects ->MS Volume Shadow Copy Writers -> Nazev serveru -> MS Volume Shadow Copy Writers a vpravém okně překlikneme “Restore mode” na “Restore files to temporary location” a zaškrtneme store, kde je náš email uložen.

V záložce Options je nutné nastavit cestu, kam mají být soubory obnoveny

Pak stačí jen kliknout na Restore a počkat na obnovení hlavní DB a logů. Následuje oprava DB, přimapování do recovery módu, obnovení mailboxu do adresáře daného uživatele a odmapování a smazání obnovy.

Pro přehlednost jsem rozdělil DB a LOGy do 2 adresářů. Následující příkazy jsou samozřejmě pro PS EX konzoli.

Zjistíme stav DB –

Eseutil /mh C:\RESTORE\MailboxDatabases\MDB01\DATABASE\MDB01.edb

Zjistíme stav logů kde E01 je prefix (bude se lišit) -

Eseutil /ml C:\RESTORE\MailboxDatabases\MDB01\LOGS\E01

Provedeme opravu DB z logů –

Eseutil /r E01 /l C:\RESTORE\MailboxDatabases\MDB01\LOGS /d C:\RESTORE\MailboxDatabases\MDB01\DATABASE

Oprava 29.8.11 – vyskytlo se mi, že pro obnovu jsem na konec musel přidat parametr /s a /a, viz kod

Eseutil /r E01 /l C:\RESTORE\MailboxDatabases\MDB01\LOGS /d C:\RESTORE\MailboxDatabases\MDB01\DATABASE /sC:\RESTORE\MailboxDatabases\MDB01 /a

(V Exchange 2007 je možné obnovit mailbox přes klikátko – ExTRA)

Přejmenujeme DB na jiný název (u mě to bylo MDB01.edb na RecoverDB.edb)
Následující příkazy je nutné spouštět v Exchange Power Shellu.
Nastavíme namapujeme nový recovery store do Exchange –

New-MailboxDatabase -Recovery -Name RecoverDB -Server SLC-DC01 -EDBFilePath C:\RESTORE\MailboxDatabases\MDB01\DATABASE\RecoverDB.edb -LogFolderPath C:\RESTORE\MailboxDatabases\MDB01\LOGS\E01

Namountuje v Exchange DB –

Mount-Database RecoverDB

Podíváme se na namountovanou DB (a zároveň na názvy mailboxů, které můžeme obnovit) –

Get-MailboxStatistics -Database RecoverDB

Provedeme obnovu mailboxu uživatele do jeho podsložky –

Restore-Mailbox -Identity PikoDrak -RecoveryDatabase RecoverDB -RecoveryMailbox "Piko Drak" -TargetFolder "Restored content 20101111"

Nebo do jiného mailboxu


Restore-Mailbox -Identity "restore" -RecoveryDatabase RecoverDB -RecoveryMailbox "Fikr, Štěpán" -TargetFolder "Restored content lamo"

Zkontrolujeme v Outlooku obnovená data a uklidíme po sobě.

Linux – vylistování obsahu archivu .TAR, .GZ nebo .BZ2

PikoDrak — Thu, 22 Apr 2010 09:12:13 +0000

Někdy je potřeba vylistovat obsah archivu, ale nikdy si nemohu vzpomenou na parametry a musím je googlit a proto si je uložím tady :D.

Vylistování .TAR


tar -tvf soubor.tar

Vylistovaní .GZ (.TGZ)


tar -ztvf soubor.tar.gz

Vylistování .BZ2


tar -jtvf soubor.tar.bz2

Pokud potřebujeme zjistit počet souborů v archivu, stačí za vylistování přidat počítání řádků, např.:

tar -ztvf soubor.tar.gz | wc -l

No a třeba budete chtít .TGZ rozbalit


tar -xvz soubor.tar.gz -C /cesta/do/pekel

Dataprotector – kontrola vložení pásek

PikoDrak — Thu, 11 Mar 2010 10:28:24 +0000

Pro dobře fungující zálohování je třeba minimálně 1x týdně vyměnovat média (na které se provádí zálohy) a odvážet je do jiné lokality (abychom nepřišli o data např při krádeži, požáru apod). Nyní jsem řešil problém, že náš zákazník má 5 poboček, na každé zálohovací mechaniku (LTO3) a nasinstalován HP DataProtector. Na pobočkách žádný IT človíček není, pásky vyměňují zaměstnanci bez IT vzdělání dle rozpisu v XLS. Pokud by vše dělali dle pokynů, žádný problém by nenastal nicméně jak je tu lidský faktor, problémy nastávají (uživatelka, co mění pásky, má dovolenou, jde dříve z práce a nebo zapomene apod).

Proto jsem vytvořil jednoduché scripty, který zjistí jaké pásky jsou vložené v jednotlivých mechanikách, zda mají retenci a poté případně pošle email.

Základ je PERL script na checkování retence pásek v mechanikách – kontrola_pasek.pl:


##### KONFIGURACE #######
@pooly = ("CZ","HU","PL","RO","SK"); #konfigurace poolu v DP vždy obsahuje dané písmena - pro každou lokalitu vlasní pool
@mechaniky = ("cze","hun","pol","rom","svk"); #páskové mechaniky jsou pojmenovány také dle lokalit
$pocet_lokalit = 5; #nebyl čas dohledat fci v perlu na počet prvků v poli
#########################
$zapsat=''; #inicializace promenne kam se zapisuje vystup
$pocet_lokalit--; #pole je od 0 takze jednu odecteme

#projdeme vsechny lokality
for ($i=0;$i<=$pocet_lokalit;$i++) {
	#vylistujeme to, co je v mechanice, radek jen kde je mechanika
	$exec = "\"C:\\Program Files\\OmniBack\\bin\\omnimm.exe\" -repository_update \"HP:Ultrium 3-SCSI_".$mechaniky[$i]."win60ent00\""; #název serveru je dle konceptu, tzn doplňují se jen posledni písmenka
	#print "$exec\n"; #debug
	$vystup=`$exec`;

	#z vystupu potřebujeme jen název pásky, která je v mechanice
	@sekanec = split("Data Protector medium \"", $vystup);
	@sekanec = split("\" found.", $sekanec[1]);
	$sekanec = $sekanec[0];
	$sekanec =~ s/ //g; #regularnim vyrazem smazeme mezery
	#print $sekanec; #debug

	#zjistime z poolu jake maji retence
	$exec = "\"c:\\Program Files\\OmniBack\\bin\\omnimm.exe\" -list_pool \"Acc_".$pooly[$i]."\" | find \"$sekanec\""; #jak jsem psal výše, pooly jsou nazvané dle konceptu
	$vystup=`$exec`;
	#print $vystup; #debug
	#print length($sekanec);	 #debug	

	#pokud je v řetezci dvojtečka, je uveden čas (oáska má retenci). Dále musíme zjistit, zda to vůbec našlo pásku - dle počtu znaků řetezce s páskou
	$je_uvedena_retence = index($vystup, ':');
	if ( ($je_uvedena_retence>0) or (length($sekanec)<1) ) {
		if (length($sekanec)<1) { $sekanec = "NENÍ VLOŽENA PÁSKA"; }
		$zapsat .= "ERROR - PASKA:\"$sekanec\", MECHANIKA:\"HP:Ultrium 3-SCSI_".$mechaniky[$i]."win60ent00\"\n";
	} else {
		$zapsat .= "OK - PASKA:\"$sekanec\", MECHANIKA:\"HP:Ultrium 3-SCSI_".$mechaniky[$i]."win60ent00\"\n";

	}
}

#print "\n\n\n".$zapsat; #debug

#nakonec výstup zapíšeme do souboru (pro zaslání emailem)
open (MYFILE, '>c:\scripts\PIKOpasky.txt');
print MYFILE $zapsat;
close (MYFILE);

Dále je nutné mít mechanismus, který daný soubor zašle na email. Použivám již delší dobu jednoduchý VBS script – pikosendmail.vbs


Sub SendMail ()
	Dim objEmail, iAttachmenCount, aAttachment
	Const sSMTPserver = "666.666.666.666"
	aAttachment = Split(MailAttachment,";",-1,1)
 	Set objEmail = CreateObject("CDO.Message")
	objEmail.To = "PRIJEMCE@DOMENA.CZ"
	objEmail.ReplyTo = "ODESILATEL@DOMENA.CZ"
 	objEmail.Sender = "ODESILATEL@DOMENA.CZ"
	objEmail.AddAttachment "c:\scripts\PIKOpasky.txt" #p
	objEmail.Subject = "List of media"
	objEmail.Textbody = "Kontrolo vlozenych pasek"
	objEmail.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/sendusing") = 2
	objEmail.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserver") = sSMTPserver
	objEmail.Configuration.Fields.Item ("http://schemas.microsoft.com/cdo/configuration/smtpserverport") = 25
	objEmail.Configuration.Fields.Update
	objEmail.Send
End Sub
Call SendMail ()

No a zbývá nám udělat např. BATku, která spustí nejdříve kontrola_pasek.pl a poté pikosendmail.vbs, kterou následně nashedulujeme – piko_kontrola_pasek.bat


"C:\Program Files\OmniBack\bin\perl.exe" "C:\Program Files\OmniBack\bin\kontrola_pasek.pl"
cscript.exe C:\scripts\pikosendmail.vbs

Dataprotector – zrušení čekání na pásku

PikoDrak — Mon, 22 Feb 2010 11:10:56 +0000

Pokud používáte Dataprotector, jistě se Vám stalo, že zálohovací job vyžadoval pásku do mechaniky, která v knihovně nebyla. Potom daný job blokuje mechanki, dokud není stornován a neprobíhají další joby na do jiných poolů, které pásky mají.

Řešení je opět jednoduché – stačí upravit mount.bat a to tak, že na konec souboru přidáte následující řádek


C:\OmniBack\bin\omniabort.exe -session "%SESSIONKEY%"

Dataprotector – eject pásky po dokončení jobu

PikoDrak — Mon, 22 Feb 2010 10:52:45 +0000

Řešil jsem takovouto situaci v HP DataProtectoru – po dokončení měsíční zálohy jsem potřeboval v knihovně automaticky přemístit pásku na kterou proběhla záloha ze slotu do mailslotu (aby ji jednoduše bfu obsluha vyjmula a převezla do trezoru bez nutnosti klikání v programu).

Vzhledem k tomu, že měsíční zálohu mám ve zvláštním poolu, jsem přidal spuštění perl scriptu v post-execu


$vystup=`"c:\\Program Files\\OmniBack\\bin\\omnimm.exe" -list_pool "pool mesic" | find "Knihovna:"`;
@slot = split("Virtual Knihovna:", $vystup);
@slot = split("]", $slot[1]);
$slot = $slot[0];
$slot =~ s/ //g;
$vystup=`"c:\\Program Files\\OmniBack\\bin\\omnimm" -eject "Knihovna" $slot`;

Jednoduše zjistím, v jakém slotu v knihovně je měsíční páska a ten slot následně ejectnu.

Přidání externího USB disku do linuxu

PikoDrak — Sat, 20 Feb 2010 15:31:13 +0000

Dostal jsem se před otázku, kam zálohovat linux web server včetně databází (objem dat cca 30GB), aniž bych denně zatěžoval linku do internetu. Vzhledem k tomu, že serverů mám v dané lokalitě více, rozhodl jsem se z jiného serveru stahovat zálohy a vzhledem k omezenému místu (můj požadavek je dostupnost dat 30 dní zpětně po dnu) jsem se rozhodl pro koupi externího USB HDD 500GB (cena cca 2100,- Kč s DPH).

Připojení HDD k serveru (HP Proliant DL360 g4) proběhlo bezproblémů (distribuce Debian Lenny stable, jádro 2.6.26-2-686 #1 SMP), viz výpis logu:


cat /var/log/messages | grep sda
Feb 17 15:06:10 Beta kernel: [23282428.065460] sd 0:0:0:0: [sda] 976773168 512-byte hardware sectors (500108 MB)
Feb 17 15:06:10 Beta kernel: [23282428.070943] sd 0:0:0:0: [sda] Write Protect is off
Feb 17 15:06:10 Beta kernel: [23282428.082101] sd 0:0:0:0: [sda] 976773168 512-byte hardware sectors (500108 MB)
Feb 17 15:06:10 Beta kernel: [23282428.082101] sd 0:0:0:0: [sda] Write Protect is off
Feb 17 15:06:10 Beta kernel: [23282428.082101]  sda: sda1
Feb 17 15:06:10 Beta kernel: [23282428.127822] sd 0:0:0:0: [sda] Attached SCSI disk

lsusb (případně lsusb -v)
Bus 001 Device 003: ID 125f:a94a A-DATA Technology Co., Ltd.
Bus 001 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub

Pokud si dáme vylistovat partišny, uvidíme že disk již byl naformátován pro Windows (FAT32)



fdisk -l

Disk /dev/cciss/c0d0: 73.4 GB, 73401876480 bytes
255 heads, 32 sectors/track, 17569 cylinders
Units = cylinders of 8160 * 512 = 4177920 bytes
Disk identifier: 0x48774876

Device Boot      Start         End      Blocks   Id  System
/dev/cciss/c0d0p1   *           1          96      391664   83  Linux
/dev/cciss/c0d0p2              97        1053     3904560   82  Linux swap / Sol                                                                         aris
/dev/cciss/c0d0p3            1054        2968     7813200   83  Linux
/dev/cciss/c0d0p4            2969       17569    59572080   83  Linux

Disk /dev/sda: 500.1 GB, 500107862016 bytes
255 heads, 63 sectors/track, 60801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0x40c4bb82

Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1       60801   488384001    c  W95 FAT32 (LBA)

Následuje tedy naformátování disku pro EXT3/EXT4. Osobně jsem zvolil EXT3, jelikož nemám v jádru podporu EXT4 a kvůli backupu si kompilovat jádro nebudu. Následující krok formátování mi trval cca 2 hodiny.


mkfs -t ext3 /dev/sda1
mke2fs 1.41.3 (12-Oct-2008)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
30531584 inodes, 122096000 blocks
6104800 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=0
3727 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632, 2654208,
4096000, 7962624, 11239424, 20480000, 23887872, 71663616, 78675968,
102400000

Writing inode tables: 3163/3727

Nyní máme disk naformátovaný a je nutné jej připojit do systému a nastavit, aby byl dostupný i po rebootu serveru. Do /etc/fstab přidáme následující záznam


/dev/sda1       /external        ext3    defaults        0       2

Poté stačí namountovat daný disk abychom jej mohli používat a máme hotovo. Přístě napíší o svých jednoduchých scriptech na zálohování.