Sepiola AbklärungenMigration

From Sepiola Wiki
Revision as of 20:36, 12 July 2016 by Michael (Talk | contribs)

Jump to: navigation, search

Contents

Übersicht

Diese Seite Dokumentiert die Abklärungen zur Cygwin Migration. Dazu werden die relevanten Tests, welche unter Sepiola Backup dokumentiert sind wiederholt. Das Ziel ist es die Zuverlässigkeit von cygwig, rsync und openssh unter Windows zu testen.

Set Up

Die dokumentierten Tests wurden mit folgendem Set Up erstellt:

  • Operationssystem: Windows 10 Enterprise (64 Bit)
  • Cygwin Version: 2.5.2(0.297/5/3)
  • Rsync Version: 3.1.2
  • OpenSSH Version: OpenSSH_7.2p2, OpenSSL 1.0.2h 3 May 2016

Tests

ID Task Mandatory Tested on Status Comment Validator
1.2 Das Hochladen und Restoren von Dateien und Verzeichnissen mit unterschiedlichen Berechtigungen(Acls) x open poe
1.3 Die Applikation soll das Handling mit speziellen Dateien erlauben z.B mit Symlinks. x open poe
1.14 Backup muss auch mit einer hohen Anzahl von Dateien möglich sein. Getestet wurden 10000 .txt files x 2016-07-12 OK poe
1.15 Die Metadaten müssen korrekt geschrieben/erstellt werden damit ein sauberes Restore möglich ist. x 2016-07-12 open poe
1.24 Grosse Dateien (langandauernder Transfer) müssen fehlerfrei übertragen werden (tbd)
x 2016-07-12 OK poe
tbd Unter Windows erstellt der VolumeShadowCopy Service Snapshots. Diese Snapshots müssen in Cygwin zur Verfügung stehen (mount) und via rsync übertragen werden
x 2016-07-12 open poe

Test cases

ID 1.2

tbd

ID 1.14

Ein Verzeichnis enthält eine grosse Menge an Files und muss synchronisiert werden können.

  • Mit einem bash Skript 10000 .txt Files erzeugen:
#/bin/bash
echo deleting all .txt files in directory
rm -rf *.txt
echo done
echo creating files started
for i in {0..10000}
do
    echo hello > "$i.txt"
	
	if (($i % 1000 == 0))
	then
		echo $i "files created"
	fi
done
echo done 
  • Das gesamte Verzeichnis hochladen: rsync -av --delete source/ 4000351@kvm-0003.stepping-stone.ch:incoming


ID 1.24

Grosse Dateien (bis zu 3GB) können ohne Unterbruch und Fehlermeldung hochgeladen werden.

  • Ein 3GB File in cygwin erstellen: fsutil file createnew test3GB.txt 3221225472
  • Übertragung eines files mit 3GB: rsync -vaP Source/test3GB.txt 4000351@kvm-0003.stepping-stone.ch:incoming


ID tbd

Die Snapshots, welche vom VolumeShadowCopy Service erzeugt werden, müssen unter cygwin gemountet sein.

  • Manuelles erstellen eines "restore points" (Snapshot) unter Windows.
  • Dieser Snapshot ist dann über diesen Pfad erreichbar: /proc/sys/Device/HarddiskVolumeShadowCopy1/

philippoehler@Kangama /proc/sys/Device
$ cd HarddiskVolumeShadowCopy1/
philippoehler@Kangama /proc/sys/Device/HarddiskVolumeShadowCopy1
$ ls
'$Recycle.Bin'    BOOTNXT                   HashiCorp     MSOCache      'Program Files'        Qt        swapfile.sys                 Temp    vagrantTrys
autounattend.xml  cygwin64                  hiberfil.sys  pagefile.sys  'Program Files (x86)'  Recovery  sysprp_autounattend.bat      ubuntu  VirtualBoxVMs
bootmgr           'Documents and Settings'  Intel         PerfLogs      ProgramData            SVN       'System Volume Information'  Users   Windows

Offene Punkte:

  • rsycen von HarddiskVolumeShadowCopy1 -> Probleme mit den Berechtigungen (ID 1.2)

Weitere Überlegungen und Notizen

  • Windows ist im NTFS Fileformat. Die Berechtigungen können wahrscheinlicht nicht auf ein anderes Filesystem kopiert werden (auf dem Ziel nichtt bekannt -> kommen nicht mit rsync)
    • Ja, deshalb werden auch die MetaDaten in einer separaten Datei mitgeben. --Michael (talk) 21:36, 12 July 2016 (CEST)
  • AlternativeFileStreams -> Diese Informationen kommen wahrscheinlich nicht mit rsync mit! (bei standard copy in windows aber auch nicht)
  • Kopieren von geöffneten files -> snapshot
Personal tools
Namespaces

Variants
Actions
Navigation
Wiki
sepiola.org
Toolbox