Zu viel Backup???

Thread Status
Hello, There was no answer in this thread for more than 30 days.
It can take a long time to get an up-to-date response or contact with relevant users.
Frank,

Ich kann einen Windows Homeserver mit RAID aufbauen und mit von IMABAS bei der Dublettenbeseitigung und Archivierung helfen lassen. Das hört sich nach einer STRATEGIE an
Zum Vergrößern anklicken....

ich weiß nicht ob du mich hier korrekt verstanden hast. WHS reduziert den Platzbedarf der Doubletten beim Backup, nicht im Dateisystem. D.h. wenn Du ein Verzeichnis vom WHS freigibst (zBsp Photo), dann mit IMABAS darauf Dateien ablegst muß sich in diesem Fall Imabas um diese Aufgabe kümmern. Wird dieses Verzeichnis und Platten von deinen PCs gesichert, reduziert der WHS den Platzbedarf. Nur zur Klarstellung.



Ich habe neben dem Homesserver einen zweiten Server mit einem 3ware Controller (12 channel) mit 12 x 1TB Platten im Raid 6 Verbund.

Mach Dir um die Transferraten keine Sorgen, der Engpaß ist die Netzwerkkarte - die Deines PC und wenn nicht gut ausgesucht, des Servers ebenfalls.
Gute Raid Controller können beim Lesen einen Großteil der gesamten Plattenleistung durchschleifen. Bei dem von Dir angesprochenen 3Ware (8ch) sind 4-500MB/s möglich. Beim Schreiben im Raid 5 Verfahren wird das System ausgebremst, da die Parity Platte vor dem Schreiben 1x gelesen werden muß. (Deshalb wird bei schreibintensiven Datenbankanwendungen RAID5 nicht verwendet, sondern Raid10 verwendet - gespiegelte Stripesets - die keine Leistungseinbuße beim Schreiben aufweisen.)

Diese Werte gelten nur beim streamen, wenn viele relativ große, oder eine sehr große Datei in eienm Schwupp übertragen wird. Wenn das andere Extrem stattfindet (10.000 superkleine html Dateien), dann bricht die Datenrate stark ein, da das Dateisystem die Directoryeinträge durchführen muß.

Aber das Netzwerk ist üblicherweise früher der Engpass. Auf jeden Fall 1Gb Netzwerk Karten verwenden.

Der WHS verwendet, wie oben bereits beschrieben ein Softwareverfahren, genannt Directory Raid. Du definierst welches Verzeichnis schützenswerte Daten beinhaltet, und der Server schaufelt so lange Daten um, bis jede Datei auf 2 physischen Platten gespeichert wird. Das kein HW Raid notwendig. Die Performance reicht für ein paar PCs locker aus, bei größeren Aktionen empfiehlt sich das teurere HW Raid.

Die Überlegung mit den Zugriffszeiten ist falsch.


LG, Andy
 
Kommentar
Anzeigen

WHS ist ein Windows 2003 Server, einfacher zu bedienen. Fileserver Funktionalität ist vorhanden (das ist ja der Zweck)
 
Kommentar

Nein, gar nicht. Fileserver interessiert mich, RAID nicht unbedingt. Die RAID-Diskussion kam von anderer Seite und ich habe diesbezüglich nur eine Frage gestellt. Sorry, das ist eigentlich ein Nebenstrang und meine Antwort war nicht innerhalb er Threadlogik.

Frank
 
Kommentar
Ist das der Windows Home Server, der ...inkontinente?
Zum Vergrößern anklicken....

Jup, das ist er.

Mit Windows muss ich als Software-Entwickler leben, ob ich will oder nicht.
Wer aber für die Redundanz meiner Daten zuständig ist, kann ich mir noch selbst aussuchen und da kriegen die Jungs aus Redmond keine Chance...

Peter
 
Kommentar


Hallo!

darf ich fragen, wie Du das verifizieren machst? ich meine, machst Du das mit der hand am Arm (sprich mit den Augen im Kopf...), oder gibts da eine sinnvolle (Programm-)routine, die einem das genaue hinsehen erleichtert?

Danke, K...
 
Kommentar
Banane schrieb:
Hallo!

darf ich fragen, wie Du das verifizieren machst? ich meine, machst Du das mit der hand am Arm (sprich mit den Augen im Kopf...), oder gibts da eine sinnvolle (Programm-)routine, die einem das genaue hinsehen erleichtert?

Danke, K...
Zum Vergrößern anklicken....


Ganz einfach: Wer einfach nur DVDs eine nach der anderen füllt oder schon eine backup Platte voll hat (und nur noch die neuen Daten wegischert, auf eine zweite Platte), der läuft Gefahr, dass sein offsite-Datenträger über die Jahre doch einen Defekt bekommt. Und das merkt man dann genau in dme Moment, wo es die letzte Kopie ist, die man hat (und wegen des Defekts eben auch nicht mehr hat).

Wen ich die offsite HD(s) und die HD(s) reglemässig austausche, dann werden beide imemr wieder überschireben. Raucht eine ab, dann merke ich es beim nächsten Schreiben und kann sie ersetzen. In dem Moment habe ich am offsite Standord immer noch die Kopie, die sich zumindest vor einigen Wochen noch ohne Fehler schreiben liess.

Grüsse,
Sebastian
 
Kommentar
Warum macht ihr es euch so schwer.
1. Einfach gut aussortieren, dann bleibt schon mal nicht soviel übrig.
2. Die Guten in Jpg konvertieren und Speichern.
3. Und nur die Nefs aufheben die man vielleicht mal noch anders bearbeiten will.

Ein Festplattenraid ist nicht mehr teuer, Platten mit 1 TB gibts ab 220Euro
SATA RaidController für 8 Platten gibts für 400 Euro

Raid 5 mit sicheren 3 TB ca. 1280 Euro
Raid 5 mit sicheren 6 TB ca. 2160 Euro

Gruß
Thomas
 
Kommentar
pulsedriver schrieb:
Ganz einfach: Wer einfach nur DVDs eine nach der anderen füllt oder schon eine backup Platte voll hat (und nur noch die neuen Daten wegischert, auf eine zweite Platte), der läuft Gefahr, [...]

Grüsse,
Sebastian
Zum Vergrößern anklicken....


OK, das ist klar, so kannst Du feststellen ob Deine HD schon Ausfälle zeigt. Aber ob eine Datei durch häufiges hin- und herkopieren irgendwann nicht mehr brauchbar ist, das bekommst Du so auch nur mit, wenn Du die betreffende Datei aus irgendeinem Grund ansehen musst, oder sehe ich das falsch
Aber das ist das für mich ebnso wichtige Thema: Sind die dateien die ich sichere i.O. oder vielleicht schon korrupt (was vor allem bei gepackten Dateien (jpg, zip etc) einem totalverlust gleichkommt. Gibts hierfür zeitschonende Methoden?

Gruß, K...
 
Kommentar

Ich hab das Laufwerk und die Medien dafür. Allerdings nicht die Zeit dafür und auch zu grosse Files.
Nennt sich MO, ist wohl technisch gesehn das sicherste der üblichen medien. Nachteil: Grösse. Meine Laufwerke machen 640 MB. Aktuelle Laufwerke machen 2 GB pro Medium - immer noch viel zu wenig für gescannte TIFFs (bin da aktuell bei 60 bis 70 MB pro Bild für KB bzw bei 250 MB für Mittelformat), da gehn ja nur 35 bzw 8 Bilder drauf. Für NEF und JPEG mag es aber funzen, wenn man nicht jede Woche 1000 neue Bilder behalten will.

Der Trick: Die Laufwerke machen einen sehr sicherne Schreibvorgang, jeder Block wird verifiziert, nachdem er geschrieben wurde. Geht natürlich auf Kosten der Performance....

Grüsse,
Sebastian
 
Kommentar
Sebastian, mit dem Verify erkennst du nur Fehler, die während des Kopierens auftreten. Ob die Original-Datei schon korrupt war, das erkennt man so nicht.
 
Kommentar
volkerm schrieb:
Sebastian, mit dem Verify erkennst du nur Fehler, die während des Kopierens auftreten. Ob die Original-Datei schon korrupt war, das erkennt man so nicht.
Zum Vergrößern anklicken....


Richtig. Da müsste man ein Tool haben, welches das Fileformat verifiziert. Damit wäre schon manche Corruption auszuschliessen.
Aber für die aller meistne meiner Fotos wäre dieser Fall keine Katastrophe. Ich müsste dann einfach nochmals den Scanner in Betrieb nehmen ;-))

Wer Angst vor solchen logischen Corruptions hat, tut gut, das File in verschiedenen Formaten zu speichern. Und eines davon sollt eunkomprimiert sein, bei einem TIFF zum Beispiel drüfte eine Corruption an den aller meisten Stellen im File nur ein ganz loaker Bildfehler sein (= Kopierstempel). Ein JPEG oder NEF wird schon unter einem Bitdreher heftig leiden.

Also eine Anleitung, wie man das machen könnte, wenn man kein analoges Original hat:

1. Separater PC, der nie ans Inet kommt. Verbindung zwischen diesem PC und einem zweiten PC am Inet: Nur Wechsel-Platte oder USB-Stick. So kann die Virengefahr für den PC, der nicht am Inet ist, drastisch reduziert werden (selbst ständig aktualisierte Viren-Scanner sind viel zu langsam, wenn wieder mal ein richtig gefährlicher Windows Virus kommt).
2. Jedes NEF (oder allenfalls JEPG) aus der Kamera gleich noch als TIFF Kopie speichern, bei NEF natürlich 16 Bit Pro Farbe. Das TIFF kann zwar im Notfall das NEF nicht ganz ersetzen, aber hat doch noch viel mehr Möglichkeiten als ein JPEG.
3. Das ganze normal backupen (mit mind. 1 Kopie offsite).

BTW: Den ganzen Zirkus mit separatem PC mach ich schon, aber weniger wegen meiner Bilder, ich möchte halt nicht, dass der Bundestrojaner auf meinen richtigen Daten schnüffelt, reicht mir, wenn der meine Browser Historie sehn kann (und von mir aus ein paar Fotos, die ich eh ins Inet hochladen will), meine Korrespondenz geht niemanden was an. Da der Internet PC ein Laptop mit eher wenig Leistung ist (schon 3 bis 4 Jahre alt), mach ich alle Fotosachen ebenfalls auf dem PC, der nicht am Inet ist.

Grüsse,
Sebastian
 
Kommentar
G.Laymann schrieb:
...und MO-Laufwerke sterben leider aus.
Zum Vergrößern anklicken....

Warne hier schon immer reine Exoten. In Japan hingegen sehr verbreitet. Ich hab seit langen Jahren zwei so Laufwerke (brauche nur noch eines, das zweite ist Reserve, da es nur noch Witzpreise bringen würde im Verkauf und ich meine Median auch lesen können möchte, wenn meines mal abraucht). Ich brauch es wie gesagt aber nicht für Bilder, sondern für die paar anderen Daten, die ich hab. Da sind die Datenmengen viel, viel kleiner.

Grüsse,
Sebastian
 
Kommentar
Hi,

und täglich grüßt das Murmeltier,

pulsedriver schrieb:
Nennt sich MO, ist wohl technisch gesehn das sicherste der üblichen medien.
Zum Vergrößern anklicken....
schon hundert mal gepostet ... aber egal. Alle technischen Geräte (und dazu gehören auch Equipment zur Datensicherung) sind prinzipbedingt unsicher. Alle Medien werden früher oder später mit 100%iger Sicherheit defekt ... es kann aber weder bei den "sichereren" noch bei den "unsichereren" Medien gesagt werden, wann das passiert. Es gibt statistische Aussagen, die aber für den einzelnenen Archivar weitgehend irrelevant ist, weil es neben der Statistik auch noch Murphy gibt.

Ein Datenträger befinden sich in der Situation eines Fallschirmspringers, der dummerweise den Fallschirm vergessen hat und der gerade durch eine Gewitterwolke fällt. Er weiß: Irgendwann schlage ich unten auf. Entweder in 5 Sekunden oder erst in ein paar Minuten. Aber es wird passieren. Hilfe kann nur von außen kommen, indem man in der Wolke wieder etwas nach oben gepustet wird und damit etwas mehr Zeit gewinnt. Aus eigener Kraft kann sich der Springer nicht retten.

Das "sichere" an einer Datensicherung ist niemals das Medium, sondern die Redundanz der Daten und die Möglichkeit drohende oder tatsächliche Defekte so rechtzeitig zu erkennen, dass eine Reparatur noch möglich ist. Datensicherung ist deshalb nicht der Vorgang des statischen Ablegens von Daten auf einem noch so sicheren Medium, sondern die dynamische Überwachung der archivierten Daten. Das klingt einerseits schlimm, andererseite läßt sich folglich aber auch mit maximal unsicheren Datenträger ein maximal sicheres Datensicherungskonzept aufbauen.

Ciao
HaPe
 
Zuletzt bearbeitet:
Kommentar
Hans-Peter R. schrieb:
Hi,

abererseits läßt sich folglich aber auch mit maximal unsicheren Datenträger ein maximal sicheres Datensicherungskonzept aufbauen.

Ciao
HaPe
Zum Vergrößern anklicken....

Das ist ja auch meine Methode für Fotos. Hab zwei sehr billige USB HDs geholt, im Wissen, dass ich immer noch 'ne wzeite Backup Kopie hab, wenn eine der beiden Backup Platten abraucht.
Die MO Sachen sind historisch gewachsen bei mir - hab damit vor 10 Jahren angefangen. Damls neben Backup sogar noch als HD Ersatz, da meine 2 GB Pladde im Laptop zu klein war (jaja, externes SCSI Gehäuse zu Hause, via PCMICA karte am Laptop angebunden...). Den automatischen Verify finde ich trotzdem ganz nett.


Grüsse,
Sebastian
 
Kommentar
pulsedriver schrieb:
Wer Angst vor solchen logischen Corruptions hat, tut gut, das File in verschiedenen Formaten zu speichern.
Zum Vergrößern anklicken....

Diese planlose "viel hilft viel" Methode führt dann zu dem, was man in Franks Bild oben sehen kann: ein unübersichtliches Datenchaos. Und welche Dateien defekt sind, weiß man dann immer noch nicht. Keine gute Lösung.
 
Kommentar
volkerm schrieb:
Diese planlose "viel hilft viel" Methode führt dann zu dem, was man in Franks Bild oben sehen kann: ein unübersichtliches Datenchaos. Und welche Dateien defekt sind, weiß man dann immer noch nicht. Keine gute Lösung.
Zum Vergrößern anklicken....

Ja, man weiss erst beim Öffnen eines NEF, dass es defekt ist. Dann hat man noch das TIFF. Geht natürlich alles von der Annahme an, dass zwei Dateien gleichzeitig korrput viel seltener eintritt.

Die Methode kommt mit 2 externen Backup Medien aus (solange alles auf ein Medium passt). Natürlich setzt die Mediangrösse Grenzen - 2 TB sind von WD z.B. für 720 Franken erhältlich (MyBook Pro II), das entspricht noch etwa dem, was man für 4 USB HDs zu 500 GB zahlt (ca. 20 Cent pro GB und Kopie). Wenn's 4 TB sein sollen und man unbedingt nur 1 Gehäuse will, wird's einiges teurer, geht aber auch noch. 4 TB - das sind doch 200'000 oder 300'000 NEF Files. Wer das sprengt, muss halt tiefer in die Tasche greifen. Bei regelmässigen Backups muss dann aber eh eine dickere Storage Lösung her - selbst mir 50 MB/Sec dauert es 1 Tag bis ein 4 TB Backup geschrieben ist. Und 50 MB/sec ist schon mal gar nicht so schlecht für externe HDs. Wer in der Liga 10 TB spielt, der täte mal gut daran, mit EMC oder Konsorten zu reden, irgendwie wird da die PC Technik dann zum Bottleneck.

Ja, die Datenmenge wächst mit der Zeit. HDs aber auch, und anch einigen Jahren sollte man neue kaufen,w enn man seine Daten sicher haben will.

Dazu kommt der zweite PC und ein Medium zum Kopieren auf den Zweit-PC, wenn man was ins Inet stellen will, das kann aber ein USB Stick sein.

Also minimale Anforderungen: 2 Backup median, ein Zweit PC und ein kleines Medium zum Kopieren. ist doch noch recht übersichtlich


Grüsse,
Sebastian
 
Kommentar
Du musst dich einloggen oder registrieren, um hier zu antworten.
-Anzeige-
Menü
Anmelden
Registrieren