Virtual-IT.pl
https://forum.virtual-it.pl/

Deduplikacja - jak to jest
https://forum.virtual-it.pl/viewtopic.php?f=19&t=1356
Strona 1 z 1

Autor:  Mauer [ 14 lip 2010, 15:11 ]
Tytuł:  Deduplikacja - jak to jest

Witam, czy ktos moglby mi wyjasnic czym na prawde jest deduplikacja, a raczej jak ten proces przebiega, wiele rozwiazan zarowno sprzetowych jak i programowych wykorzystuje te funkcjonalnosc ale nikt nie pisze jasno jak deduplikacja wyglada w praktyce.

Autor:  Washi [ 14 lip 2010, 15:46 ]
Tytuł:  Re: Deduplikacja - jak to jest

W zasadzie jakie by nie wziąć pod uwagę rozwiązanie wykorzystujące deduplikację to ich działanie jest niemal identyczne.

Ale by nie pisać ogólnikowo postaram się przybliżyć jak to działa w macierzach NetApp.
Dzięki deduplikacji macierz może wyszukać identyczne obszary i usunąć kopie/duplikaty/dane powielane (np. przesyłając plik dziesięciu współpracownikom, każdy zapisuje go w swoim folderze i tym samy zajmuje on dziesięciokrotnie większą przestrzeń niż powinien). Oczywiście dane pliki mogą być zmieniane (ale z reguły zmieniane są częściowo, a reszta zostaje bez zmian). Deduplikacja działa na poziomie bloków. Macierz oblicza dla każdego bloku hash (np. MD5, SHA-128 bit).
Po czym jest tworzona tabela hashów i dalej porównywane są poszczególne hashe, jeśli są one identyczne to porównywane są bloki (bit po bicie). Jeśli bloki są identyczne to zwalniane są duplikaty i dzięki temu uzyskujemy wolną przestrzeń magazynową.

I tak np. przechowując w macierzy kilka (naście) obrazów z systemem operacyjnym. np. Windows 7, okazuje się, że w każdym z obrazów nawet do 90% danych to dane identyczne. Dzięki deduplikacji można znacznie zmniejszyć przestrzeń poprzez zapisanie 'podstawy' i bloków którymi dane obrazy się różnią.
To tak w skrócie ;)

Autor:  Mauer [ 14 lip 2010, 19:02 ]
Tytuł:  Re: Deduplikacja - jak to jest

Dzięki Washi :)

Autor:  Quidek [ 18 lip 2011, 19:59 ]
Tytuł:  Backup dyskowy z deduplikacją by EMC

Zachęcam do przyjrzenia się innowacyjnym technologiom: system backupowy Avamar oraz urządzenia Data Domain, które wykorzystują deduplikację:
http://www.emc.com/avamar
http://www.emc.com/datadomain

Autor:  Quidek [ 19 lip 2011, 13:04 ]
Tytuł:  Disk-to-Disk with Dedupliaction

Artykuł nt Data Domain
http://wikibon.org/wiki/v/EMC_Data_Doma ... iness_Case

Strona 1 z 1 Strefa czasowa UTC+1godz. [letni]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/