Virtual-IT.pl https://forum.virtual-it.pl/ |
|
Deduplikacja - jak to jest https://forum.virtual-it.pl/viewtopic.php?f=19&t=1356 |
Strona 1 z 1 |
Autor: | Mauer [ 14 lip 2010, 15:11 ] |
Tytuł: | Deduplikacja - jak to jest |
Witam, czy ktos moglby mi wyjasnic czym na prawde jest deduplikacja, a raczej jak ten proces przebiega, wiele rozwiazan zarowno sprzetowych jak i programowych wykorzystuje te funkcjonalnosc ale nikt nie pisze jasno jak deduplikacja wyglada w praktyce. |
Autor: | Washi [ 14 lip 2010, 15:46 ] |
Tytuł: | Re: Deduplikacja - jak to jest |
W zasadzie jakie by nie wziąć pod uwagę rozwiązanie wykorzystujące deduplikację to ich działanie jest niemal identyczne. Ale by nie pisać ogólnikowo postaram się przybliżyć jak to działa w macierzach NetApp. Dzięki deduplikacji macierz może wyszukać identyczne obszary i usunąć kopie/duplikaty/dane powielane (np. przesyłając plik dziesięciu współpracownikom, każdy zapisuje go w swoim folderze i tym samy zajmuje on dziesięciokrotnie większą przestrzeń niż powinien). Oczywiście dane pliki mogą być zmieniane (ale z reguły zmieniane są częściowo, a reszta zostaje bez zmian). Deduplikacja działa na poziomie bloków. Macierz oblicza dla każdego bloku hash (np. MD5, SHA-128 bit). Po czym jest tworzona tabela hashów i dalej porównywane są poszczególne hashe, jeśli są one identyczne to porównywane są bloki (bit po bicie). Jeśli bloki są identyczne to zwalniane są duplikaty i dzięki temu uzyskujemy wolną przestrzeń magazynową. I tak np. przechowując w macierzy kilka (naście) obrazów z systemem operacyjnym. np. Windows 7, okazuje się, że w każdym z obrazów nawet do 90% danych to dane identyczne. Dzięki deduplikacji można znacznie zmniejszyć przestrzeń poprzez zapisanie 'podstawy' i bloków którymi dane obrazy się różnią. To tak w skrócie |
Autor: | Mauer [ 14 lip 2010, 19:02 ] |
Tytuł: | Re: Deduplikacja - jak to jest |
Dzięki Washi |
Autor: | Quidek [ 18 lip 2011, 19:59 ] |
Tytuł: | Backup dyskowy z deduplikacją by EMC |
Zachęcam do przyjrzenia się innowacyjnym technologiom: system backupowy Avamar oraz urządzenia Data Domain, które wykorzystują deduplikację: http://www.emc.com/avamar http://www.emc.com/datadomain |
Autor: | Quidek [ 19 lip 2011, 13:04 ] |
Tytuł: | Disk-to-Disk with Dedupliaction |
Artykuł nt Data Domain http://wikibon.org/wiki/v/EMC_Data_Doma ... iness_Case |
Strona 1 z 1 | Strefa czasowa UTC+1godz. [letni] |
Powered by phpBB® Forum Software © phpBB Group http://www.phpbb.com/ |