scp -r .... - Paranoiczne zachowanie.. WTF ?

Serwery i sieci oparte na Slackware, wszelkiego rodzaju usługi, troubleshooting.

Moderatorzy: Moderatorzy, Administratorzy

eurynom
Użytkownik
Posty: 418
Rejestracja: 2005-06-17, 22:07

scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: eurynom » 2007-11-24, 12:36

witam

Podlaczylem sobie PC pod laptopa, zeby przekopiowac dane. pod rj45 na obu stronach ( skrosowany )

Gdy daje przykladowo :

Kod: Zaznacz cały

scp  -r /katalog/kopiowany user@ip:/miejsce/kopiowania
To widze bynajmniej dziwne zachowanie.

Chcialem sobie skopiowac 40 GB danych .. no moze troche powyzej, na obu partycji mam po 20 GB, wlaczylem sobie zeby kopiowal odrazu katalogi z obu, czyli.. on robi swoje, a ja poszedlem sobie robic cos innego, wiedzac, ze troche to potrwa.. przychodze i co widze ? ( dalej kopiuje ), uznalem, ze ." no coz.. ponad 40 GB to nie tak malo ", ale gdy zobaczylem ile ma katalog z partycji na ktorej jest max 20 GB, to az mi szczena opadla.. co on robi ?.. Zobaczylem, ze dane, ktore ktore kopiowalem zajmuja troche ponad 20 GB, a ja widzialem na laptopie juz 30 GB.. :| .. no szok., pozniej patrze na zrodlowa maszyne i co widze ? ( on kopiuje te dane "pamietam, ktore wykasowalem", ktore nie powinny byc kopiowane, czyli kopiuje wykasowane juz dane ).. on z tej partycji 20 GB ( wiecej i tak nie miala ), skopiowac w finale 40 GB.. gdzie on to znalazl ? jak partycja z ktorej kopiowal ma 20 GB.. no ludzie.. paranoja.. co sie dzieje ?, bo jeszcze z takim czyms sie nie spotkalem.

I on faktycznie wyciagnal dane "calkowicie", a niektore mialy po 800 MB.. ktore przywrocil, ale ja nie chcialem.. co sie moglo stac ?

Prosze o pomoc, bo juz nie wiem jak mam kopiowac przez ssh

Kopiuje z systemu plikow "ReiserFS" na system rowniez "ReiserFS"

Kernel 2.6.23

Prosze o pomoc :(

Awatar użytkownika
Heniek
Użytkownik
Posty: 243
Rejestracja: 2005-08-03, 23:47
Lokalizacja: Kraków
Kontakt:

Re: scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: Heniek » 2007-11-24, 15:57

Czy rozmiar bloku na obu partycjach jest taki sam?
Partition@IRCNet

eurynom
Użytkownik
Posty: 418
Rejestracja: 2005-06-17, 22:07

Re: scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: eurynom » 2007-11-24, 18:26

teraz to ja nie pamietam jak ustawilem..

Mozna to jakos sprawdzic ?


edit
a jednym chyba bedzie 4 kb
Ostatnio zmieniony 2007-11-24, 18:29 przez eurynom, łącznie zmieniany 1 raz.

Awatar użytkownika
kazalot
Użytkownik
Posty: 1259
Rejestracja: 2006-04-05, 10:48

Re: scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: kazalot » 2007-11-24, 18:59

nie wiem jak sie zachowuje scp kiedy napotka symlinka, byc moze zamiast symlinka kopiuje to na co symlink wskazuje, dlatego w cp jest opcja
-P, --no-dereference
never follow symbolic links
i z taka sytuacja jak opisujesz spotkalem sie przy kopiowaniu przez cp bez tej opcji.

ale w to zeby wykasowane kopiowal to nie wierze.
Ostatnio zmieniony 2007-11-24, 19:01 przez kazalot, łącznie zmieniany 1 raz.

eurynom
Użytkownik
Posty: 418
Rejestracja: 2005-06-17, 22:07

Re: scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: eurynom » 2007-11-24, 20:06

Problem w tym, ze scp ktory kopiowal dane, skopiowal z partycji , ktora miala zajete 20 GB, a cala partycja miala 23 GB.. i problem wlasnie tutaj polega, ze on ciagnal z tego katalogu gdzie byly faktycznie wrzucane pliki ( duze pliki ), ktore widzialem jak kopiowal dane wykasowane juz dawno temu, a ktore mialy po 700, 800 mb i co ciekawe, on kopiowal dalej dane niz to jest logicznie przyjete, poniewaz skopiowal ponad 30 GB z tej partycji, ktora miala lacznie ( nie mowie zajete ) 23 GB, wiecej nie miala.. a on kopiowal sbie chyba z czarnej dziury, dane, ktore byly wykasowane...

1 sprawa - kopiowal dane ktore byly wykasowane , razem z tymi, ktore widoczne
2. sprawa - jezeli kopiowal razem z danymi ktore byly wykasowane, to faktycznie moglo zajmowac wiecej, ale cala partycja miala 23 GB, a on skopiowal ( przed moim wylaczeniem ) ponad 30 GB
3 sprawa - Gdzie tu logika ? :shock: , a moze jestesmy w matriksie ? :help:

Awatar użytkownika
kazalot
Użytkownik
Posty: 1259
Rejestracja: 2006-04-05, 10:48

Re: scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: kazalot » 2007-11-24, 22:51

no przeciez ci napisalem, pewnie kopiowal ci linki, jak masz gdzies link do pliku ktory ma 800mb to skopiowanych zostaje 1,6gb.

co do skasowanych danych to nie wierze, pokaz przykladowe sciezki z plikami ktore pojawily sie po skopiowaniu.

eurynom
Użytkownik
Posty: 418
Rejestracja: 2005-06-17, 22:07

Re: scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: eurynom » 2007-11-25, 13:42

Sprawdzalem gdy wspomniales o symlinkach, ale nie bylo, zreszta zobaczylbym taki defekt.

Wchodze do katalogu w tymi plikami, ktore kopiowalem, wyswietlam ls -l i widze normalne pliki, bez zadnych linkow umieszczonych w danym katalogu.

Ale jedno rzucilo mi sie w oczy, te pliki, ktorych byc nie powinno, gdy daje komende " file plik " z przykladowym rozszezeniem *avi, to widze :

Kod: Zaznacz cały

Nazawa\ pliku: data
Wezme inny, ktory wiem, ze nie byl kasowany wczesniej z partycji przegrywanej i widze:

Kod: Zaznacz cały

Nazwa\ pliku:  AVI, 608 x 256, 23.98 fps, video: XviD, audio: MPEG-1 Layer 3 (stereo, 48000 Hz)
Powoli chyba juz rozumiem dlaczego tak, a nie inaczej..

Zapomnialem wspomniec, ze takie dziwne zachowanie jest jedynie w katalogu w ktorym wczesniej zgrywalem z sieci pliki roznego rodzaju i te pliki niedokonczone mogly widziec ilosc zajmowanego miejsca, bo zapewne one w plikach torrent maja zapisane takie dane, albo na nowo utworzonych, poczatkowych plikach, ktore widza ile miejsca dany plik bedzie zajmowal i przegrywajac przegrywam smieci,.. po prostu upycha do pliku tyle, zeby przegrac tyle ile pisze w informacji danego pliku.torrent i on te informacje bierze powaznie, czyli laduje smieci do pliku, tylko po to, zeby zajac miejsce zapisane w informacjach pliku.torrent .

Tak tylko gdybam.. chcoiaz to najwieksze prawdopodobienstwo, poniewaz taki defekt mam "jedynie" w katalogu gdzie sciagaja sie pliki.torrent i jedynie tam zajmuje po przegraniu 43GB zamiast ( teraz zobaczylem ile zajmuje w zrodlowym katalogu ) 21 GB.

Przegrywalem jeszcze inny katalog z innej partycji, to tam sie zgadzalo.

Zeby pokazac wizualnie :

.
|-- plik <------- dobrze
|-- Katalog-1 <=------ dobrze
| |-- katalog <---- dobrze
| `-- plik <=--- dbrze
|-- katalog(torrent) <---- zle.. zajmuje 43 GB, a powinno 21 GB
| |-- katalog
| `-- plik [...]
|-- plik <---- dobrze
|-- plik <---- dobrze
|--katalog <---- dobrze

Jeszcze jest inny katalog oznaczpony inna partycja, ale tam jest calosc dobrze

Albo recznie przegram te ktore chce ( i odrazu uporzadkuje ) - w kazdym badz razie, dziwne zachowanie.. :|

acek
Użytkownik
Posty: 47
Rejestracja: 2006-09-26, 21:27
Kontakt:

Re: scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: acek » 2007-11-25, 23:26

po prostu upycha do pliku tyle, zeby przegrac tyle ile pisze w informacji danego pliku.torrent
Program scp nie powinien interpretować plików *.torrent.
czyli laduje smieci do pliku
Prawdopodobnie kopiuje zera.
taki defekt
To nie jest defekt! Systemy uniksowe pozwalały na taki sposób korzystania z plików chyba od początku. Microsoft skopiował (mam nadzieję, że nie opatentował) ten pomysł dopiero na etapie projektowania NTFS. Poszukaj informacji o "sparse files".

Przyklad:

Kod: Zaznacz cały

$ dd if=/dev/null of=test bs=1048576 seek=1024
0+0 records in
0+0 records out
0 bytes transferred in 0.000 secs (0 bytes/sec)
$ ls -lh test
-rw-------  1 user      group      1.0G Nov 25 23:14 test
$ du -h test
48.0K   test
$
on ciagnal z tego katalogu gdzie byly faktycznie wrzucane pliki ( duze pliki ), ktore widzialem jak kopiowal dane wykasowane juz dawno temu
"Dawno temu" - tzn. kiedy? Przed uruchomieniem programu scp? Jeśli rzeczywiście scp znalazł w katalogach nazwy, które zostały usunięte (i nie były ponownie utworzone), to jest to poważny problem. Uruchom fsck albo coś, sprawdź, czy nie było włamania, itd.

eurynom
Użytkownik
Posty: 418
Rejestracja: 2005-06-17, 22:07

Re: scp -r .... - Paranoiczne zachowanie.. WTF ?

Post autor: eurynom » 2007-11-26, 14:56

Dawno.. jakies pare miesiecy(w niektorych - tygodnie) temu..

Włamanie ? -.. nie sadze, malo prawdopodobne, wiecej prawdopodobna jest lokalizacja zdarzenia, jakby nie bylo to mozna gdybac z (jak mowiles)interpretowaniem, jak rowniez ladowaniem smieci, tyle ile bylo w infomracji.. Gdyby to byla inna lokaizacja (czt. inny katalog - gdzies gdzie nie ma takiej eksploatacji duzej ).. to wtedy trudnobylo by sie doszukiwac problemow i wtedy mona podac na inne aspekty (czyt. wlamania).. ale ten katalog jest takim wrazliwym miejscem, gdzie mozna snuć teorie ile sie tylko da.

W kazdym badz razie wyniklo z tegi wielkie jedno porzadkowanie :) ( nie ma tego zlego co by na dobre nie wyszlo )
Ostatnio zmieniony 2007-11-26, 14:57 przez eurynom, łącznie zmieniany 1 raz.

ODPOWIEDZ