Squid - transparent proxy i delay pools.

W tym miejscu zapraszamy Was do współpracy. Czekamy na propozycje, sugestie i rady.
Moderatorzy zatroszczą się o to, by najlepsze teksty trafiły do FAQ.

Moderatorzy: Moderatorzy, Administratorzy

delorian0
Użytkownik
Posty: 66
Rejestracja: 2006-04-23, 08:36

Re: Squid - transparent proxy i delay pools.

Post autor: delorian0 » 2006-11-14, 19:27

Mam problem z cachem po wydaniu komendy RunCache &

Kod: Zaznacz cały


[1] 1970
root@server:/usr/local/squid/bin# Running: squid -sY  >> /usr/local/squid/var/squid.out 2>&1
Running: squid -sY  >> /usr/local/squid/var/squid.out 2>&1
Running: squid -sY  >> /usr/local/squid/var/squid.out 2>&1
Running: squid -sY  >> /usr/local/squid/var/squid.out 2>&1
Running: squid -sY  >> /usr/local/squid/var/squid.out 2>&1
Running: squid -sY  >> /usr/local/squid/var/squid.out 2>&1
RunCache: EXITING DUE TO REPEATED, FREQUENT FAILURES
[1]+  Exit 1                  ./RunCache

a to wynik polecenia ps aux | grep squid

Kod: Zaznacz cały


root@server:/usr/local/squid/bin# ps aux | grep squid
root       864  0.0  0.9   3708  1152 ?        Ss   18:02   0:00 ./squid
squid      866  0.0  3.8   6416  4836 ?        S    18:02   0:00 (squid)
squid      867  0.0  0.2   1232   264 ?        Ss   18:02   0:00 (unlinkd)


i jeszcze polecenie netstat -a | grep 3128

Kod: Zaznacz cały



root@server:/usr/local/squid/bin# netstat -a | grep 3128
tcp        0      0 *:3128                  *:*                     LISTEN 
[/code]

Awatar użytkownika
Ukash
Użytkownik
Posty: 115
Rejestracja: 2004-12-05, 21:18
Lokalizacja: Lublin

Re: Squid - transparent proxy i delay pools.

Post autor: Ukash » 2006-11-15, 23:05

Pewnie ktos sie ze mna nie zgodzi ale zgodnie z instrukcja od squida: nie ma sensu uruchamiac squida poprzez RunCache ktory zajmuje sie tym ze w momencie padu squida potrafi sam go ponownie podniesc. Od kilku wersji potrafi to zrobic sam squid.

A co do twojego problemu: Przejrzyj logi i ewentualnie wklej na forum wtedy ktos powinien pomoc.
[url=http://www.uptime-project.net/profile.php?uid=45750][img]http://img.uptime-project.net/img/8/45750.png[/img][/url]

velog
Użytkownik
Posty: 3
Rejestracja: 2007-02-20, 21:34

Re: Squid - transparent proxy i delay pools.

Post autor: velog » 2007-03-02, 01:07

wrzucilem to co bylo na 1 poscie w squid.conf niestety nie poszlo
zrobilem wiec naubozsza wersje :D

http_port 3128
Cache_dir aufs /cache 2500 16 256
cache_mem 64 MB
cache_replacement_policy gdsf
memory_replacement_policy gdsf

httpd_accel_host virtual
httpd_accel_port 80
httpd_accel_with_proxy on
httpd_accel_single_host off
httpd_accel_uses_host_header on


niestety po odpaleniu:

root@darkstar:/usr/local/squid/etc# ./squid.conf
./squid.conf: line 1: http_port: command not found
./squid.conf: line 2: Cache_dir: command not found
./squid.conf: line 3: cache_mem: command not found
./squid.conf: line 4: cache_replacement_policy: command not found
./squid.conf: line 5: memory_replacement_policy: command not found
./squid.conf: line 7: httpd_accel_host: command not found
./squid.conf: line 8: httpd_accel_port: command not found
./squid.conf: line 9: httpd_accel_with_proxy: command not found
./squid.conf: line 10: httpd_accel_single_host: command not found
./squid.conf: line 11: httpd_accel_uses_host_header: command not found

wczesniej bylo to samo co zle zrobilem?

Awatar użytkownika
maiki
Użytkownik
Posty: 376
Rejestracja: 2004-06-18, 10:41
Lokalizacja: Tarnów
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: maiki » 2007-03-02, 07:25

velog, może spróbuj odpalić to co trzeba, konfiga zostaw w spokoju, przeczytaj jeszcze raz tekst, popraw błędy. Tekst był przygotowany do starszych wersji serwera stąd mogą wyjść pewnie nieścisłości.

powodzenia ;-)
Ostatnio zmieniony 2007-03-02, 07:26 przez maiki, łącznie zmieniany 1 raz.

velog
Użytkownik
Posty: 3
Rejestracja: 2007-02-20, 21:34

Re: Squid - transparent proxy i delay pools.

Post autor: velog » 2007-03-02, 11:59

starcie 2 na podstawie http://forum.slackware.pl/viewtopic.php ... ight=squid
po squid -NX
.
.
.
2007/03/02 11:05:05| Processing: 'httpd_accel_port 80 '
2007/03/02 11:05:05| parse_line: httpd_accel_port 80
2007/03/02 11:05:05| parseConfigFile: line 85 unrecognized: 'httpd_accel_port 80 '
2007/03/02 11:05:05| Processing: 'httpd_accel_host virtual '
2007/03/02 11:05:05| parse_line: httpd_accel_host virtual
2007/03/02 11:05:05| parseConfigFile: line 86 unrecognized: 'httpd_accel_host virtual '
2007/03/02 11:05:05| Processing: 'httpd_accel_with_proxy on '
2007/03/02 11:05:05| parse_line: httpd_accel_with_proxy on
2007/03/02 11:05:05| parseConfigFile: line 87 unrecognized: 'httpd_accel_with_proxy on '
2007/03/02 11:05:05| Processing: 'httpd_accel_uses_host_header on '
2007/03/02 11:05:05| parse_line: httpd_accel_uses_host_header on
2007/03/02 11:05:05| parseConfigFile: line 88 unrecognized: 'httpd_accel_uses_host_header on '
2007/03/02 11:05:05| Processing: 'ie_refresh on '
2007/03/02 11:05:05| parse_line: ie_refresh on
2007/03/02 11:05:05| parse_line: reply_body_max_size 0 allow all
2007/03/02 11:05:05| aclParseAccessLine: looking for ACL name 'all'
2007/03/02 11:05:05| parse_line: dns_testnames netscape.com internic.net nlanr.net microsoft.com
2007/03/02 11:05:05| parse_line: wccp2_service standard 0
2007/03/02 11:05:05| wccp2_add_service_list: added service id 0
2007/03/02 11:05:05| parse_line: coredump_dir none
2007/03/02 11:05:05| getMyHostname: 'darkstar' resolved into 'darkstar.example.net'
2007/03/02 11:05:05| Initialising SSL.
2007/03/02 11:05:05| Using SSLv2/SSLv3.
2007/03/02 11:05:05| Setting RSA key generation callback.
2007/03/02 11:05:05| Setting certificate verification callback.
2007/03/02 11:05:05| Setting CA certificate locations.
2007/03/02 11:05:05| cachemgrRegister: registered config
2007/03/02 11:05:05| fd_open FD 0 stdin
2007/03/02 11:05:05| fd_open FD 1 stdout
2007/03/02 11:05:05| fd_open FD 2 stderr
2007/03/02 11:05:05| leave_suid: PID 11258 called
2007/03/02 11:05:05| leave_suid: PID 11258 giving up root, becoming 'squid'
Aborted

jesli macie linka do lopatologicznego opisu bardzo prosze podajcie bo juz mam dosc:P
chodzi mi tylko o przyspieszenie lacza przez sciagniecie plikow z proxy a nie z stronek nic wiecej

Awatar użytkownika
maiki
Użytkownik
Posty: 376
Rejestracja: 2004-06-18, 10:41
Lokalizacja: Tarnów
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: maiki » 2007-03-02, 22:15

hostname darkstar, chyba jeszcze nie czas na squida..
Czytaj, czytaj, sprawdź logi, opisy są może nie doskonałe ale specjalnie trudne też nie, przy odrobinie samozaparcie i wczytaniu się w defaultowy konfig jesteś w stanie postawić sprawnie działający serwer.
A że tak zapytam, robisz router, tak, to nie stacja robocza?

velog
Użytkownik
Posty: 3
Rejestracja: 2007-02-20, 21:34

Re: Squid - transparent proxy i delay pools.

Post autor: velog » 2007-03-03, 00:27

mialem do wyboru placic 60 za beznadziejna osiedlowke (gdzie onet sie ladowal 2 min) albo zrobic cos samemu (za to ze mam serv w domu i sie tym zajolem to nie place nic :D)
rezultat > 10 userow na 2mb dls`a udalo mi sie postawic narazie slacka 10 z dhcp+arp firewalla shaperda i opendchub - wsumie nic wieliego ale smiga jak narazie super
z proxy to sprawa jest taka ze chcialem sie poduczyc troche i odciazyc lacze bo czesto gramy w to samo wiec po co reszcie zapyhac (wiem ze na 2mb trudno gra zapchac ale tez sie zdarza) ale gluwnie dla samego siebie

jak macie toporne opisy dla blondynek to podajcie :P

blazejwiecha
Użytkownik
Posty: 106
Rejestracja: 2006-07-15, 16:21
Lokalizacja: Świętochłowice
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: blazejwiecha » 2007-03-08, 02:45

Kod: Zaznacz cały

#Transparent proxy

#port na ktorym działa serwer
    http_port 3128
# Co squid ma przyspieszać
# Podajemy port 80, na tym działa www, ten port będzie przyspieszać squid
    httpd_accel_port 80
# Wymagane do powyższego
    httpd_accel_with_proxy on
# obsługa akceleracji hostów virtualnych
    httpd_accel_host virtual
# Wymagane do transparentnego proxy
    httpd_accel_uses_host_header on
# Włanczamy keszowanie cgi
    hierarchy_stoplist cgi-bin ?
    acl QUERY urlpath_regex cgi-bin \?
    no_cache deny QUERY

# Ustawiamy nasz cahce,
# /cache katalog gdzie będzie przechowywany, 2500 ile Mb chcemy na nasz Cache
    cache_dir ufs /cache 2500 16 256
#    cache_dir diskd /cache 2500 16 256 Q1=90 Q2=110
# Ilość pamięci przeznaczonej na Squida, odwieczna zasada, im więcej tym lepiej  :)
    cache_mem 128 MB
        cache_swap_low 90
        cache_swap_high 95
# Po jakim czasie keszowane strony mają zostać usunięte
# Po tym czasie najstarsze strony które są w Cache zostaną usunięte
#reference_age 2 week
# i reguły odświerzania wybranych elementów

refresh_pattern -i (.*jpg$|.*gif$) 0 50% 28800
refresh_pattern -i (.*html$|.*htm|.*shtml) 0 20% 1440
refresh_pattern (http://.*/$) 0 20% 1440
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320

refresh_pattern -i \.(zip|gz|bz2|exe|rar|mp3|mpg|avi|wmv|vqf|ogg)   43200   100%    43200   reload-into-ims
refresh_pattern windowsupdate.com/.*\.(cab|exe|dll)     43200    100%    43200   reload-into-ims
refresh_pattern download.microsoft.com/.*\.(cab|exe|dll) 43200   100%    43200   reload-into-ims
refresh_pattern au.download.windowsupdate.com/.*\.(cab|exe|dll) 43200 100% 43200 reload-into-ims
refresh_pattern symantecliveupdate.com/.*\.(zip|exe)    43200    100%    43200   reload-into-ims
refresh_pattern windowsupdate.com/.*\.(cab|exe)         43200   100%    43200   reload-into-ims
refresh_pattern download.microsoft.com/.*\.(cab|exe)    43200   100%    43200   reload-into-ims
refresh_pattern avast.com/.*\.(vpu|vpaa)    43200   100%    43200   reload-into-ims
#refresh_pattern .               0       20%     4320

# i log, przedtem zróbmy w katalogu /var/log/ katalog
# 'mkdir squid' i nadajmy mu prawa chown -R squid.squid squid
    cache_access_log /var/log/squid/access.log
    cache_log /var/log/squid/cache.log
    cache_store_log /var/log/squid/store.log
    pid_filename /var/log/squid/squid.pid

# Zalecana minimalna konfiguracja, wydaje mi się, że nie wymaga tłumaczenia
    acl all src 0.0.0.0/0.0.0.0
    acl manager proto cache_object
    acl localhost src 127.0.0.1/255.255.255.255
    acl to_localhost dst 127.0.0.0/8
    acl SSL_ports port 443 563
    acl Safe_ports port 80          # http
    acl Safe_ports port 21          # ftp
    acl Safe_ports port 443 563     # https, snews
    acl Safe_ports port 1025-65535  # pozostałe porty
    acl CONNECT method CONNECT

# komu pozwalamy kożystać, a komu nie...
    http_access allow manager localhost
    http_access deny manager
    http_access deny !Safe_ports
    http_access deny CONNECT !SSL_ports

# Ustawiamy parametry naszej sieci
# Ip naszego serwera
    acl server src 192.168.0.1
    http_access allow server
# Zakres adresowy naszej sieci
    acl our_networks src 192.168.0.1-192.168.0.255
# Zezwalamy naszej sieci
    http_access allow our_networks
# Zabraniamy innym
    http_access deny all
    http_reply_access allow all
    icp_access allow all

# Użytkownik pod którym działać będzie Squid
    cache_effective_user squid
    cache_effective_group squid
# Tutaj    chyba jasno  ;-)
    visible_hostname proxy.domenka.pl
    cache_mgr admin@domenka.pl
    coredump_dir /cache

# Maxymalnie duzy obiekt zapisywany na dysku, w naszym cache
    maximum_object_size 61440 KB
    minimum_object_size 1 KB
    maximum_object_size_in_memory 50 KB
        ipcache_size 10240
        ipcache_low 90
        ipcache_high 95
        fqdncache_size 10240
#       cache_replacement_policy heap LFUDA
#       memory_replacement_policy heap GDSF

#testy z tos
#zph_tos_local 0x8
#zph_preserve_miss_tos off

ie_refresh on

#Testy z Delay Pools
Tu macie wersje która nawet fajnie działa na starym squidzie.

// używaj code (Lizard)
Ostatnio zmieniony 2007-03-13, 01:05 przez blazejwiecha, łącznie zmieniany 2 razy.

blazejwiecha
Użytkownik
Posty: 106
Rejestracja: 2006-07-15, 16:21
Lokalizacja: Świętochłowice
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: blazejwiecha » 2007-03-13, 00:07

sam niestety zrezygnowałem z squida bo coś gorzej sobie radził net z squidem niż bez niego. Widocznie config wciąż wymaga dopracowania. Pokażcie dobre propozycje

Jan van Czura
Użytkownik
Posty: 21
Rejestracja: 2006-10-10, 12:25

Re: Squid - transparent proxy i delay pools.

Post autor: Jan van Czura » 2007-04-02, 15:21

Witam.

W mojej sieci ruch jest zarządzany na htb nie według ip klientów, tylko wedlug markerów ( -j MARK ).
a markery są ustalane gdzie indziej na zasadzie, że klient nr1 dla ruchu http dostaje znacznik 1001 a klient 23-ci dostaje znacznik 1023. klientci są porozrzucani po różnych łączach. Jest ich kilka. Markery idą kolejną według numeru , ale klasa o nazwie 1:1001 może ograniczac ruch na laczu 1 a klasa o nazwie 1:1023 ten ruch ogranicza dla lacza 2.
Wiadomo, oba markery sa zdefiniowane na karcie sieciowej zdefiniowanej na LAN, chodzi o to, ze tranfer wchodzi do serwera przez np łącze 2 i jest wysyłane na LAN.

1. Co się dzieje, jeżeli klient chce siągać plik nie będący w buforze?? Czy zacznie on ściągać ten plik z predkością ograniczoną przez htb, czy może squid nie zachowa markera dla pobieranych plików, i wpadnie do klasy zdefiniowanej w htb jako domyślna?
2. Czy skoro jest zrobiony routing źródłowy na serwerze to, czy plik nieskeszowany będzie szedł łaczem przydzielonym klientowi, czy może przez brame domyślną.

Awatar użytkownika
bojleros
Użytkownik
Posty: 785
Rejestracja: 2005-08-29, 11:12
Lokalizacja: z widokem na familoki :)
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: bojleros » 2007-04-02, 15:35

Jan van Czura pisze:. Co się dzieje, jeżeli klient chce siągać plik nie będący w buforze?? Czy zacznie on ściągać ten plik z predkością ograniczoną przez htb, czy może squid nie zachowa markera dla pobieranych plików, i wpadnie do klasy zdefiniowanej w htb jako domyślna?
A czy twój squid onacza jakoś specjalnie pakiety pochodzące od HIT lub MISS ?? Squidowi nic do zachowywania/zmieniania markera.
Jan van Czura pisze:2. Czy skoro jest zrobiony routing źródłowy na serwerze to, czy plik nieskeszowany będzie szedł łaczem przydzielonym klientowi, czy może przez brame domyślną.
Z tego co mi wiadomo można squidowi wyspecyfikować jakich łacz ma uzywać dla jakich adresów. Bez przypisania idze to zapewne domyślną trasą.

Jan van Czura
Użytkownik
Posty: 21
Rejestracja: 2006-10-10, 12:25

Re: Squid - transparent proxy i delay pools.

Post autor: Jan van Czura » 2007-04-02, 18:43

ja jeszcze nie mam squida, ale chce zrobić, tylko nie wiem czy mi się opłaca. Nie wiem czy nie strace części kontroli nad ruchem.
Obecnie jak oglądam tcpdump -n to widze jaki ip z jakim ip wymienia dane. Czy dalej będę wizdział adres zdalnego serwera czy będzie widoczne tylko tyle że klient gada z serwerem proxy??
Ostatnio zmieniony 2007-04-02, 18:45 przez Jan van Czura, łącznie zmieniany 1 raz.

Awatar użytkownika
bojleros
Użytkownik
Posty: 785
Rejestracja: 2005-08-29, 11:12
Lokalizacja: z widokem na familoki :)
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: bojleros » 2007-04-02, 18:49

To przeanalizuj swoje skrypty. Przecież wiesz na jakich portach działa squid od strony sieci lokalnej. Jak ruch na te porty wyłapiesz w tc i wsadzisz do odpowiedniej klasy to wszystko będzie wporządku. Możesz też użyc delay pools. Generalnie byłoby dobrze jakbyś ten cały wątek przeczytał. Mozesz tez zobaczyc moj artykul w propozycjach do faq tam jest troche inne podejście do ciecia squida.
Ostatnio zmieniony 2007-04-02, 18:50 przez bojleros, łącznie zmieniany 1 raz.

Jan van Czura
Użytkownik
Posty: 21
Rejestracja: 2006-10-10, 12:25

Re: Squid - transparent proxy i delay pools.

Post autor: Jan van Czura » 2007-04-02, 19:55

chodzi właśnie o co inne. Jak ktoś sciąga jakiś długi plik, i trwa to np 10min, to po 10 min zostaje ta sesja przekwalifikowana jako ruch p2p ( o niższym priorytecie niż http, poczta i inne takie ) Wszystko zaś podlega automatycznej regulacji predkości w czasie pracy. Dlatego jest to dla mnie ważne, aby tcpdump wyświetlal sesje w postaci 10.0.0.23.1234 > 12.23.34.45.80, bo w tedy mogę kontrolować co sie dzieje.
W przypadku zakończenia sesji, regułka która traktuje ten ruch gorzej zostaje wykasowana dla pary adresów 10.0.0.23.1234 > 12.23.34.45.80 Nie chce z tych patentów rezygnować. Z tego co wiem to jest jakiś program w necie robiący takie atuomatyczne regulowanie ruchem ale postanowiłem zrobić to po swojemu. Jednak nie mam zielonego pojęcia, jak sie zachowuje ruch, jak jest squid

[ Komentarz dodany przez: Radek_R: 2007-04-02, 21:21 ]
Ortografia i literówki. Proponuję to.
Ostatnio zmieniony 2007-04-02, 20:20 przez Jan van Czura, łącznie zmieniany 1 raz.

Awatar użytkownika
bojleros
Użytkownik
Posty: 785
Rejestracja: 2005-08-29, 11:12
Lokalizacja: z widokem na familoki :)
Kontakt:

Re: Squid - transparent proxy i delay pools.

Post autor: bojleros » 2007-04-03, 06:39

Używałem kiedyś shaperów i moge o nich powiedzieć tyle że htb/hfsc potrafi wiele więcej tylko trzeba to umiec ustawić.

Nie wiem czy do końca rozumiesz to , że squid będący usługą lokalną na serwerze nie przekazuje połączenia dalej , tylko zestawia dwa : squid - klient oraz squid - serwer. Np. Jeżeli masz htb tak ustawione że "nie ogranicza" ruchu z lanu do serwera to własnie tymi klasami poleci squid.

ODPOWIEDZ