[Rozw.] ,,Gadanie'' do MySQLa przez Basha

[difrost]

Witam,

chciałbym zcentralizować trochę moją infrastrukturę składającą się z 8 serwerów Synergy. Różne dane (głównie statystyki DCM) chciałbym pchać do MySQLa stojącego na jednym z serwerów. Wszystko jest obsługiwane przez skrypty napisane w Bashu. Stąd moje pytanie, jak ,,dobrze'' komunikować się z MySQL z poziomu Basha (zdalnie). Wiem, że jest patch dla Basha, który daje taką możliwość, ale to nie wchodzi w grę. Myślałem o napisaniu aplikacji, która będzie łączyła się z MySQL, a następnie komunikowała się ze skryptem przez n.p.: unix socket, fifo.

Wszelkie pomysły mile widziane

[mina86]

Widzę następujące możliwości: (i) pisanie bezpośrednio do klienta, czyli echo zapytanie | mysql; (ii) program przyjmujący komendę jako argumenty wywołania i łączący się z MySQL-em, czyli ./foo komenda; (iii) wrapper przyjmujący komendę jako argumenty wywołania i łączący się po gnieździe (lub innym mechaniźmie IPC) z programem, który utrzymuje połączenie z bazą danych oraz (iv) program utrzymujący połczenie z bazą danych nasłuchujący na kolejce FIFO.

Rozwiązanie drugie w zasadzie ma niewielką (jeśli jakąkolwiek) przewagę nad pierwszym -- dobrze zaimplementowane będzie pewnie odrobinę szybsze. W rozwiązaniu czwartym trzeba dodatkowo synchronizować dostęp do kolejki, żeby wiele komend się nie pomieszało (chyba, że wiadomo, iż wyścig nigdy nie nastąpi, bo działać będzie jedna instancja skryptu).

Tak czy owak, podejżewam, że rozwiązanie pierwsze będzie powinno wystarczyć, a równocześnie nie trzeba praktycznie nic implementować samemu.

[difrost]

Dzięki mina86 za jak zwykle wyczerpującą odpowiedź

Ja bym się skłaniał ku rozwiązaniu (iv), dlatego, że potrzebuję mięc sesję do bazy podtrzymaną przez cały czas kiedy działa skrypt (a bywa, że jest to 7h). Kwestię wyścigu można rozwiązać prywatnym FIFO dla każdej instancji, gdyż w założeniu każda uruchomiona instancja skryptu ma własne (skojarzone) połączenie do bazy, czyli może mieć też własne FIFO. Wrapper mógłby obsługiwać kilka ,,wewnętrznych'' komend, służącymi do sterowania nim, no i daje większe możliwości operacyjne. Koszt napisania takiego wrappera jest moim zdaniem niewielki.

[mina86]

Czyli za każdym uruchomieniem skryptu nawiązywane by było nowe połączenie, które trwałoby nawet do kilku godzin? Nie wiem jeszcze co dokładnie ten skrypt ma robić, ale jeżeli tylko dodawać dane do bazy danych, to może wystarczy potok do klienta MySQL, tzn:

Kod: Zaznacz cały

{
    : ...
    echo komenda1
    : ...
    echo komenda2
    : .
    : .
    : .
    echo komendan
    : ...
} | mysql

bo w gruncie rzeczy do tego samego by się sprowadzało działanie wrappera. Można się tylko zastanawiać jak będzie wyglądać kwestia buforowania danych w potoku i czy ma to jakieś znaczenie.

[difrost]

Z pewnością nie będzie to ciągłą sesja z bazą, gdyż skrypt ma inne (poważniejsze ) rzeczy do roboty. Wygląda to mniej więcej tak:

Kod: Zaznacz cały

 - START
 |- zassanie potrzebnych danych z bazy, n.p.: co ma generować, gdzie ma słać paczkę i jakiego klucza użyć;
 |- rozpoczyna się sesja Synergy, tutaj nie dotykamy bazy (właśnie to najdłużej mieli);
 |- po wygenerowaniu paczki DCM następuje transport do hosta docelowego;
 |- zaposanie danych do bazy: nazwa paczki, rozmiar, czas rozpoczecia i zakończenia transferu jak i generacji.
 - STOP

Można by to rozłóżyc na dwa połączenia (na początku i na końcu), ale w wilu przypadkach transfer trwa naprawde krótko, a w przyszłości chciałbym gadać z bazą podczas sesji Synergy.

EDIT: Rozbicie tego na dwa połączenia na razue chyba wystarczy. Wydaje mi się, że będe w stanie skumulować użycie bazy. Gorzej będzie z odczytem, bo wyniki będe musiał interpretować na bieżąco.

[mina86]

Może po prostu napisz to w Perlu (czy Pythonie, czy co tam lubisz), który z pewnością ma jakiś moduł do obsługi MySQL-a?

[Sad Mephisto]

Osobiście do zabawy z MySQLem przy użyciu basha wykorzystuję takie coś. Nie jest to może jakoś super hiper optymalne, ale działa.

Kod: Zaznacz cały

MYSQLCOMMAND="mysql -u .... -p... ... -h ... --skip-column-names -se"
$MYSQLCOMMAND "select channel_id,channel_name,channel_multicast_ip, channel_multicast_port from channel where .... ;" | tr "\t" ";" | while read chan ; do
name=`echo $chan | cut -d';' -f2`;
group=`echo $chan | cut -d';' -f3`;
port=`echo $chan | cut -d';' -f4 `;
# ...
done

Powyższy przykład czyta dane z bazy, a potem robi z nimi co chce. Nic nie stoi na przeszkodzie, żeby używać tego w trybie write-only:

Kod: Zaznacz cały

$MYSQLCOMMAND "insert into ... ;"

[mina86]

Nie wiem tylko czemu używasz cut:

Kod: Zaznacz cały

while IFS=';' read ch_id ch_name ch_group ch_port ch_rest; do 
    if [ -n "$ch_rest" ]; then : cos zlego sie stalo, zle sparstowalismy; fi
    # ...
done

[difrost]

Perle i inne Pythony odpadają, gdyż mam wszystko już napisane w bashu i nie mam ochoty nic przepisywać, zwłaszcza w jezykach, których nie lubię. Lubię za to C i już nie jedno napisałem w tym języku wykorzystując MySQLa. Dlatego skłaniałbym się ku takiemu rozwiązaniu. Na początek wykorzystam jednak to co podał mina86 powyżej, żeby zobaczyć, jak to ogólnie działa, a później pewnie coś wydziergam.

Dzięki za informacje chłopaki!

[mina86]

Rachunek prześlę pocztą.