Nagrany materiał na IPBoxie - pliki .trp - wyjaśnienia problemów uzytkowników

[Be3 0]

[quote name='STUDI' post='124425' date='06.10.2008, 13:53 ']A jak to zmierzyłeś? A co cache dyskowym - wyłączyłeś jego funkcjonalność podczas pomiaru?
To był jeden transfer czy kilka konkurujących ze sobą? bo SATA podobnie jak IDE ATA nie ma kolejkowania jak inne rozwiązania Serial SCSI, SCSI, SSA itd?
Odczyt - OK a zapis? Dysk 500GB - to zmierz wydolność zapisu 100GB pliku. Potem jednoczesny zapis trzech plików 60 - 70GB.

Co wydajności tzw "długiego transferu" to najmniej do powiedzeni ma interfejs i jego pasmo. Ta wartość nieznacznie rośnie.
Zapytaj się co o tym sadzą spece od macierzy dyskowych. Powiedzą Tobie że pomimo postępu mierzonego szybkością interfejsu to tak prawdę dyski stają się coraz wolniejsze(tak). Dla nich liczy się czas potrzebny na zapisanie całego zaalokowanego dysku - dlatego mówią że dyski są coraz wolniejsze.... A cały software w macierzach robi wszystko aby mieć tylko i wyłącznie sekwencyjny zapis - dokładnie dopasowany do fizycznej geometrii zapisu dyskó.

Dlatego nadal wolą mieć wiele dysków z zajętym małym obszarem niż jeden duży. Kiedyś - kilak lat temu zoptymalizowałem jeden serwerów - baza-danych + plus aplikacje. Inne podejście do mirroru, odpowiednie rozłożeni obszarów bazodanowych na dyskach (bardzo ważne początek czy koniec dysku w kwestii czy dominuje zapis czy odczyt) i dało radę pięciokrotnie przyspieszyć pracę aplikacji - bez ingerencji w strukturę danych, kod aplikacji itd...[/quote]
STUDI wyluzuj
Robisz wrażenie, że jak by Cię odciąć od macierzy SCSI to przestaniesz funkcjonować
Tak tu sobie offtopujemy, za przyzwoleniem lokalnego moda, bardzo przyjemnie, ale jak któryś z nich pisze - "czytaj progresywnie, nie z przeplotem".
Dlatego przypomnę, że nie mam zamiaru stawiać serwera w domu i zajmować się świadczeniem usług w zakresie montażu materiału HD.
Bawię się cyfrowym video hobbystycznie, od paru lat. Cieszę się z postępu w PC, pozwalającym w domowych warunkach na zrobienie tego i owego
Nie będę z Tobą dyskutował na temat, jak szybko macierz SCSI zapisze 1000000000 (albo 1073741824) plików po 1b, a nawet o tym, czy macierz oparta na dyskach SATA, w tej samej cenie nie zrobi tego szybciej.
Nie dyskutuje o faktach, a Ty po kilku sensownych pytaniach w googach nie poddawałbyś w wątpliwość tych, które podałem.
Pozdramiam

[STUDI 0]

[quote name='Be3' post='126683' date='19.10.2008, 23:40 ']Nie będę z Tobą dyskutował na temat, jak szybko macierz SCSI zapisze 1000000000 (albo 1073741824) plików po 1b, a nawet o tym, czy macierz oparta na dyskach SATA, w tej samej cenie nie zrobi tego szybciej.[/quote]

Nie zrobi. SATA to low-cost i low performace. SATA zaczerpnęło trochę z technologii SCSI. Używa niestety mniej wydajnego wykorzystania bitów dla bajtu danych niż SAS.
Przyzwoite wysokowydajne macierze to tylko Serial SCSI albo FC-AL dla poważniejszych rozwiązań.
SATA jest dobre tylko do domowego zastosowanie i systemów z nieznaczym współbieżnym transferem do zasobów dyskowych. Nie zmienisz tego.

SATA-II oferuje szybkośc magistrali 3Gbit/s - 300MBajt/s. Maksymalnie jedno urządzenie na kanał- w przypadku multilplikacji portów 15 urządzeń - maksymalna długość kabla 1 metr

Serial SCSI (SAS) oferuje nominalnie bez agregacji linków i bez [beeep]lexu gwarantuje 3Gbit/s - 375Mbajt/s. Ilość 4 na kanał maksymalnie urządzeń 128 w przypadku multiplikacji portów. Maksymalna długość kabla 8 m. Pełna przepustowość to 24Gbit/s przy pełnym [beeep]lexie i agregacji linków . Ośmiokrotna przewaga nad SATA-II.

Zgodność w jedna stronę. Do backplane SAS można podłączyć dysk SATA. Odwrotnie nie.


Co byś nie próbował udowadniać SATA jest dla rozwiązań low-cost i o niewielkiej wydajności. RAID typowy w PC - owszem mirror ew. mirror+striping. Raczej nie więcej niż 3 dyski. SAS to wydajniejszy standard. Macierze o dużej liczbie dysków - co przedkłada się na lepsze wykorzystanie transferu magistrali.

To co dyskutujemy to przepustowość magistrali wydolność dysku jest znacznie niższa. dlatego by uzyskać wysokie wydajności transakcji IO należy powielać liczbę dysków podpiętych do magistrali. Operacje na danych związane z budową struktury RAID sa wykonywane bardzo szybko.

SATA jest stosowane tam gdzie nie ma wielu konkurujących operacji IO i gdzie transfer do zasobów dyskowych nie jest krytycznym parametrem. W przeciwnym tylko i wyłącznie SAS i ew FC-AL. Oczywiście mówimy o interfejsach przewodowych nie optycznych.

To dyski. A teraz PC'ty....
Nie ma sensu próbować porównywać serwerowe architektury tymi z komputerów PC. nie te wydajności magistral nie te kontrolery pamięci RAM.

Owszem taki HP DL360 G5 model 470064-623 to 5780PLN. (Intel Xeon 5410, pamięć operacyjna 2x1GB, 2,5” dysk twardy 146GB Hot Plug SAS, kontroler macierzowy HP Smart Array E200i/128, napęd optyczny DVD-RW). Kontroler RAID w tym modelu to zupełnie inna jakość niż funkcja RAID w komputerze domowym PC. Max 6 dysków, max dwa procesory (przy procesorach czterodrdzeniowych masz jakby 8 procesorów!!!!), max 64GB RAM.
Dyski możesz wymieniać/dokładać bez przerywania pracy systemu. Tak samo jak masz do dyspozycji dwa zasilacze. Te dwie cechy to jakieś 20% - 30% ceny tego żelazstwa. Inny chipset inny kontroler pamięci RAM inna architektura. W cenie mocniejszej zabawki do uruchamiania gier. Edytowane 24 Października 2008 przez STUDI

[Be3 0]

[quote name='STUDI' post='127549' date='24.10.2008, 17:11 ']Nie zrobi...[/quote]
Tak tu sobie offtopujemy od dłuższego czasu. Twoja wiedza znaczne wykracza poza temat i chętnie dajesz rady - to może zapytam się Ciebie o połączenie dwóch serwerów min. 1 do 10 GB/s w odległości do 1km - światłowód, albo ftp (kilka wiązek) - co byś zaproponował, jaki sprzęt, jakie kable itd. To jest poważne pytanie.

Pozdrawiam
Be3

[STUDI 0]

[quote name='Be3' post='129595' date='06.11.2008, 00:49 ']Tak tu sobie offtopujemy od dłuższego czasu. Twoja wiedza znaczne wykracza poza temat i chętnie dajesz rady - to może zapytam się Ciebie o połączenie dwóch serwerów min. 1 do 10 GB/s w odległości do 1km - światłowód, albo ftp (kilka wiązek) - co byś zaproponował, jaki sprzęt, jakie kable itd. To jest poważne pytanie.

Pozdrawiam
Be3[/quote]

Tu polegnę zwłaszcza dla takich szybkości. Akurat nigdy nie projektowałem łączy światłowodowych a na szklenia z tego zakresu aby być na topie nie ma co liczyć jak przesunięto mnie do innego działu (praca zapewniona rozwoju niet....). Raczej to były firewalle (równiż clustry firewalli), vpn'y, serwery usług do wewnątrz firm itd.

Wszędzie tam gdzie wdrażano rdzenie sieci LAN/WAN stosowano urządzenia CISCO i rzadziej 3Com (po tym jak zrobili idiotyczny krok wycofując się z pewnego segmentu rynku - powrót jest dla nich bolesny). Zazwyczaj dla linków światłowodowy wykorzystywano interfejsy oferowane przez Cisco do routerów tych z średniej półki.
A szczerze przy ostatnim takim projekcie - budynki w obrębie kilometra - owszem były światłowody ale nie było potrzeby takich przepustowości (zalety rozproszonych systemów plików). Ew zwiększenie wydajności osiągano tworząc struktury podsieci rzadziej zwielokrotnianie (głównie dla zwiększenia niezawodności plus stosując jakiś mechanizm load-blancing) łącza poprzez wykorzystywanie typowych mechanizmów wbudowanych w IOS'a Czasem były używane jako backup linki radiowe (bo na obrzeżach Wawy kable telekomunikacyjne często kradną).

Dłuższe linki to zawsze był WAN realizowany przez zewnętrzna firmę: Exatel, TPSA itp. wtedy ona miała obowiązek postawić w szafie 'właściwe szkrzyneczki' i zestawić łącza.

Kwestia na pewno kasy. Najlepsza ścieżka najpierw router (dodam dla cisco router i bridge to to samo tylko że router to skrzynka a bridge to program realizujący funkcje routere/bridgea) z odpowiednik interface. A potem sam link. Jak masz interfejsy to masz wyspecyfikowane standardy linków. Wtedy tylko znaleźć dostawcę kabli i potrzebnych dodatkowych urządzeń.
A sam kabel - owszem trzeba pamiętać o danych 'środowiskowych' - jeśli mają być na zewnątrz budynków. Ma nadzieję że też masz uprawnienia budowlane by przedstawić projekt kanału telekomunikacyjnego? Bo sam tzw 'drut' to mało gdzieś go trzeba położyć a tu już pojawiają się inne problemy i wymogi prawne (zahaczasz poważnie o 'prawo budowlane').

10Gbit/s jako już praktycznie WAN to raczej nie 'budżetowa' (low-cost) zabawa

Wracając do kanałów telekomunikacyjnych. Polecam studzienki zagrzebane nieco pod ziemią (Ty wiesz gdzie są ale inni nie muszą je widzieć). Odpada problem ze złomiarzami kradnącymi pokrywy. Złodziej nie ukradnie tego cze nie widzi.

[Be3 0]

@STUDI
Nie będę Ciebie cytował, bo oprócz nas, nawet żaden mod nie czyta tego wątku
Niestety nie będę mógł skorzystać z twoich rad przez najbliższy czas, bo ten projekt zapadł w zimowy sen. De facto plan był, że zewnętrzna firma "postawi w szafie 'właściwe szkrzyneczki' i zestawi łącza", stanęło na tym, że przy okazji innych mediów przynajmniej zaprojektowano i wykonano kanał telekomunikacyjny, a co w niego się wsadzi i jak zlinkuje pozostaje na przyszłość.
Pozdrawiam

[STUDI 0]

[quote name='Be3' post='133469' date='28.11.2008, 01:37 ']@STUDI
Nie będę Ciebie cytował, bo oprócz nas, nawet żaden mod nie czyta tego wątku
Niestety nie będę mógł skorzystać z twoich rad przez najbliższy czas, bo ten projekt zapadł w zimowy sen. De facto plan był, że zewnętrzna firma "postawi w szafie 'właściwe szkrzyneczki' i zestawi łącza", stanęło na tym, że przy okazji innych mediów przynajmniej zaprojektowano i wykonano kanał telekomunikacyjny, a co w niego się wsadzi i jak zlinkuje pozostaje na przyszłość.
Pozdrawiam[/quote]


Widzę że ekonomia wzięła górę.... Może warto przemyśleć zapotrzebowanie na pasmo. Warto się przyjrzeć DFS'owi.

A tak z ciekawości po kiego grzyba kilka GB/s dla WAN? TV HD online chcesz rozdawać?
Bazy danych odpadają bowiem od dawien dawna są technologie wielowarstwowe - np. Tuxedo pozwala rozwiązać takie problemy, niektóre motory baz danych juz dość dawno temu oferowały replikację poprzez wolne łącza (Informix jakieś 10 lat temu).

Takie zapotrzebowanie na pasmo to tylko live TVI i HD1080p - nie jeden ale wiele kanałów.

Edytowane 28 Listopada 2008 przez STUDI

[Be3 0]

[quote name='STUDI' post='133515' date='28.11.2008, 12:21 ']Widzę że ekonomia wzięła górę.... Może warto przemyśleć zapotrzebowanie na pasmo. Warto się przyjrzeć DFS'owi.

A tak z ciekawości po kiego grzyba kilka GB/s dla WAN? TV HD online chcesz rozdawać?
Bazy danych odpadają bowiem od dawien dawna są technologie wielowarstwowe - np. Tuxedo pozwala rozwiązać takie problemy, niektóre motory baz danych juz dość dawno temu oferowały replikację poprzez wolne łącza (Informix jakieś 10 lat temu).

Takie zapotrzebowanie na pasmo to tylko live TVI i HD1080p - nie jeden ale wiele kanałów.[/quote]
Ekonomia, ekonomią, ale jak wykoncypowałeś, że to ma być WAN? Przeca piszę, że do 1km? Na razie projekt poczeka co najmniej do wiosny. Zapotrzebowanie na transfer wynika z potrzeb archiwizacji danych i ich bieżącej obróbki w tym video na serwerach oddalonych od siebie co najmniej o kilkaset metrów. Nawet najlepiej zestawione WiFi nie daje rady - za duże zapotrzebowanie jak na taką partyzantkę, tzn. - za dużo urządzeń, brak kanałów i w rezultacie w wyniku zakłóceń beznadziejny transfer.
A tak przy okazji może powrócimy do tematu jak ciąć stream H264, np. w kontenerze ts z dokładnością do ramki I (kluczowej) bez rekompresji???

[Krzysiek1000 8]

Czy da się jakoś odpalić plik nagrany z foxlife z IPBOXa 9000 lub "naprawić" tablicę PMT

Pozdrawiam

Krzysiek

[STUDI 0]

Czy da się jakoś odpalić plik nagrany z foxlife z IPBOXa 9000 lub "naprawić" tablicę PMT

Pozdrawiam

Krzysiek

A próbowałeś to odpalić w DGIndex?

[janek_pl 15]

Może nie do końca w trafię w temat, ale po części jest on związany z tym co chce napisać.

Dość długo szukałem playera, który mógłby odtwarzać materiał z mojego IPboxa bez żadnych kombinacji. Najlepiej przez LAN bezpośrednio z dysku IPBoxa.

No i znalazłem. Postawiłem kompa na XBMC-live i okazało się, że świetnie nadaje się do tego.

Możemy do nagrania dołączyć okładkę i ewentualnie ściągnąć napisy.... i to wszystko za pomocą pilota, nie wstając z wyrka !!!

Pozdrawiam