Istniejący bazowy czas importu, czas archiwizacji / początkowa metoda archiwizacji

Witam

 

Jestem w  trakcie próby zarchiwizowania 80 GB istniejących plików solidworks.

Pracuję bezpośrednio zdalnie na serwerze archiwum (serwer zwirtualizowany, raczej bardzo wysokiej klasy).

Oto szacunkowe czasy, które otrzymuję:

- kopiowanie plików SW z sieci do lokalnego widoku repozytorium: około 10 godzin dla 80GB lub 2MB/s (nie jest to porównywane z czasem kopiowania z sieci na dysk, ponieważ EPDM wykonuje więcej operacji niż zwykła kopia: tworzenie pliku w repozytorium oprócz pliku w widoku lokalnym, tworzenie wpisów w bazie danych SQL ..)

- pierwsza archiwizacja plików: około 40 zarchiwizowanych plików części na minutę (istnieje przepływ pracy do automatycznego wypełniania indeksu pliku w EPDM, dzięki czemu niektóre pliki trafiają do wersji 5 na koniec archiwizacji)

Czy uważasz, że te czasy kopiowania i archiwizowania są normalne?

 

Pierwsza archiwizacja jest również bardzo żmudna, oprogramowanie i sprzedawcy zalecają najpierw zaimportowanie SLDPRT, następnie SLDASM, a następnie SLDDRW. W tym celu albo użyłem wysyłki (zobacz moje pytanie na ten temat), ale zatrzymuje się ona na każdym błędzie/ostrzeżeniu (nie znaleziono pliku, duplikat ....), więc nie jest to praktyczne. Próbowałem również użyć wyszukiwania do filtrowania i archiwizowania określonego typu plików, ale mając zbyt dużą bazę danych, nie jest to możliwe na całej bazie danych, a robienie tego katalog po katalogu (mam 1000 planów na katalog) jest bardzo długie i bolesne. Jeśli będę zmuszony skorzystać z tej drugiej metody, archiwizacja niezbędna zanim będę mógł skorzystać z EPDM potrwa kilka dni, podczas których wystawię moich kolegów na bezrobocie techniczne...

Czy istnieje prosta i szybka metoda na wykonanie tej pierwszej archiwizacji (jeśli uda mi się również uzyskać listę błędów/ostrzeżeń w pliku w tym samym czasie, byłoby to marzenie).

Dziękujemy za Twoją opinię

 

Podczas naszej pracy w EPDM my (@Benoit.LF i ja) mieliśmy wiele danych do przetworzenia , tak jak Ty.

Wcześniej przeprowadziliśmy spore "czyszczenie" danych za pomocą narzędzia INTEGRATION, aby uniknąć błędów podczas archiwizacji EPDM.

Najpierw zaimportowaliśmy SLDPRT+SLDDRW, a następnie SLDASM.

Importy do EPDM odbywały się wieczorem i w nocy oraz w weekendy (w paczkach po 1000 referencji), po zaimportowaniu do EPDM te referencje bez EPDM były blokowane w trybie tylko do odczytu (więc nasi koledzy nie mogli dokonać najmniejszej modyfikacji na tych częściach).

Z domu za pośrednictwem TeamViewer przejęliśmy kontrolę nad wszystkimi lub prawie wszystkimi stacjami roboczymi naszych kolegów, aby zaoszczędzić jak najwięcej czasu.

Po zaimportowaniu i zarchiwizowaniu, za pośrednictwem importowego WF (w celu dopasowania w szczególności właściwości indeksu do indeksu EPDM) części i rysunki OCZEKIWAŁY NA WALIDACJĘ, a z czasem po szybkiej kontroli wizualnej pliki przeszły do stanu PRAWIDŁOWEGO.

Jeśli chodzi o czas, to nie pamiętam, ale z pamięci był dość długi.

1 polubienie

@Flegendre

Dziękujemy za Twoją opinię.

Zastanawiałem się, jak uniknąć zablokowania BE podczas przełączania EPDM. Wasze rozwiązanie polegające na ustawieniu plików importowanych do EPDM jako tylko do odczytu na starym serwerze pozwala odpowiedzieć na ten problem, chociaż implikuje to silnie zdegradowane działanie BE, o ile nie zostanie wykonane całkowite przełączenie awaryjne.

Obecnie pracuję bezpośrednio na serwerze archiwum. Z Twojej wiadomości wynika, że przeszedłeś przez kilka lokalnych stacji, aby dokonać wstępnej archiwizacji plików. Myślisz, że Twoja metoda była szybsza niż praca na samym serwerze? Może fakt równoległej pracy z 2 osobami (czekanie od 1 do 2 minut na odpowiedź prawego przycisku myszy na wybranych od 500 do 1000 plików to długi czas)?

Rzeczywiście, przeszliśmy przez stacje robocze, a nie bezpośrednio przez serwer.

Teoretycznie bezpośrednio z serwera powinno być szybciej. Nie przeprowadziliśmy testu między tymi 2 metodami, więc w tym punkcie nie mogę ci odpowiedzieć.

Najlepiej byłoby wydać wszystko w jeden lub dwa weekendy, aby mieć jak najmniej kłopotów...

Wróć do czasu importu bazy danych:

Na bazie danych o pojemności 42 GB danych (46096 plików, 4503 folderów) zaimportowanie plików zajęło mi 2 i pół dnia (kopiowanie/wklejanie w magazynie: około 3 do 4 godzin), a następnie wykonanie pierwszego zaewidencjonowania w katalogu przeznaczonym do importu (około 2 dni z zaewidencjonowaniem  sldprt, następnie sldasm, a następnie slddrw, Następnie wszystkie inne pliki leżące w katalogach (Office, PDF, IGS ...)).

Aby dokonać odprawy, skorzystaj z wyszukiwarki EPDM, a nie z wyszukiwania w eksploratorze (znacznie wolniej i bardziej się zawiesza). Moje czasy są dość długie, ponieważ importuję prawie wszystkie moje właściwości związane z konfiguracjami i ponieważ mam dość skomplikowany początkowy przepływ pracy (automatycznie pobiera wersję plików zgodnie z wartością właściwości " revision ")

Za pomocą narzędzia wyszukiwania wykonuj zbiorcze ewidencjonowanie od 2000 do 5000 plików (istnieje prawdopodobieństwo, że zameldowanie się następuje od czasu do czasu, a ponieważ czas wyszukiwania referencyjnego jest dość długi, lepiej nie brać zbyt wielu plików na raz). Istnieje możliwość przeprowadzenia kilku wyszukiwań i kilku odpraw równolegle na tej samej maszynie. Z drugiej strony, wyszukiwania muszą być niezależne, aby uniknąć zawieszenia partii zaewidencjonowań, ponieważ EPDM próbuje dokonać zaewidencjonowania pliku, który jest już w sejfie: na częściach i plikach MEP działa dobrze, wykonując wyszukiwania takie jak "S*.sldprt", W przypadku zespołów jest to bardziej ryzykowne, ponieważ podzespół może mieć nazwę, która nie ma nic wspólnego z początkowym złożeniem

Wszystkie operacje importowania i ewidencjonowania należy wykonywać bezpośrednio na serwerze archiwum.

Będąc w środowisku zwirtualizowanym, tymczasowo wzmocniłem serwery EPDM: przełączając się na 4 dedykowane rdzenie dla serwera SQL (niekoniecznie bardzo przydatne w końcu, ponieważ miałem wskaźnik wykorzystania procesora na poziomie około 20%, 2 rdzenie z pewnością by wystarczyły).

Po zakończeniu importu i początkowego zaewidencjonowania w dedykowanym katalogu należy umieścić katalogi z powrotem na swoim miejscu. Należy to zrobić TYLKO na komputerze z pustą lokalną pamięcią podręczną. Jeśli zrobisz to na serwerze zawierającym wszystkie pliki w swoim widoku lokalnym, to jest on strasznie długi (musisz przenieść GB danych, a EPDM może zaktualizować dane podczas przesyłania, aby linki były OK podczas otwierania plików). Jeśli widok lokalny jest pusty, na stacji roboczej nic się nie dzieje i tylko serwer SQL pracuje nad zmianą informacji o lokalizacji pliku (przenoszona jest tylko jedna transakcja na plik).

 Uwaga: mój amerykański sprzedawca Trimech (który kupił Moderntools) ma teraz narzędzie do analizy katalogów oprogramowania przed importem. To narzędzie skanuje katalogi oprogramowania i generuje bazę danych zawierającą wszystkie powiązania między plikami, właściwości zawarte w plikach.... (nadal było to kilkaset MB). Z tego miejsca można poprawić wszystkie pliki oprogramowania zawierające nieprawidłowe referencje, nieprawidłowo wypełnione właściwości (wprowadzone w pliku zamiast w konfiguracjach na przykład...) za pomocą wielu innych narzędzi. Nie byłem w stanie zobaczyć tych narzędzi w działaniu, więc nie wiem, jak łatwe są w użyciu i jak bardzo są ergonomiczne. Mój dealer nie chciał mi nic pokazać, jeśli nie pójdziemy w tym kierunku, ponieważ wszystko było już zrobione dla "tradycyjnego" importu, nie chciałem rozpoczynać tej przygody. Z drugiej strony tego rodzaju narzędzie może być przydatne dla firmy, która absolutnie chce, aby 100% danych wprowadzanych do EPDM było zgodnych (tak nie jest w naszym przypadku, ponieważ mamy bardzo mało ponownego wykorzystania : wprowadziliśmy zatem dane EPDM, które są dalekie od czystości, ale które wyczyścimy tylko zgodnie z rzeczywistą potrzebą).

Nie wiem, czy Axemble ma podobne narzędzia.

 

Mam nadzieję, że ten temat przyda się przyszłym odważnym administratorom EPDM przy pierwszym imporcie.