Autor Thema: Wie viel Ram kann RM verwalten?  (Gelesen 197 mal)

Offline the_ace

  • Schwarmfisch
  • **
  • Beiträge: 56
  • My/Mein Echo Equipment: HDS-9 G3, LSS, 200khz
Wie viel Ram kann RM verwalten?
« am: 03 Dezember 2019, 20:12:23 »
Am Laptop konnte ich so 1700-1800 qkm am Stück verarbeiten, dazu langen 32GB RAM.
Die Workstation mit 112 GB RAM meldet aber bei >2000qkm schon out of Memory.
Hat das einen nachvollziehbaren Grund?
Das Material ist eine exakte Kopie.

Hätte mir mit so viel RAM nun deutlich mehr erhofft.

Offline Luke

  • Administrator
  • *****
  • Beiträge: 8478
  • Luke Rheinwalker
    • My/Mein Tackle Equipment: Speedmaster, Beastmaster, Pezon et Michel, Viento, Twin Power, Stradic und anderes.
  • My/Mein Echo Equipment: HDS-9 Carbon, Elite-12 TI, HOOK2-7 HDI(SS), HDS-7 G3, HDS-7 G2T, Elite-7 Chirp, Motorguide Xi5, Humminbird ASGRHA, Raymarine Dragonfly-5Pro, ReefMaster
Re: Wie viel Ram kann RM verwalten?
« Antwort #1 am: 04 Dezember 2019, 06:45:58 »
Tipps für die zeitsparende Erstellung sehr großer Kartenbereiche für Tiefenkarten mit Reefmaster (möglichst ohne Programmabbruch)

Einstellung/Hardware/Nutzerverhalten
    Ergebnis in RM im Zuge der Kartenerstellung
Arbeiten am PC während der
Interpolation (Kartenerstellung)
Je mehr und intensiver parallel am PC gearbeitet wird, desto langsamer wird RM.

„defined map area“
Das ist der entscheidende Faktor für Speichernutzung und Performance. Die
Kartengröße wird als Schnittpunkt des definierten Bereichs und der geografischen
Ausdehnung der Trackdaten bestimmt. Je größer - desto langsamer und mehr
verwendeter Speicher. Der Anstieg dieses Postens ist nicht linear sondern wächst
exponentiell zur gewählten Fläche.


„major contours“
Die großen Tiefenlinien brauchen Zeit. Je größer die Abstufung, also z. B. statt 1 m 2 oder 5 m
Abstand, desto schneller wird die Karte erzeugt. Auch die Tiefenlinienerstellung über insgesamt
größere Tiefenbereiche dauert aus demselben Grund länger (mehr Tiefenlinien z. B. bei 50 m
Wassertiefe als bei 10 m).

„minor countors“
Analog den großen Tiefenlinien. Möglichst Ausschalten um die Karte schneller zu generieren.

„max. interpolation (m)“
Eine maximale Interpolation wirkt sich normalerweise nicht auf die Geschwindigkeit aus.
Beinhaltet die Karte jedoch viele "Löcher" (Bereiche ohne Daten), dann verlangsamt sich die
Kartenerstellung deutlich, weil Sie am Ende mit vielen mehr Isobaten. Löcher in der fertigen
Karte sollten daher minimiert werden, entweder durch Füllen mit Daten oder aushilfsweise
mit fiktiven Daten.

Anteilige Fläche ohne
Tiefenpunkte/Trackpunkte
Dieser Faktor hat wenig Einfluss, etwa wenn er am Rande der ausgewählten Fläche auftritt.
Entstehen jedoch Löcher, dann gilt die Aussage des vorhergehenden Punktes.

Landfläche/Landgrenzen
Dieser Faktor hat relativ wenig Einfluss auf die Geschwindigkeit der Kartenerstellung.

Tiefenpunktdichte
Auch hier weniger Einfluss auf die Geschwindigkeit mit Ausnahme der o. g. Löcher-Problematik.
Die Triangulation (das ist die mathematische Methode bei der Tiefenkartenerstellung)
erfolgt bei einer höheren Punktedichte generell etwas langsamer.

Arbeitsspeicher des PC
Je mehr desto besser, wie in allen Dingen mit dem PC.
Der Arbeitsspeicher macht mehr aus als die Prozessorleistung.

Prozessorleistung des PC
Bei heutigen Rechnern nicht entscheidend, aber je schneller, desto besser.
RM kann mit Multi-Core-Prozessoren umgehen, was den Kartengenerierungsprozess unterstützt.

RM in der v1 ist bereits recht leistungsfähig.
RM in der kommenden v2 kann relativ große Kartenbereiche bearbeiten.
Tests mit einem 50 m Punkteraster aus Fremddaten ergaben je nach Rechnerleistung etwa 1.550 km² (i5, 8 GB RAM) bis > 2.200 km² (i7, 32 GB RAM).
Da bei der Verwendung von Original-Logs der Navico-Geräte eine größere Punktedichte erzielt werden kann,
wären in diesem Fall je nach Rechnerleistung einigen 10 bis mehrere 100 km² Fläche möglich.


RMv2 wird über eine Anzeige (km²) verfügen, um die zu bearbeitende Fläche abschätzen zu können. Dies kann bei sehr großen Flächen äußerst hilfreich sein,
vor allem, wenn man die Grenze für seinen PC ausloten will.

Weiterer Tipp: Kleinere Kartenbereiche können zu größeren faktisch nahtlos zusammengefügt werden, wobei man den Grenzbereich nur erkennen kann,
wenn man wirklich ganz genau hinschaut und es tatsächlich kleine Makel gibt (sind nach unseren Tests aber eher selten und kaum relevant).
Wie das genau geht, erläutern wir aber erst, wenn RMv2 erschienen ist. In der Summe kann man damit dann die Kartengröße nahezu unbegrenzt
ausdehnen (vorausgesetzt, Daten sind vorhanden - also Nordsee oder Ostsee am Stück wären z. B. kein Thema).
Grüße
Luke

Offline the_ace

  • Schwarmfisch
  • **
  • Beiträge: 56
  • My/Mein Echo Equipment: HDS-9 G3, LSS, 200khz
Re: Wie viel Ram kann RM verwalten?
« Antwort #2 am: 04 Dezember 2019, 08:10:55 »
Gut, das erklärt es.
Aber so hart sollte es nicht skalieren - oder doch ?
Demnach wäre selbst ein Ausbau auf 384GB Ram ziemlich unwirtschaftlich...

Offline Luke

  • Administrator
  • *****
  • Beiträge: 8478
  • Luke Rheinwalker
    • My/Mein Tackle Equipment: Speedmaster, Beastmaster, Pezon et Michel, Viento, Twin Power, Stradic und anderes.
  • My/Mein Echo Equipment: HDS-9 Carbon, Elite-12 TI, HOOK2-7 HDI(SS), HDS-7 G3, HDS-7 G2T, Elite-7 Chirp, Motorguide Xi5, Humminbird ASGRHA, Raymarine Dragonfly-5Pro, ReefMaster
Re: Wie viel Ram kann RM verwalten?
« Antwort #3 am: 04 Dezember 2019, 09:51:54 »
Ja, irgendwann ist auch die CPU am Ende, da nützt es nichts noch mehr im RAM zu haben.

Welche CPU Auslastung hattest du denn?
Grüße
Luke

Offline the_ace

  • Schwarmfisch
  • **
  • Beiträge: 56
  • My/Mein Echo Equipment: HDS-9 G3, LSS, 200khz
Re: Wie viel Ram kann RM verwalten?
« Antwort #4 am: 04 Dezember 2019, 12:03:35 »
Hallo Luke,

Beim Errechnen der Shaded  Reliefs mit "Generate Map" etc. werden alle 24 Kerne zu 100% verwendet.
Beim Absturz (sitze nicht permanent davor) kann unmöglich der gesamte Speicher voll gewesen sein.
Wenige Sekunden vorher war er noch bei rund 42GB im Ram (das war über lange Zeit konstant), 112 GB wären ja verfügbar.
Daher hat mich das "Out of Memory" doch überrascht.



Beim Generieren der AT5 beim Export -  wenn der Ordner Source mit png's und kml's befüllt wird - wird aber immer nur ein Kern von 24 zu 100% ausgelastet.
Habe jetzt schon ganz viele Tests gemacht - mit und ohne Vektorlayer; mit und ohne mbtiles Rasterkarte  im Hintergrund - er nutzt immer nur einen Kern beim Export.
Das kommt mir doch etwas strange vor.





Offline Leopold

  • Jungbrut im Schwarm
  • *
  • Beiträge: 22
  • My/Mein Echo Equipment: HDS-5 G1, Elite-9 TI, Elite-5 Chirp, Eagle Cuda 128, x70 A 3D, DrDepth
Re: Wie viel Ram kann RM verwalten?
« Antwort #5 am: 04 Dezember 2019, 14:42:26 »
Vl kann der IMC nur mit 1 Kern...  :weisnicht1:
alles liebe,
LEO!

Offline the_ace

  • Schwarmfisch
  • **
  • Beiträge: 56
  • My/Mein Echo Equipment: HDS-9 G3, LSS, 200khz
Re: Wie viel Ram kann RM verwalten?
« Antwort #6 am: 04 Dezember 2019, 16:33:04 »
Vl = Vectorlayer?


Offline Leopold

  • Jungbrut im Schwarm
  • *
  • Beiträge: 22
  • My/Mein Echo Equipment: HDS-5 G1, Elite-9 TI, Elite-5 Chirp, Eagle Cuda 128, x70 A 3D, DrDepth
Re: Wie viel Ram kann RM verwalten?
« Antwort #7 am: 04 Dezember 2019, 19:29:55 »
 :lachen2:

Vl...Vielleicht
alles liebe,
LEO!

Offline Luke

  • Administrator
  • *****
  • Beiträge: 8478
  • Luke Rheinwalker
    • My/Mein Tackle Equipment: Speedmaster, Beastmaster, Pezon et Michel, Viento, Twin Power, Stradic und anderes.
  • My/Mein Echo Equipment: HDS-9 Carbon, Elite-12 TI, HOOK2-7 HDI(SS), HDS-7 G3, HDS-7 G2T, Elite-7 Chirp, Motorguide Xi5, Humminbird ASGRHA, Raymarine Dragonfly-5Pro, ReefMaster
Re: Wie viel Ram kann RM verwalten?
« Antwort #8 am: 04 Dezember 2019, 20:57:23 »
Wie bemerkst du den Absturz?
Wenn der innerhalb von RM ist, bekommst du da keine Exception?

Um sicher zu gehen die Frage,
geht es beim Crash um den Vorgang des renderns innerhalb von Reefmaster
oder beim Exportieren über den IMC?

Denn das hier:
.....Beim Generieren der AT5 beim Export -  wenn der Ordner Source mit png's und kml's befüllt wird - wird aber immer nur ein Kern von 24 zu 100% ausgelastet.
Habe jetzt schon ganz viele Tests gemacht - mit und ohne Vektorlayer; mit und ohne mbtiles Rasterkarte  im Hintergrund - er nutzt immer nur einen Kern beim Export.
Das kommt mir doch etwas strange vor.
...bezieht sich ja auf dem IMC.

RM versucht so vie wie möglich an Kernen zu nutzen,
der IMC ist dabei aber eigenständig.

Grüße
Luke

Offline the_ace

  • Schwarmfisch
  • **
  • Beiträge: 56
  • My/Mein Echo Equipment: HDS-9 G3, LSS, 200khz
Re: Wie viel Ram kann RM verwalten?
« Antwort #9 am: 04 Dezember 2019, 21:22:00 »
Da kam ein Fenster mit der Meldung Out of Memory - das ist beim Generieren der Karte passiert - bei ca. 2500qkm an Fläche.
Kurz vorher und auch während des "renderns" war die Auslastung permanent bei ca. 40 GB.



Hab den genauen Moment immer verpasst, aber hane nie länger als 3 Minuten weggesehen.
Da müsste er schon in der Zeit von 40 auf 112GB PLUS Pagefile gepsrungen sein.
Die vollzuschreiben dauert ja schon seine Zeit.
Aktuell ist in der WS fürs OS eine Mechanische HD, weil es dort nicht auf Geschwindigkeit ankommt.

Das mit den Kernen ist nur ein Nebeneffekt und eigentlich ein anderes Thema.
Mehr als einen Kern nutzt RM bei mir in keiner Exportkonfiguration für AT5.
Ram bleibt dabei mit 32-40GB ja sehr moderat genutzt und macht keine Probleme.
Die habe ich nur bei "Generate Maps", aber eben imho viel zu früh.

Aktuell rechnet die Workstation jetzt seit gut 7 Tagen durchgehend an einem rund 40.000qkm grossen Areal im Export.
An den PNGs im Source Ordner sieht man, dass er mit dem "...Urdaten" wasauchimmer zu ca. 25% fertig ist.
Sind die geschrieben, wird das komplette Material durch den IMC geschleust nehme ich an.
Da könne es wieder Theater geben - aber das sehe ich ja dann ;)