Wie viel Ram kann RM verwalten?

[the_ace]

Am Laptop konnte ich so 1700-1800 qkm am Stück verarbeiten, dazu langen 32GB RAM.
Die Workstation mit 112 GB RAM meldet aber bei >2000qkm schon out of Memory.
Hat das einen nachvollziehbaren Grund?
Das Material ist eine exakte Kopie.

Hätte mir mit so viel RAM nun deutlich mehr erhofft.

[Luke]

Tipps für die zeitsparende Erstellung sehr großer Kartenbereiche für Tiefenkarten mit Reefmaster (möglichst ohne Programmabbruch)

Einstellung/Hardware/Nutzerverhalten		Ergebnis in RM im Zuge der Kartenerstellung
Arbeiten am PC während der Interpolation (Kartenerstellung)		Je mehr und intensiver parallel am PC gearbeitet wird, desto langsamer wird RM.
„defined map area“		Das ist der entscheidende Faktor für Speichernutzung und Performance. Die Kartengröße wird als Schnittpunkt des definierten Bereichs und der geografischen Ausdehnung der Trackdaten bestimmt. Je größer - desto langsamer und mehr verwendeter Speicher. Der Anstieg dieses Postens ist nicht linear sondern wächst exponentiell zur gewählten Fläche.
„major contours“		Die großen Tiefenlinien brauchen Zeit. Je größer die Abstufung, also z. B. statt 1 m 2 oder 5 m Abstand, desto schneller wird die Karte erzeugt. Auch die Tiefenlinienerstellung über insgesamt größere Tiefenbereiche dauert aus demselben Grund länger (mehr Tiefenlinien z. B. bei 50 m Wassertiefe als bei 10 m).
„minor countors“		Analog den großen Tiefenlinien. Möglichst Ausschalten um die Karte schneller zu generieren.
„max. interpolation (m)“		Eine maximale Interpolation wirkt sich normalerweise nicht auf die Geschwindigkeit aus. Beinhaltet die Karte jedoch viele "Löcher" (Bereiche ohne Daten), dann verlangsamt sich die Kartenerstellung deutlich, weil Sie am Ende mit vielen mehr Isobaten. Löcher in der fertigen Karte sollten daher minimiert werden, entweder durch Füllen mit Daten oder aushilfsweise mit fiktiven Daten.
Anteilige Fläche ohne Tiefenpunkte/Trackpunkte		Dieser Faktor hat wenig Einfluss, etwa wenn er am Rande der ausgewählten Fläche auftritt. Entstehen jedoch Löcher, dann gilt die Aussage des vorhergehenden Punktes.
Landfläche/Landgrenzen		Dieser Faktor hat relativ wenig Einfluss auf die Geschwindigkeit der Kartenerstellung.
Tiefenpunktdichte		Auch hier weniger Einfluss auf die Geschwindigkeit mit Ausnahme der o. g. Löcher-Problematik. Die Triangulation (das ist die mathematische Methode bei der Tiefenkartenerstellung) erfolgt bei einer höheren Punktedichte generell etwas langsamer.
Arbeitsspeicher des PC		Je mehr desto besser, wie in allen Dingen mit dem PC. Der Arbeitsspeicher macht mehr aus als die Prozessorleistung.
Prozessorleistung des PC		Bei heutigen Rechnern nicht entscheidend, aber je schneller, desto besser. RM kann mit Multi-Core-Prozessoren umgehen, was den Kartengenerierungsprozess unterstützt.

RM in der v1 ist bereits recht leistungsfähig.
RM in der kommenden v2 kann relativ große Kartenbereiche bearbeiten.
Tests mit einem 50 m Punkteraster aus Fremddaten ergaben je nach Rechnerleistung etwa 1.550 km² (i5, 8 GB RAM) bis > 2.200 km² (i7, 32 GB RAM).
Da bei der Verwendung von Original-Logs der Navico-Geräte eine größere Punktedichte erzielt werden kann,
wären in diesem Fall je nach Rechnerleistung einigen 10 bis mehrere 100 km² Fläche möglich.

RMv2 wird über eine Anzeige (km²) verfügen, um die zu bearbeitende Fläche abschätzen zu können. Dies kann bei sehr großen Flächen äußerst hilfreich sein,
vor allem, wenn man die Grenze für seinen PC ausloten will.

Weiterer Tipp: Kleinere Kartenbereiche können zu größeren faktisch nahtlos zusammengefügt werden, wobei man den Grenzbereich nur erkennen kann,
wenn man wirklich ganz genau hinschaut und es tatsächlich kleine Makel gibt (sind nach unseren Tests aber eher selten und kaum relevant).
Wie das genau geht, erläutern wir aber erst, wenn RMv2 erschienen ist. In der Summe kann man damit dann die Kartengröße nahezu unbegrenzt
ausdehnen (vorausgesetzt, Daten sind vorhanden - also Nordsee oder Ostsee am Stück wären z. B. kein Thema).

[the_ace]

Gut, das erklärt es.
Aber so hart sollte es nicht skalieren - oder doch ?
Demnach wäre selbst ein Ausbau auf 384GB Ram ziemlich unwirtschaftlich...

[Luke]

Ja, irgendwann ist auch die CPU am Ende, da nützt es nichts noch mehr im RAM zu haben.

Welche CPU Auslastung hattest du denn?

[the_ace]

Hallo Luke,

Beim Errechnen der Shaded  Reliefs mit "Generate Map" etc. werden alle 24 Kerne zu 100% verwendet.
Beim Absturz (sitze nicht permanent davor) kann unmöglich der gesamte Speicher voll gewesen sein.
Wenige Sekunden vorher war er noch bei rund 42GB im Ram (das war über lange Zeit konstant), 112 GB wären ja verfügbar.
Daher hat mich das "Out of Memory" doch überrascht.



Beim Generieren der AT5 beim Export -  wenn der Ordner Source mit png's und kml's befüllt wird - wird aber immer nur ein Kern von 24 zu 100% ausgelastet.
Habe jetzt schon ganz viele Tests gemacht - mit und ohne Vektorlayer; mit und ohne mbtiles Rasterkarte  im Hintergrund - er nutzt immer nur einen Kern beim Export.
Das kommt mir doch etwas strange vor.

[Leopold]

Vl kann der IMC nur mit 1 Kern... 

[the_ace]

Vl = Vectorlayer?

[Leopold]

 

Vl...Vielleicht

[Luke]

Wie bemerkst du den Absturz?
Wenn der innerhalb von RM ist, bekommst du da keine Exception?

Um sicher zu gehen die Frage,
geht es beim Crash um den Vorgang des renderns innerhalb von Reefmaster
oder beim Exportieren über den IMC?

Denn das hier:

.....Beim Generieren der AT5 beim Export -  wenn der Ordner Source mit png's und kml's befüllt wird - wird aber immer nur ein Kern von 24 zu 100% ausgelastet.
Habe jetzt schon ganz viele Tests gemacht - mit und ohne Vektorlayer; mit und ohne mbtiles Rasterkarte  im Hintergrund - er nutzt immer nur einen Kern beim Export.
Das kommt mir doch etwas strange vor.

...bezieht sich ja auf dem IMC.

RM versucht so vie wie möglich an Kernen zu nutzen,
der IMC ist dabei aber eigenständig.

[the_ace]

Da kam ein Fenster mit der Meldung Out of Memory - das ist beim Generieren der Karte passiert - bei ca. 2500qkm an Fläche.
Kurz vorher und auch während des "renderns" war die Auslastung permanent bei ca. 40 GB.



Hab den genauen Moment immer verpasst, aber hane nie länger als 3 Minuten weggesehen.
Da müsste er schon in der Zeit von 40 auf 112GB PLUS Pagefile gepsrungen sein.
Die vollzuschreiben dauert ja schon seine Zeit.
Aktuell ist in der WS fürs OS eine Mechanische HD, weil es dort nicht auf Geschwindigkeit ankommt.

Das mit den Kernen ist nur ein Nebeneffekt und eigentlich ein anderes Thema.
Mehr als einen Kern nutzt RM bei mir in keiner Exportkonfiguration für AT5.
Ram bleibt dabei mit 32-40GB ja sehr moderat genutzt und macht keine Probleme.
Die habe ich nur bei "Generate Maps", aber eben imho viel zu früh.

Aktuell rechnet die Workstation jetzt seit gut 7 Tagen durchgehend an einem rund 40.000qkm grossen Areal im Export.
An den PNGs im Source Ordner sieht man, dass er mit dem "...Urdaten" wasauchimmer zu ca. 25% fertig ist.
Sind die geschrieben, wird das komplette Material durch den IMC geschleust nehme ich an.
Da könne es wieder Theater geben - aber das sehe ich ja dann