Datenbank Forum - für Anfänger und Profis

Willkommen im Datenbank Forum von Datenbanken-verstehen.de - Das Datenbank, Data Warehouse & Business Intelligence Forum!

Das Datenbank Forum für Anfänger und Profis ist eine Community zu den Themen Datenbanken, Data Warehouse & Business Intelligence. Nimm teil an der Community von Datenbanken-verstehen.de und tausch dich mit deinen Fragen und Lösungen mit anderen Nutzern aus.

Als registrierter Benutzer genießt Du viele Vorteile, wie

  • den vollen Zugang zu allen Foren und Unterforen
  • Kostenloses Lernmaterial inkl. Lösungen zum Thema Datenbanken
  • Zugriff auf DB-Tutorials, Best Practices und SQL-Snippets

Bevor Du einen Beitrag verfassen möchtest, kannst Du dich einfach kostenlos registrieren.

oder Einloggen mit



Beachte bitte die Forenregeln von Datenbanken-verstehen.de. Wir wünschen Dir viel Spaß im Datenbank Forum! - Dein Datenbanken-verstehen.de-Team

Datenbank für BigData-Projekt (Youtube-Alternative)

Im Bereich Datenbank Grundlagen werden alle Grundlagen zu Datenbanken besprochen.
Hier fühlen sich Datenbank Anfänger wohl...

Datenbank für BigData-Projekt (Youtube-Alternative)

Beitragvon iMaddination » Di 17. Mär 2015, 11:48

Hallo liebe Community,

bin noch ganz neu hier und hoffe, dass ihr mir vielleicht bei meiner Entscheidung helfen könnt! :)

Es geht wie im Titel schon beschrieben darum, die geeignete Datenbank für ein geplantes Internet-Projekt zu finden, mit dem ich mich gerne selbstsständig machen will. Da eine Datenbank dafür natürlich ein zentrales Element ist und auch die Basis für die weitergehende Entwicklung darstellt, habe ich mich in den letzten Wochen über verschiedene Systeme und Datenbanken schlau gemacht.

Zwar habe ich ein gutes technisches Verständnis (bin selber Mediengestalter und programmiere auch), jedoch habe ich im Bereich Datenbanken und Website-Entwicklung nicht das nötige Know-How und vor allem nicht die Erfahrung, um hier die richtige Entscheidung zu treffen.

Vor allem will ich diese Entscheidung halt auch mit Bedacht treffen! Nicht nur weil ich selber hohe Ansprüche an das Projekt lege sondern auch zukunftsorientiert handeln will. Soweit ich bisher erfahren hab, ist es eben ein nicht gerade unerheblicher Aufwand eine Datenbank, die nicht ordentlich konzipiert wurde umzustellen oder gar in ein anderes System zu übertragen.

So, jetzt aber mal Klar-Text :)

Oberste Priorität bei dieser Entscheidung hat bei mir Performance und Sicherheit!

Im geplanten Projekt werden neben unterschiedlichen (teils sensiblen) Nutzerdaten auch jede Menge andere Daten, wie Video-/Grafikdaten, statistische Daten und auch Kunden- und Auftragsdaten gepeichtert. Es wird (wenn alles gut geht) auf jeden Fall ein BigData-Projekt, welches jedoch Datenschutzkonform realisiert werden soll und mehree Mandanten mit unterschiedlichen Rechten verwaltet.

Neben dem Streamen und Darstellen der Binärdaten wie Videos und Grafiken, sollen in der Frontend-Umgebung auf jeden Fall auch Schnittstellen existieren, die gespeicherte Daten statistisch wiedergeben (z.B. Nutzungsstatistiken). Es wir auf jeden Fall viele Datenbankzugriffe geben, nicht nur Abfrage-, sondern vor allem auch Insert- und Update-Operationen.

Nun gibt es ja den großen Hype um NoSQL, welches (wenn auch meist spezialisiert auf gewisse Anwendungsbereiche) ja einige Vorteile mitbringt. Nachdem ich eine Masterarbeit eines Studenten gelesen habe zum Thema "Entwicklung des Datenbanksegments
einer Videostreaming-Plattform", in der er sich bei der Umsetzung für MongoDB entschieden hatte, bin ich in meiner Planung nun etwas unschlüssig.

Die Vorteile der einfachen horizontalen und vertikalen Skalierbarkeit, der schnellen Datenverarbeitung (teilweise ja auch direkt aus der DBMS heraus in die Anwendung),das flexible Datenschema, welches den sich schnell ändernden Anforderungen an Webprojekte entgegen kommt und es somit ermöglicht neue Datenfelder oder komplett neue Datentypen ohne aufwändige Umstrukturierung der Datenbank hinzuzufügen, waren die entscheidenen Argumente für Ihn ein NoSQL-System wie MongoDB zu verwenden.

Wie seht ihr das?


Liebe Grüße
Maddin
iMaddination
 
Beiträge: 5
Registriert: Di 17. Mär 2015, 10:16

Re: Findung der geeigneten Datenbank

Beitragvon RainerH » Di 17. Mär 2015, 12:53

Hallo Maddin,

willkommen im Forum.
Hast Du denn schon eine gewisse Datenmenge zum Auswerten?, sonst sehe ich da noch keinen Sinn bzw. Mehrwert, den dir die MongoDB geben kann.

Wie willst Du die Daten erheben?

Oberste Priorität bei dieser Entscheidung hat bei mir Performance und Sicherheit!
Im geplanten Projekt werden neben unterschiedlichen (teils sensiblen) Nutzerdaten auch jede Menge andere Daten, wie Video-/Grafikdaten, statistische Daten und auch Kunden- und Auftragsdaten gepeichtert. Es wird (wenn alles gut geht) auf jeden Fall ein BigData-Projekt, welches jedoch Datenschutzkonform realisiert werden soll und mehree Mandanten mit unterschiedlichen Rechten verwaltet.


Für mich hört sich das mehr nach einer Stammdatenverwaltung an :?
Oder irre ich mich jetzt da? Ich sehe den Aspekt Big Data (eher Smart Data heutzutage) noch nicht.

Kannst Du das mal konkretisieren?

VG,
Rainer
Nimm NICHTS persönlich -- alles ist Feedback...
RainerH
 
Beiträge: 221
Registriert: Fr 1. Nov 2013, 17:58

Re: Findung der geeigneten Datenbank

Beitragvon iMaddination » Di 17. Mär 2015, 13:14

Hallo Rainer,

vielen Dank für die Begrüßung und schnelle Beteiligung an der Diskussion :)

Eine konkrete Datenmenge zum Auswerten habe ich nicht, aber man kann davon ausgehen, dass bei mehreren tausend, zehntausend, hundertausend von Nutzern und dazugehörigen Datensätzen, Statistiken und auch mehreren Tausend von Videos natürlich eine vielzahl an Daten zusammenkommt, die es zu verwalten gibt und aus denen natürlich auch die entsprechenden Statistiken gezogen werden müssen.

Es ist auf jeden Fall eine Art Stammdatenverwaltung, wobei einige der Daten natürlich schon dynamisch sind und vor allem kann das Ganze natürlich potentiell exponentielle Nutzungszahlen erreichen. Und darauf will ich vorbereitet sein.

Das Projekt ist vom Schema her mit Youtube zu vergleichen. Es gibt Videos, die Nutzer sich ansehen und bewerten können, zu denen Sie Feedback geben oder gar an Umfragen teilnehmen können. Die einzelnen Aktionen pro Video werden natürlich einmal Nutzerspezifisch gespeichert, sollen aber auch in der Gesamtheit auswertbar sein (z.B. wieviele haben sich das Video angeguckt, wann, wie oft, durchschnittliches Rating etc).

Falls du noch mehr Infso brauchst, lass es mich wissen :)
iMaddination
 
Beiträge: 5
Registriert: Di 17. Mär 2015, 10:16

Re: Datenbank für BigData-Projekt (Youtube-Alternative)

Beitragvon SQLUnion » Di 17. Mär 2015, 17:06

Hallo zusammen,

ich habe dem Thread mal einen sprechenden Namen gegeben,
da die andere Bezeichnung nicht so deutlich war, worum es hier eigentlich geht.

LG,
SQLUnion
SQLUnion
 
Beiträge: 154
Registriert: Fr 1. Nov 2013, 15:54

Re: Datenbank für BigData-Projekt (Youtube-Alternative)

Beitragvon iMaddination » Di 17. Mär 2015, 17:10

Danke SQLUnion!

Der Titel ist dann wohl doch etwas eindeutiger und aussagekräftiger ;)

LG
Maddin
iMaddination
 
Beiträge: 5
Registriert: Di 17. Mär 2015, 10:16

Re: Datenbank für BigData-Projekt (Youtube-Alternative)

Beitragvon Micha » Do 19. Mär 2015, 12:30

Hallo zusammen,

als ich den Titel gelesen habe, dachte ich nur omg :o
Die Idee ist aus meiner Sicht nicht schlecht, aber nicht bis zum Ende durchdacht.

@iMaddination: Willkommen im Forum...

Meine erste Frage wäre, wie viele Manntage hast Du für so ein Projekt eingeplant und welche Ressourcen stehen dir dafür zur Verfügung?, denk dran, hinter Youtube stehen tausende von Mitarbeitern und ich hoffe, dass Du das nicht im Alleingang aufbauen willst? :?
Micha
 
Beiträge: 129
Registriert: So 3. Nov 2013, 12:13

Re: Datenbank für BigData-Projekt (Youtube-Alternative)

Beitragvon iMaddination » Do 19. Mär 2015, 15:40

Hallo Micha,

danke für die Begrüßung und deine Beteiligung an der Diskussion! :)

In die wirkliche Idee dahinter habe ich ja hier nur sehr sehr oberflächlich und kleinen Eindruck gegeben. Das Konzept ist, wenn auch mit Youtube zu vergleichen, jedoch schon ein ganz anderes....jedoch nicht weniger revolutionär ;)

Und natürlich baue und verwalte ich das Ganze nicht allein! Derzeit sind wir zwar nur 4 Leute, aber ab einem gewissen Zeitpunkt muss natürlich noch Personal für die Verwaltung und den Support etc eingestellt werden. Derzeit befinden wir uns in der technischen Konzipierungs- und Entwicklungsphase, weshalb ich mich hier auch an die Community gewendet habe um Empfehlungen/Erfahrungen zu sammeln. Was die letztendliche Entwicklung angeht, wird es wahrscheinlich bis Ende des Jahres dauern, bis die Beta-Phase losgehen kann. Damit die Entwicklung von Scripten und der Datenbank vielleicht etwas zügiger vorangeht, kann sich natürlich jeder der Interesse hat an diesem Mammut-Projekt mitzuwirken gern bei mir melden ;)

Gerade im Bereich PHP, Java, SQL könnten wir noch Verstärkung gebrauchen!

Liebe Grüße
Maddin
iMaddination
 
Beiträge: 5
Registriert: Di 17. Mär 2015, 10:16

Re: Datenbank für BigData-Projekt (Youtube-Alternative)

Beitragvon Micha » Do 19. Mär 2015, 16:40

Hey Maddin,

ok dann habe ich das falsch interpretiert ;)
Hat sich erst so gelesen, dass Du alles alleine machen willst.

An eurer Stelle würde ich ein Wordpress Frontend auf eine getuned MySql-Datenbank aufbauen und erst mal Daten sammeln. Dann könnt ihr schon mal die Daten sammeln und auswerten,

WEIL!,

das Problem, was ich sehe ist, dass ihr enorm viel Arbeit reinsteckt und eurer Projekt von der Internetgemeinde nicht angenommen wird.
Dann habt ihr eine Riesenarchitektur, die kein Mensch nutzt.

Auf Oracle (da komme ich her ;) ) würde ich nicht setzen, da dass eher ungeeignet ist.

Das fällt mir jetzt erst mal so ein zu deinem Thema ein...
Micha
 
Beiträge: 129
Registriert: So 3. Nov 2013, 12:13

Re: Datenbank für BigData-Projekt (Youtube-Alternative)

Beitragvon iMaddination » Do 19. Mär 2015, 17:03

Hey Micha,

alleine ist so ein Projekt wohl nicht zu stemmen, vor allem wenn man hauptberuflich noch aktiv ist :D

Dein Wordpress-Vorschlag ist gut gemeint und weiß ich auch zu schätzen, aber ich bin was das angeht nicht so der Baukasten-Prinzip-Liebhaber. Auch wenn es einige Vorteile im Bereich SEO mitbringen würde und vielleicht ein bischen schneller geht, so haben wir im Bereich SEO und Website-Gestaltung schon ausreichend Kompetenz, um eine Internetseite optisch und funktionell zusammenzubauen.

Es gibt ja auch schon eine Internetseite, die vom informativen Bereich fertig ist....es fehlt halt jetzt das eigentliche Kern-System dahinter. Und wenn das einmal steht, denke ich werden wir kein Problem damit haben, die Internetgemeinde dafür zu begeistern. ;)

Nach meinen jetzigen Recherchen und Infos, die ich erhalten habe, tendiere ich derzeit dazu das ganze mit SQL, speziell MariaDB umzusetzen, auch weil das System was skalierbarkeit angeht, sehr gut geeignet ist und sich gut zu entwickeln scheint. Wie sehr ihr das?
iMaddination
 
Beiträge: 5
Registriert: Di 17. Mär 2015, 10:16

Re: Datenbank für BigData-Projekt (Youtube-Alternative)

Beitragvon RainerH » So 22. Mär 2015, 09:36

Hey Maddin,

was wäre noch mit CouchDB?

Aber was mir bei MariaDb wirklich gefällt, sind die Performance Dashboards.
Wenn eure Maschine läuft, kannst Du ja mal ein Eindrücke hier mit uns teilen, da mir eure Dimensionen noch nicht ganz klar sind.

Also interessant wäre Zugriffe pro Minute, I/O Daten und wie euer MOdell aussieht...

Gruß,
Rainer
Nimm NICHTS persönlich -- alles ist Feedback...
RainerH
 
Beiträge: 221
Registriert: Fr 1. Nov 2013, 17:58


Zurück zu Datenbank Grundlagen

 


  • Related topics
    Antworten
    Zugriffe
    Letzter Beitrag

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 1 Gast

cron
  • Jetzt Fan werden
  • Newsletter abonnieren? Hier anmelden!

    Alle Informationen aus dem Portal, Blog und Forum in einem Newsletter!

    E-Mail-Adresse: