Hosting kapasitet

27 maj 2021 Skrevet af 
i Blogs
  • Skriftstørrelse
Bedøm denne artikel
(0 bedømmelser)

En del website/portaler ligger ofte på et webhotel - med cms som inkludere database ofte mysql også ofte en Apache webserver plus mail.

Ofte har man sit aktuelle domainnavn hos den leverandør og (mail kapasitet evt. imap/pop3) og ftp adgang men en god video playout via hls og rtmp er ikke protokoller som de klare.

Mine domainnavne hos gratisdns.dk også har jeg et klassisk almindeligt webhotel men jeg kan også hoste dele af mit website hjemme via en 500/500mbit forbindelse.
Min internet forbindelse kan godt opgradere til 1000mbit men tja jeg har klaret mig fint med den aktuelle hastighed men behov kan jo ændre sig.

Der er mange som benytter Youtube og facebook til video og podcast live playout - det fint nok til nogle behov men brugerne som kigger med påtvinges reklamer og evt. medlemskab på de sociale platforme og ens portal kommer til at fremstå eller blive mindre selvstændig og underlagt platforms bestemte krav samt man påtvinger også sine brugere/viewers disse betingelser.

Min forslag: lav selv en selvstændig platform/server og arkiv online som et (selvstændigt) medie - så man selv og andre ikke er underlagt de sociale medier.
Den kan evt. være en supplerende platform og løsning hvis man allerede har en portal/website kørende.

 

Man kunne godt flytte hele sit website cms til en bedre hosting løsning med rtmp stream osv. hvor man så frit bare kan tilføje rtmp og det kan give nogle fordele at videofiler også bare ligger på den server som den skal henvise til video eller audio filer som ligger lokalt på det aktuelle site men det kan måske medføre ekstra omkostninger at ha en stor online disk kapasitet til flere års video og audio filer - understøtter ens webhotel eks. webdav kunne man også lave HLS playout derpå men det er heller ikke det er muligt på alle webhoteller og der er naturligvis trick som kunne tages i brug som alternativ til den rigtige løsning men det stadig en fordel med en platform og server som bare understøtter streaming bedre samt korrekt.
 

Tilføj en Revers proxy med rtmp eller srt mulighed
En revers proxy kan som nginx med rtmp kan fungere som et website fronted som kan afspille video men den kan hente disse via en extern server og et website med cms kan henvise til video via en proxy server.
Man kan også bare henvise til den ekstra server som extern link som ikke berøre ens aktuelle webhotel/cms sådan "externsubdomain.ditdomainnavn.dk" så berøre det ikke det aktuelle system.

Man kunne også vælge en CDN (Content Distributed Network) løsning som Cloadflare eller andre som også er et proxy system der kan beskytte et kørende website som gemt bagved proxy serveren dog skal trafik sendes videre til maskinen bagved men der ikke en direkte forbindelse til serveren bagved - så kan der også være mere eller mindre cache løsninger som aflaster "mini vps" serveren bagved proxy serveren men altså det er jo opgraderings muligheder som er betinget af en succes og behov.  Eksempelvis er fordeles trafik på flere maskiner og hvis der er "DDOS angreb" så er ens kørende webservice aflastet fordi de angriber kun frontend proxy serveren som sender forespørgelser til backend serveren.



 

Startende fra måske 5-10$ pr måned kan man få en VPS (virtual private server)  og på den kan vi installere NGINX eller HAproxy som kan meget mere end den simple opgave som beskrives her fordi man kan ha flere NFS/WEB arktiver og fordele belastning til flere af dem og de kan være ens med indhold så hvis en maskine er nede benyttes en anden.
Man kan også lave sin egen VPN tjenste og der er masser af muligheder med selv en ganske lille VPS løsning - fordi den måske blot er en proxy/front server som kan snakke med udvalgte maskiner som andre ikke direkte kommunikere med - eksempelvis et remote webcam eller en lille filserver.

Der er flere VPS udbydere som linode og digitalocean osv.

Maskiner som er kun er video/audio arkiv online behøver ikke være vilde voldsomme maskiner - de kan i være noget så småt som en raspberry pi4 som står hjemme og man kan automatisere evt. mirror backup op af dem hvis man gerne vil sikre sig med flere backups og hvis en offentligt server ude på internettet som så er front serverenend serveren, så kan man ha en kæmpe harddisk på vores raspberry pi4 backend som giver os ALT den hardisk plads som vi måske ikke lige har på vores 5$  VPS maskine som evt. blot er aktive cache/playout.
 

Det lille evt. hjemme backend server - kan så ha en dejlig pænt stor harddisk med masser af plads som vores offentlige "frontend" server henter sine filer hos - bagved facaden.

Eks. en computer som koster måske 1000 kr med 8gb ram (mindre kan gøre det - 2-4gb ram) også en USB3 tilsluttet SSD harddisk med 1 TB så har man en ubegrænset server.

Lad os sige vi måske vælger den billige evt. hosting hos linode til 5$ så det cirka 384 kr om året for den aller mindste løsning med 1GB ram og hvis vi tiføjer computeren
til cirka 1000 med strømforsyning - plus en evt. 1TB ssd hardisk via USB3 så er det lydløst men en mekanisk harddisk kan fås til 340 kr med tilsvarende kapasitet
men måske man gerne ville udgå det mekaniske pga. larm og slid - hvor ssd har sine fordele også i hurtighed.

Linode VPS serveren har 25GB plads i den midste version og måske man må opgradere den pga. trafik også... 
 

RAM CPU Storage Transfer Network In Network Out Price
1 GB 1 Core 25 GB SSD 1 TB 40 Gbps 1000 Mbps $5 / mo($.0075 / hr)
2 GB 1 Core 50 GB SSD 2 TB 40 Gbps 2000 Mbps $10 / mo($.015 / hr)
4 GB 2 Cores 80 GB SSD 4 TB 40 Gbps 4000 Mbps $20 / mo($.03 / hr)
8 GB 4 Cores 160 GB SSD 5 TB 40 Gbps 5000 Mbps $40 / mo($.06 / hr)

 

Se flere priser på https://www.linode.com/pricing/ og altertive leverandøre findes også.


Nginx Proxy Manager/HA proxy serveren på VPS frontend skal så håndtere så HLS playout plus rtmp modtagelse men det kunne også være den lokale mini nfs/web server som modtog rtmp livestreams og sendte det videre til den offentligere server video.undergroundnews.dk man har sådan set begge muligheder men nu er det ikke bare livestream publisering som er emnet for denne artikel - det er også obevaring af vores audio/video med sin egen playout/visning uden at påtvinge brugerne youtube/facebook platformen.

Det som er en fordel er at man har sin helt EGEN platform for publisering af video og audio plus at man har en næsten ubegrænset kapasitet til flere års udsendelser med audio eller video, billeder og dette er via tilknyttede mini server lokalt og man kan også let ha flere ekstra offentlige servere - geografisk placeret i verden.

Det ikke fordi man kan da godt benytte youtube, soundcloud og vimeo etc. men deres service er jo gratis fordi de lever af det man publisere og de sætter deres reklamer på og tracker dine gæster osv og de sætter også regler for hvad du kan livestreame og hvornår - eksempelvis kan deres algoritmer begræse fremvising hvis den opdager noget musik som kan være optaget i forvejen så træder deres algoritmer bare i kræft og begrænser synligheden af en livestream.

Det kan også være man bare gerne vil give bruger/medlemmer adgang til en film og andet som ikke skal være afhænig af et sociale medie.


Ekstra og mere disk kapasitet på en VPS/proxy med kun 25gb eller 50gb disk - kan kobles på en "hjemme hosted" mini computer med en stor harddisk.

I dag har flere mennesker adgang til gode internet forbindelser som også er rimeligt stabile - så måske du kender en ven som gerne havde sådan en mini server stående og ja man kan godt lave flere af disse som kan virke sammen via proxy eller hvor man fordeler load eller lager på flere små maskiner nu holder vi os til en VPS og en backend lager løsning.

Det er også sådan at man måske udnytter de sociale medier for sin egen synlighed men vi har også restream fordelen via VPS computeren og vi har vores eget video/audio arkiv.

Den lille computer bruger lidt strøm og man skal naturligvis lave noget som kan opdatere arkivet af video/audio filer som den skal være vært for men processen kan automatiseres på flere måder eks. den måske henter filer fra hoved serveren og fjerner dem senere når de ligger lokalt - frontend nginx serveren kigger måske først lokalt efter "detteerenvideo.mp4" og hvis den mangler kigger den så på den externe server evt. flere af dem fordi det kan være en gammel fil fra "lageret" også henter den filen men det kan også være filen aldrig ligget på serveren men den vil så lige kigge og opdage ok den er ikke her men så snupper vi den via en anden forbindelse som er defineret.

En evt. allerede kørende wordpress, joomla server med cms vil bare henvise til filen - men mange webhoteller har ikke ubegrænset disk kapasitet og i teorien kunne vi også bare hente den direkte på den mini server hvor der skal åbnes porte osv. men ud fra sikkerheds perspektiv men også andre årsager kan der være en ide at have en VPS server som kan opgraderers og som bare hostede både mysql og evt. cms system plus ftp fordi prisen på/fra 5$ er måske eller man kan skrue op for kapasitet.     Ofte er det webdesigner som laver et design på et webhotel og mange behov er så bare dækket men ikke evt. streamning opsætning og det mere avanceret - eksempelvis skal man også selv sørge for backup på en VPS (lav budget) men igen så kan man netop lade ens lille mini computer køre automatisk backup af mysql database og andet - data kan sendes og replikeres til mere end et sted, nogle vælger at placere deres host/computer i et rackskab hos en teleudbyder hvis de er mere hardcore og jeg har bygget webhotel servere som fysisk var placeret i et vildt server rum men jeg har også med succes håndteret drift af flere linux servere som var placeret hos hosting firma i USA med international service og det virkede bare 24/7.

Mailserver - tja, man kan vælge at beholde sin aktuelle mail server og kalde den mail.domainavn.dk og lade mx henvise dertil man kan også beholde sin aktuelle kørende webserver/webhotel men måske lave en video.domainnavn.dk som benytter den aktuelle VPS server med nginx/haproxy installeret også skal dns naturligvis henvise til denne eller evt. cdn netværk.

Eksempel undergroundnews.dk og www.undergroundnews.dk ligger på et typisk webhotel  men man har ikke plads til video og serveren køre ikke video optimalt dvs. den klare ikke rtmp og den er heller ikke helt optimal til HLS streamning selvom den kan sende det og derfor laver vi evt. en video.undergrondnews.dk og en stream.undergroundnews.dk på vores VPS server med nginx revers proxy.

Nu kunne vi så godt smide video og audio på den server via scp eller ftp upload foruden den kan modtage LIVE livestream via srt/rtmp men på et tidspunkt har vi ikke plads nok på den server også skal vi jo opgradere diskplads også kan vi gøre dette eller vi kan udvide vores kapasitet med NFS (network file system)  eller kan sendes vores request videre til den lille server med den kæmpe harddisk via http - https certifikat er på vores VPS men vi har altså mere end een måde som vores VPS kan fremvise/afspille video eller audio.

Vi kan tilmed sige den skal kigge på udvalgt servere efter filen og hvis der ikke er succes prøver den at finde filen via anden lager/placering.

Jeg skal blot åbne et par porte i min router/firewal som giver adgang til evt. proxy eller externe brugere og evt. statisk ip er ikke nødvendig for min mini server hjemme kan bare kontakte VPS server og sige hvilken ip adresse som vi befinder os på eller man kan benytte en dynamisk dns opdatering.

Nu skal det hele gerne kunne vokse efter behov - så vi har masser kapasitet og kunne klare voldsomt mange brugere - så kan man skrue op for VPS server og opgradere den med mere ram og betale lidt mere end de 5$ hvis behovet er større eller vi kan vælge at placere den via en CDN løsning som cloudflare - hvis vi får mange "angreb" så kunne det være en løsning kombineret med det man allerede har kørende.

VPS serveren kunne godt hoste cms med mysql, mail osv. men min erfaring med eksempelvis mail server drift er at "anti" spam osv. er omfattede at holde opdateret selv og man gerne vil ha det via en tjenste som kan fjerne spam og man kan naturligvis aflaste kapasitet hvis man sender mail videre til bruger på gmail osv.  men det er også kritisk at man har backup af sine data og nogle udbydere af VPS tilbyder også backup men ofte er det at man har fuld kontrol praktisk men der kan være del hvor man gerne vil outsource driften til andre.

Jeg kunne godt installere et system som gør serveren til en fuld - internet webhotel løsning hvor man kan ha flere kunder med selvbetjening og browser mail etc. men nu handler det jo mere om netop det som webhotel udbyderen ikke tilbyder i deres system og den lille webserver til 5$ skal man jo heller ikke forvente kan hoste en masse brugere og webhoteller det giver trods alt også ekstra trafik og load så selvom man kunne sætte trafik grænser op og kvote op evt. tilknyttet "kunder" så de kunne medvirke til at dække udgifter til serveren som evt. sponsor kunde men det skal ligesom give mening men man kunne jo godt forstille sig at der var andre end lige undergroundnews. som kunne drage fordel af løsningen.


Man kan vælge at sige via sin MX og DNS opsætning at mail forsat sendes som man gør idag og website/cms er uændret men vi laver video.undergroundnews.dk på VPS og benytter evt. Lets Encrypt til SSL så der er https adgang og vores video/audio livestream håndteres af VPS Proxy serveren - den kan streame og restream men det kan vores NFS/web server også.

På nuværende så klares restream af en mindre raspberry pi4 med 4GB ram - det fint nok til at modtage et par indgående stream fra gaden og sende nogle streams ud men modtagelse af rtmp eller srt streams kan flyttes til at den håndteres af VPS serveren og så den eneste opgave den lille computer skal klare er måske at være arkiv/backup lager fordi vi har ikke en ubegrænset disk plads på den VPS server så når en livestream er "optaget" sendt - så vil den konvertere filen til mp4 eller mp3 som vores CMS system kender placering på video.undergroundnews.dk
og hvis den ikke ligger lokalt på VPS maskinen så vises/tages filen fra den lille maskine med den KÆMPE store harddisk.

 



På VPS serveren - benytter vi HLS eller måske dash til livestream og playeren/script - fra måske https://github.com/videojs/video.js og det virker med del fleste browsere og telefoner/ipad etc men der findes også købe script men den frie virker ganske fint.   Serveren skal evt. også tilpasse en stream i måske 3 versioner som 480,720 eller 1920 hvor dem på en dårligere mobil og med mindre skærm måske vil få en bedre visning når 480 udgaven - så det kræver mindre båndbrede og man kan håndtere flere brugere.

Efter man afsluttet livestream har vi en FLV fil som skal laves om til MP4 - en 1 times udsendelse fylder måske 2gb og den process kan automatiseres når filen er behandlet ligger den stadig lokalt på vores VPS mens den stadig er ny og aktuel men pga. begrænset plads kan vi lade vores lille raspberry hente og fjerne filen på VPS maskinen så kommer er en som vil se en gammel udsendelse så vil det ske via proxy hvor vps serveren henter filen fra backend serveren med den store harddisk - fordi vi spare jo på ssd pladsen på VPS serveren og vi vil gerne ha ubegrænset kapasitet så når en udsendelse ikke er helt aktuel mere skifter den placering men URL forbliver det samme nginx kigger bare to steder - lokalt også på en backend/lager/arkiv computer.

Denne løsning er relevant hvis man vil:

Være 100% fri for evt. begræsninger og politik som youtube/facebook påtvinger brugerne - reklamer og tracking etc.

Man har sin egen playout fremvisning på egen platform uden om de andre platforme.

Drage fordele af man ikke er påvirket af blokkering fra Youtube/facebook pga. deres automatiske algoritmer som pludselig mener at video skal begrænses.

Opbygge sit eget online arkiv med masser af audio og video - hvor man også kunne ha noget arkiv som måske var købt betinget
eller hvor man selv kunne sælge egne reklamer måske. 

Sådan som selvstædigt medie - bør man netop kunne prale af at netværke dette i modsætning til dem som påtvinger brugerne facebook osv.

Det er et argument når eller hvis man søger mediestøtte at den tjeneste er helt selvstændig som platform og ikke underlagt de sociale medier
som en begivenhed men de streams man sender og restreamer til de sociale medier stadig begrænset af den politik som gælder.

Chat - det med at være på flere platforme og indrage evt. kommentare fra brugerne er måske relevant men det kan man jo stadig men
hvis det er ønsket så kunne man også godt lave sin egen hosted chat hvis det gav mening og det er jo noget man kunne overveje.

Jeg har fundet en løsning som inkludere chat også men det også en særlig installation af nginx - men hvis man insistere på at der skal være en chat så kan det også laves på VPS computeren.

For sjov har jeg sat et gammel test web/denver kamera op til 150 kr kamera op som laver en rtmp stream fra en gammel RasberryPI3 men det pt. og demo eksempel på hvordan man kunne ha eksempelvis en pågående livestream kørende - det ikke et udendørs kamera og bedre kamera findes ;) 


 

859 Senest ændret Torsdag, 24 juni 2021 09:18
Mere i denne kategori: