Scusate la domanda da newbie.

Vengo da reddit, sto provando a guardarmi intorno, sto scoprendo una comunità viva e molto attiva, mi piace un bel po’!

C’è una questione che ho letto in un thread altrove che mi angoscia un pochino, devo ammetterlo, e quindi ho pensato di farla qui pubblicamente, in modo che (spero) qualcuna possa tranquillizzare me ed eventuali altri interessati.

Se ad un certo punto nel futuro (speriamo mai) succede qualcosa che costringe a “chiudere il server” su cui risiedono questi messaggi, perdiamo tutto o ci sono dei meccanismi di passaggio ad altro server / istanza percorribili?

Non sto pensando a casi di azioni malevole, ma piuttosto ad imprevisti (l’informatica ne è piena) o a cambi di obiettivi di chi cura il back end, o a forza maggiore (che ne so, un imprevisto giudiziario che mette davanti alla scelta chiudo tutto / rischio conseguenze penali).

Nel caso di reddit mi è chiaro: se la società fallisce, o decide di fare pulizia, si perde tutto, fine. Qui come funziona?

  • skariko
    link
    fedilink
    Italiano
    28
    edit-2
    2 years ago

    Inizio con le brutte notizie: tutto quello che pubblichi su internet e che non gestisci tu è contemporaneamente sia a rischio estinzione che a rischio archiviazione perpetua.

    Per quanto riguarda il fediverso: i post vengono copiati su altri server durante la federazione quindi se anche Feddit oggi muore molti dei post si potranno ritrovare nei server sparsi per il globo.

    Per quanto riguarda Feddit attualmente c’è una persona che gestisce il server (io) e un backup giornaliero gestito automaticamente da Hetzner oltre a vari snapshot che faccio manualmente nel momento in cui faccio aggiornamenti di Lemmy (tipo poco fa) e che cerco di lasciare per svariate settimane.

    I backup e gli snapshot di Hetzner, come puoi leggere, sono dislocati su data center diversi da quello del server.

    L’unica cosa che posso dirti è che sicuramente non si abbandonano progetti di questo genere da un giorno all’altro e che se mi rompo le scatole al massimo do le chiavi a qualcun altro.

    Però a parte dirti di fidarti non sono sicuro possano esserci rassicurazioni migliori, diciamo che almeno qui non si chiude perché gli azionisti non sono contenti del nostro operato :)

    edit: mi permetto solo di aggiungere vista anche l’ultima frase che queste realtà non hanno finanziatori alle spalle. Un sostegno da parte di chi partecipa è sempre il benvenuto e serve solo a mantenere le spese vive del server. Si può fare una donazione ricorrente su LiberaPay oppure con una donazione una tantum su Ko-Fi.

    • @[email protected]OP
      link
      fedilink
      Italiano
      62 years ago

      Grazie mille, sia per la spiegazione precisa e senza fronzoli che, soprattutto, per il lavoro che avete (tu per primo) fatto fin qui.

      Tutto molto chiaro 👍🏻

      • skariko
        link
        fedilink
        Italiano
        82 years ago

        Certo, in questo momento Feddit gira su un CPX21 che parte da 8.98€ al mese (+backup e snapshot). In base a quanta gente verrà (e a come andranno le ottimizzazioni di Lemmy 0.18 soprattutto) si potrebbe dover passare tra un po’ al CPX31 da 16.18€ al mese, ma ora penso sia presto per dirlo.

        C’è poi un piccolo server su OVH da circa 3€ al mese sul quale gira una copia di Lemmy “vuota” per effettuare i test e gli aggiornamenti prima di metterli in produzione.

        • @[email protected]
          link
          fedilink
          Italiano
          62 years ago

          Domanda, sarebbe possibile avere un recap mensile delle spese magari in un post dedicato nella sezione annunci? Ad esempio, da studente, non riuscirei a dare qualcosa ogni mese, ma se vedessi che in un certo momento si è più in difficoltà e mi trovassi nella situaizone di riuscire a pagare qualcosa lo farei volentieri.

          Inoltre, curiosità, perché si è deciso di affidarsi ad hetzner? Premetto che non conosco siti di web hosting, di solito se devo scegliere un qualsiasi fornitore di un servizio web mi affido a privacytools per cercare quelli più rispettosi etc, volevo sapere se questo provider lo è, anche se penso di sì avendo i server i Germania.

          • skariko
            link
            fedilink
            Italiano
            92 years ago

            Parlo me: ci ho provato per un periodo con Le Alternative ma è abbastanza complesso, non per chissà quale motivo ma perché secondo me serve un certo tipo di organizzazione dietro per riuscire a ricordarsi di segnare tutte le spese (anche piccole) e tutte le piccole entrate soprattutto se arrivano da parti diverse (LiberaPay, PayPal, Ko-Fi).

            Per me è appunto complesso e in questo momento non so se riuscirei a farne un recap mensile, alla fine le donazioni sono pubbliche (https://liberapay.com/Feddit-it e https://ko-fi.com/fedditit) e si vede abbastanza chiaramente che siamo lontani dall’obiettivo di coprire per intero le spese. Poi sia io che @[email protected] utilizziamo le donazioni ricevute su altri nostri rispettivi progetti per sostenere anche le spese di Feddit.

            Per quel che mi riguarda questa è una cosa che mi piace fare e la metto, fino ad una certa cifra, tra le spese ordinarie per me sostenibili. C’è chi dà i soldi a Netflix o a Disney Plus mentre io li uso per Feddit. 😬

            Mi sono un dilungato forse un po’ troppo ma è una cosa a cui penso spesso ma non sono mai riuscito a creare una vera e propria lista ordinata delle spese e delle entrate, ma è una di quelle cose che prima o poi vorrei riuscire a fare con costanza. Qui avevo iniziato a creare una tabella (che però comprende anche Le Alternative) ma ricordarsi di aggiornarla è un vero e proprio lavoro 😭

            Detto questo, grazie alle donazioni si potrà eventualmente crescere e probabilmente se vediamo che inizieranno a mancare i fondi o comunque ad esserci spese eccessive inizieremo a chiedere donazioni con più frequenza. Le donazioni sono fondamentali per questi progetti sia per la loro manutenzione che per appunto riuscire a mantenere degli alti standard di qualità (Feddit.it ha un uptime del 100%).

            Per quel che riguarda Hetzner: non ricordo ci siano particolari server suggeriti su PrivacyTools o PrivacyGuides. Comunque Hetzner è uno dei gestori più importanti e affidabili, oltre a essere molto semplice da utilizzare e offre backup a poco prezzo. Il nostro server è in Finlandia (sempre UE) e non in Germania.

            • @[email protected]
              link
              fedilink
              Italiano
              42 years ago

              Ok ok capito. Grazie mille per l’esaustiva risposta, quando riuscirò ad avere qualche spiccio da parte cercherò di dare qualcosa al progetto

            • @[email protected]
              link
              fedilink
              Italiano
              2
              edit-2
              2 years ago

              Nel tempo libero (non è molto) mi ci metto e magari tiro fuori qualche script da far girare sul server che possa mettere insieme un resoconto e aggiornarlo in modo automatico. Credo sia fattibile, do un occhio alle API dei servizi che usi. Mi faccio vivo se e quando ho qualcosa

    • @[email protected]
      link
      fedilink
      Italiano
      22 years ago

      commento solo per ringraziare e fare presente che sono un platform engineer (cloud, kubernetes, containers, bla bla bla) e mi sono occupato di recente di una community da migrare partendo da un forum vbulletin a un discourse. Ormai ho imboccato la strada del masochismo insomma, se serve una mano, anche solo per scambiare idee, fate un fischio.

    • @[email protected]
      link
      fedilink
      Italiano
      22 years ago

      Che ne penseresti d’inviare una copia dei backup - magari sezionati in mesi o trimestri - ad archive, come faceva una volta StsckExchange?

      Il problema principale sarebbe di dirlo chiaramente nella privacy policy che i post (o più precisamente i db dump) sono salvati in questo modo.

      Ciò permetterebbe di migrare facilmente i contenuti in una nuova istanza Lemmy, se ve ne fosse bisogno, o di usarli come dataset per la ricerca (e, indirettamente, finalmente si formerebbe un dataset organico in Italiano di discreta qualità per il training di LLM).

      • skariko
        link
        fedilink
        Italiano
        42 years ago

        I backup di Hetzner sono utilizzabili esclusivamente sulle loro macchine e, soprattutto, non sono in alcun modo scaricabili.

        Si può pensare in futuro a fare dei backup di altro genere, io non ho assolutamente idea di come ma se salterà fuori qualcuno che vuole dare una mano e farlo se ne potrebbe discutere.

        • @[email protected]
          link
          fedilink
          Italiano
          32 years ago

          Purtroppo non ho ancora avuto abbastanza tempo linearmente coeso per immergermi nella documentazione di Lemmy, ma da una ricerca veloce ho visto nella documentazione presente su join-lemmy che i dati vengono immagazzinati in un database Postgresql.

          Se hai accesso alla shell dell’host non dovrebbe esser complicato creare dei dump del database usando pgdump.

          Purtoppo qui siamo sui bordi esterni del mio campo di competenza, quindi se qualcun altro mi può correggere?

          • @[email protected]
            link
            fedilink
            Italiano
            62 years ago

            Se è basato su Postgres le opzioni sono illimitate. Pgdump, cdc live sulle tabelle, export parquet…

            L’idea di averlo come dataset è fantastica. Se serve faccio queste cose per lavoro, magari in un momento più tranquillo darei volentieri una mano 😀

          • @sudneo
            link
            Italiano
            4
            edit-2
            2 years ago

            Probabilmente non basta solo il dump del database per avere una copia direttamente funzionante, ma sicuramente è la parte più importante.

            Direi che ci sono vari approcci:

            • Pgdump ogni tot
            • Pgbarman che usa un replication slot se uno vuole avere pieno PITR (Point in Time Recovery). Onestamente lo premetto, per un progetto del genere credo sia assolutamente accettabile avere chessò, 12h o anche 24h di potenziali dati persi nel caso uno dovesse fare il restore da backup. Quindi pgdump va più che bene a mio avviso.
            • Probabilmente un milioni di altri modi

            Una volta che c’è il dump del DB, si prende quella e le altre directory utili, e si butta tutto dentro un repository restic/borg, che è cifrato e deduplicato. Si prende il repository e lo si sincronizza su https://www.borgbase.com/ (o Backblaze, o un’altra macchina qualsiasi - basta SSH).

            Chiaramente questo è un modo, non Il modo, ma se @[email protected] è interessato a farsi una chiacchierata sull’argomento sarei felice di aiutare, anche praticamente.

            • skariko
              link
              fedilink
              Italiano
              22 years ago

              Come dicevo più di un backup esiste già ed è anche dislocato su data center differenti e anche i vari snapshot sono distribuiti su altri data center, insomma a me sembra che su questo lato si è abbastanza protetti (per quanto non lo si è mai davvero abbastanza ovviamente).

              Non so, chiedo anche a @[email protected] ma in questo momento mi sembra uno “sforzo” non necessario, ma non so se mi sbaglio o meno.

              • @sudneo
                link
                Italiano
                22 years ago

                Assolutamente, l’idea non era principalmente per “ridurre il rischio”, quanto per avere funzionalità diverse (che potrebbero non essere necessarie). Ad esempio poter scaricare o accedere liberamente ai backup, avere backup più piccoli (presumibilmente i backup ora sono dump di tutto il disco?), avere flessibilità nel gestire pruning (tipo tenere 1 backup mensile, 1 settimanale, 3 giornalieri etc.) e anche quello di poter estrarre singoli contenuti dai backup (magari questo è possibile già ora).

                Non so poi quanto sia facile ad oggi testare la procedura di restore (serve prendere un altro vps?), ma con restic e simili uno può anche testare e scriptare la procedura in locale.

                Da un punto di vista " i miei dati sono al sicuro" credo non ci siano problemi di sorta al momento, sembra essere tutto coperto!

    • @[email protected]
      link
      fedilink
      Italiano
      22 years ago

      Per quanto riguarda il fediverso: i post vengono copiati su altri server durante la federazione quindi se anche Feddit oggi muore molti dei post si potranno ritrovare nei server sparsi per il globo.

      Mmm non sono mica sicuro di sta cosa. Certo sugli altri server posso trovare tracce del post, riferimenti e id, magari una copia di cache, ma non mi pare proprio che vengano archiviati messaggi in modo tale che poi sia possibile leggerli sull’altro server se muore il server “proprietario”. O mi sbaglio?

      • PoliversoM
        link
        fedilink
        Italiano
        42 years ago

        Tutte e due le cose…😁 😄 🤣

        Hai ragione perché quando viene cancellato un post dall’istanza originale, il messaggio di cancellazione dovrebbe raggiungere tutti i server in cui quel messaggio è stato intercettato e ricondiviso…

        Ti sbagli perché se un server si spegne all’improvviso ci vogliono diversi giorni o settimane perché gli altri server capiscano che il problema è definitivo ma fino ad allora i messaggi continueranno a comparire nei diversi server sui quali quel messaggio è arrivato; Inoltre devi sempre considerare che possono esserci server configurati male per errore o per volontà dell’amministratore, i quali potrebbero non cancellare mai i messaggi ricevuti.

        • @[email protected]
          link
          fedilink
          Italiano
          32 years ago

          Pazzesco come certe cose entrano nel modo comune di comunicare… Jerry scotti e chi vuol essere milionario hanno plasmato la nostra cultura XD

  • @[email protected]
    link
    fedilink
    72 years ago

    Purtroppo per adesso sì, se feddit.it va giù i contenuti si perdono. Dovrebbero rimanere delle copie dei post sulle istanze federate con questa (se ti iscrivi ad una di esse dovresti poter ancora vedere i post sulle comunita @feddit.it), almeno per un po’. È ragionevole che le altre istanze decidano di rimuovere i post federati dopo un certo tempo per alleggerire i costi di archiviazione, per cui queste copie probabilmente non dureranno per sempre.

    Come ha già menzionato @[email protected], ci sono discussioni in corso su come mitigare questo rischio. Lemmy è un progetto ancora molto giovane e c’è tanto lavoro da fare per rendere il network più robusto e resiliente. In ogni caso, se venisse implementato un protocollo di transizione dati, dovrebbero essere gli admin di questa istanza a prendere l’archivio e spostarlo su una nuova.

    Va detto che la situazione attuale è già meglio di Reddit: se Reddit va giù si perde l’intera piattaforma. Se feddit.it va giù il network di Lemmy rimane, puoi sempre farti un’account su un’altra istanza e continuare a usarlo. In entrambi i casi stai mettendo i tuoi dati in mano agli admin della tua istanza, e devi avere fiducia in loro.

  • filippodb - fddt
    link
    fedilink
    62 years ago

    purtroppo nessun social del fediverso permette di trasportare tutti i propri contenuti da un’istanza all’altra. Pixelfed sembra ci stia lavorando ma è molto difficile, anche perchè spostare anni di contenuti comporta un peso non indifferente per piccole istanze. Per ora social come mastodon ti permettono di migrare tutti i follower ma i contenuti rimangono nella vecchia istanza. Questo è un punto debole del fediverso non a caso il social decentralizzato bluesky sta cercando di prendere piede premendo sul fatto che permette la piena migrazione dell’account.

  • PoliversoM
    link
    fedilink
    42 years ago

    Penso che tutto quello ch c’era da sapere te l’ha spiegato @[email protected] nella sua risposta.

    Vorrei aggiungere solo il fatto che ogni comunità e ogni utente di Lemmy espongono un feed RSS.

    Per esempio il tuo è https://feddit.it/feeds/u/MyPendrive.xml?sort=New

    mentre il feed della comunità è https://feddit.it/feeds/c/feddit.xml?sort=Active

    Perciò, se vuoi salvare autmaticamente quei post puoi anche farlo attraverso il feed rss… :-)

    In alternativa ti puoi creare un’istanza personale Lemmy (o altro) tutta tua nella quale salvi tutti i thread di tutte le comunità che vuoi, provando a impostare la perpetua non cancellazione di ciò che hai sincronizzato

  • Dreadino
    link
    fedilink
    2
    edit-2
    2 years ago

    Non ci sono per ora funzionalità di spostamento account su altre istanze, ma nella pagina github di Lemmy ci sono diverse discussioni a riguardo.

    Per quanto riguarda post e messaggi, credo che sia tutto copiato su tutti i server federati con feddit.it, quindi almeno i byte sono copiati altrove (ma ho in mente che le copie durino 6 mesi, forse l’ho letto da qualche parte). Poi non so se il protocollo prevede il poter leggere questi post anche se il server originale non è disponibile (direi di si tecnicamente, ma va a capire che regole ci sono dentro)

  • @[email protected]
    link
    fedilink
    22 years ago

    Qui funziona uguale. E così un po’ dappertutto. L’internet per sua natura è instabile, la sua unica costante è che è in costante mutamento. Quindi siti e informazioni vanno e vengono. Per esempio, basta non pagare l’hosting o il domain e bye-bye info! O magari il social di turno decide di fare una bella purga per accontentare gli azionisti e i marketers (sto guardando a te Tumblr). Insomma, non è proprio vero che tutto ciò che rimane in Internet rimane per sempre. Solo se qualcuno si prende la briga di fare una copia, perché ritiene quell’info davvero importante da dover essere diffusa. Morale della favola: non fidatevi di quei cantastorie che lodano il cloud, lo streaming e robe simili. Bisogna scaricare e salvare sempre nel disco fisso tutto ciò che interessa davvero.