Lemmy.World
  • Communities
  • Create Post
  • Create Community
  • heart
    Support Lemmy
  • search
    Search
  • Login
  • Sign Up
eifachposteBM to Kagi Small Web Appreciated RSS FeedEnglish · 13 days ago

Integralność LLM podczas inferencji w llama.cpp

bednarskiwsieci.pl

external-link
message-square
0
link
fedilink
1
external-link

Integralność LLM podczas inferencji w llama.cpp

bednarskiwsieci.pl

eifachposteBM to Kagi Small Web Appreciated RSS FeedEnglish · 13 days ago
message-square
0
link
fedilink
Rdzeń ataku wynika z domyślnego sposobu działania llama-server z projektu llama.cpp. Serwer mapuje plik modelu GGUF do pamięci za pomocą mmap, przy czym obserwowane zachowanie odpowiada ścieżce, w której proces odczytuje dane z pliku poprzez współdzielone strony page cache jądra. Jeżeli drugi proces zapisze zmodyfikowane dane do tego samego pliku, jądro aktualizuje odpowiednie strony pamięci powiązane z plikiem. W rezultacie proces inferencyjny może zobaczyć nowe wartości wag przy kolejnych odczytach, mimo że sam nie wykonywał przeładowania modelu i formalnie traktuje go jako zasób tylko-do-odczytu.
alert-triangle
You must log in or # to comment.

Kagi Small Web Appreciated RSS Feed

kagismallweb

Subscribe from Remote Instance

Create a post
You are not logged in. However you can subscribe from another Fediverse account, for example Lemmy or Mastodon. To do this, paste the following into the search field of your instance: [email protected]
Visibility: Public
globe

This community can be federated to other instances and be posted/commented in by their users.

  • 34 users / day
  • 182 users / week
  • 410 users / month
  • 533 users / 6 months
  • 40 local subscribers
  • 42 subscribers
  • 4.29K Posts
  • 90 Comments
  • Modlog
  • mods:
  • eifachposteB
  • UI: 0.19.16-8-g8cd34ec0
  • BE: 0.19.16-6-g1f680600c
  • Modlog
  • Legal
  • Instances
  • Docs
  • Code
  • join-lemmy.org