Tjena!
Funderar ofta på om folk faktiskt använder AI. Det marknadsförs så otroligt mycket, då tänker jag att det måste finnas en marknad någonstans.
Samtidigt så är det ingen som pratar om AI verktyg, att dem använt det ena eller det andra.
Jag som jobbar inom IT tycker det är lite konstigt ändå att det är så pass lite prat om folk som personligen använder olika AI verktyg.
Jag vet att AI har använts i många år. Det jag menar specifikt är alla dessa nya AI verktyg som kommit ut på marknaden sedan de stora språkmodellerna blev mer tillgängliga.
Jag testade github copilot gratis en månad när jag programmerade på mina hobbyprojekt, funkade skapligt och iaf ibland sparade den att skriva ett par rader kod. Kändes dock inte riktigt värt det så nu kör jag codeium som är gratis och också funkar skapligt.
Lite då och då använder jag Mistrals Le Chat eller ChatGPT för att fråga saker. Eftersom jag kan C++ så brukar det handla om lite svårare problem, varpå AI:arna ofta ger felaktiga lösningar. Däremot om jag behöver hjälp med t.ex. JS eller CSS, där det nog är lite mer nybörjarfrågor, så har jag fått bättre hjälp. Har även använt dem för att få lite inspiration till D&D, bland annat då jag spelade med en grupp där det var väldigt lite snack mellan karaktärerna. Då skrev jag en kort beskrivning av medlemmarna i partyt och bad om förslag på hur min karaktär skulle kunna initiera intressanta interaktioner med de andra.
På jobbet får vi inte använda AI för att skriva kod, men de arbetar på en lösning för att få använda det till testfall och dokumentation. Jag tror det handlar om en licencierad copilot som körs lokalt och är finetune:ad på vår kodbas. Vi har även fått en bing copilot, men jag är osäker på det är samma som vi ska köra lokalt eller om de bara betalar Microsoft för att hålla frågorna vi skickar hemliga. Funkar dock bara i Edge så jag har inte brytt mig om det så mkt, men iaf en kollega som är ganska ny-utexad använder den rätt flitigt. Tror dock att de flesta tekniska frågorna skulle gå att hitta på stack overflow, men det är väl smidigare att fråga AIn ist för att söka.
inspiration till D&D, bland annat då jag spelade med en grupp där det var väldigt lite snack mellan karaktärerna. Då skrev jag en kort beskrivning av medlemmarna i partyt och bad om förslag på hur min karaktär skulle kunna initiera intressanta interaktioner med de andra.
Det här var väldigt smart!
Det var när ChatGPT var rätt ny så den senaste kanske är ännu bättre, men jag blev ändå lite imponerad av hur pass bra förslag den kom med. Ingen J.R.R. Tolkien direkt men absolut tillräckligt bra skrivande för lite hemma-spel :)
Kan även tipsa om ifall man vill spela en sjungande bard men känner sig lite osäker på sin låtskrivarförmåga så kan en AI väldigt snabbt slänga ihop visor och rim om andra karaktärer och händelser i äventyret.
Jag använder chatgptb till allt. Recept, nyfiken på vad en låt handlar om, fråga om historiska saker, svår googlesökning, hjälp att välja ny förstärkare, funderar de här techsakerna ihop etc.
Sen om det handlar om viktiga saker som är lite obskyra så får man be om källa.
På jobbet använder jag supermaven och det fungerar utmärkt. Jag har blivit mycket bättre på att namnge funktioner då den får lättare att skriva koden åt mig då. Jag skrev ett spel i rust (aldrig använt språket innan, ren js-nörd) och det gick förvånansvärt lätt och jag lärde mig jättemycket.
Det kommer inte ersätta folk direkt på länge, men det kommer att göra folk så pass mycket effektivare att färre behövs för samma produktivitet.
Recept, nyfiken på vad en låt handlar om, fråga om historiska saker, svår googlesökning, hjälp att välja ny förstärkare, funderar de här techsakerna ihop etc
Detta är intressant. Min hjärna tänker aldrig på att jag över huvud taget kan fråga ChatGPT dessa saker.
Även jag anväder AI lite när det kommer till kod. Det funkar väldigt bra att be ChatGPT skriva lite baskod på en abstrakt idé som man försöker beskriva så gott man kan för AIn.
Tack för att du delar med dig!
Jag vet folk som använder det ibland för att hjälpa att hitta information, bearbeta eller skapa texter osv. Själv litar jag inte på informationen en LLM ger, däremot så har jag ett par enstaka ggr använt en sån för att få hjälp med en övergripande bild av något som är helt nytt för mig, för att får hjälp med nyckelord, termer, koncept osv som jag sedan kan googla upp för att få mer pålitlig fakta om.
få hjälp med en övergripande bild av något som är helt nytt för mig, för att får hjälp med nyckelord, termer, koncept osv som jag sedan kan googla upp för att få mer pålitlig fakta om.
Det är ju ett bra sätt att använda en AI på tycker jag!
Ja, det känns som att man utnyttjar deras styrka då men samtidigt undviker deras svagheter.
Jag har gjort liknande. Man får verkligen vara kritisk, ställa följdfrågor, och kolla upp detaljer vid sidan av. Det är få gånger som en LLM inte haft vissa missuppfattningar själv, men med lite kritiska frågor så rättar den sig själv ofta.
Precis, man får attackera saken från lite olika vinklar för att få en mer korrekt bild. Att bara ställa en fråga är typ livsfarligt. Samtidigt kan det vara vanskligt att ifrågasätta den, iaf sist jag provade, för då gav den direkt med sig och sa att jag hade rätt fast jag hade fel.
Nu senast har jag använt ChatGPT för att komma på namne till spel karaktärer. Den är ofantligt duktig på det och mycket bättre än name generatorerna som bara ger en random lista, då dessa listo kan vara väldigt specifika.
Smart tänkt!
Tack, jo den har sparat mig massor av tid.
Jag brukar använda Perplexity när jag researchar grejer, tycker den är bra på sådant. Leonardo för att göra bilder och Udio för att skapa musik.
Nope, har testat AI bild skapare och så för skojs skull men inte mer än det. Ännu inte vart något som jag behövt det till så inte haft någon anledning att använda det. Håller mig hyfsat uppdaterad om dess utveckling och tycker det är coolt på många sätt, men är väldigt tveksam till hur det oftast är integrerat och tycker det inte ger något mer än vad jag lätt kan göra, ta reda på osv. lika snabbt och med mer säkra resultat själv.
Jag använder det frekvent i jobbet -
- En chatbot för att ta rollen som Google haft som allmän informationssökningsverktyg. Man får ta det med en nypa salt, men ofta är det korrekt nog att vara användbart
- CoPilot för “smartare autocomplete”. Samma här, ofta är det inte rätt, men då är det bara att inte använda den autocomplete som erbjuds. Det är bra förslag tillräckligt ofta för att spara tid och energi
Privat använder jag Perplexity för att byta ut många Google-sökningar.
Hade velat testa mer avancerade AI program för att skapa mina egna superhjältar men tyvärr så är jag för fattig för att kunna köpa en vettig dator som klarar programmen.
Har endast testat sunkiga online AI program.
Får nöja mig med att utveckla mina karaktärer i skrift tills ekonomin är bättre för mig.
Använder det rätt ofta för att få en start på ett nytt projekt. Beskriver vad jag vill lösa, hur, och i vilket språk, osv. Efter det så har man något som inte funkar helt, eller ens alls, men gör det enklare att börja ifrån. Lite följdfrågor eller ber om korrigeringar när man själv fortsätter utveckla brukar iaf ge lite fart i början.
Det är så jag också gör. Funkar rätt så bra!
Jag undviker det för det mesta. När jag verkligen behöver eller vill så använder jag duckduckgo llama.
Ja en hel del, mest blir det ChatGPT. Visst funkar sådär en del svar är ju verkligen helt uppåt väggarna fel men kan va bra att bolla med. Hjälper mig med tekniska frågor mest. Tänker att den borde förstå sin egen sort bättre än oss. Tänkte prova Alpaca idag, selfhosta sin egen AI assistent. Är väl mest det som tar emot. Att allt man skriver används & kartläggs av ägarna till AI tjänsten så det slipper man ju ifall man kör sin egen.
Alpaca är ju supergammal, det har kommit många bättre modeller sedan dess. T.ex. Mistral Nemo Instruct om du har tillräckligt med VRAM för en 12B modell. Kanske har kommit något ännu nyare, men vill du ha ngt lite mindre så testa Llama 3.1 8B Instruct
aha tackar, ja utvecklingen går väldigt fort. Fick tips om den här guiden verkade va lätt att komma igång med för en nybörjare på AI. länk
Kan jag köra Serge ändå eller har det kommit nåt bättre där också? Har 12 GB VRAM AMD 6700XT, så det begränsar väl en del misstänker jag. Ska kolla på Llama istället.
Aldrig hört talas om Serge, men det ser ut som att projektet fortfarande lever och uppdateras iaf. Det är baserat på llama.cpp, så jag tror det ska fungera med ROCm (dvs. AMD gpu). Och eftersom det bygger på llama.cpp så behöver du en modell i GGUF-format. Sen har llama.cpp en unik funktion att den klarar av att dela upp arbetet mellan CPU och GPU, vilket gör att du kan köra större modeller ifall du är villig att offra en del hastighet, men jag tror det är en bra start att köra någon sorts standardmodell som får plats helt i VRAM, så kan du experimentera med finetune:ade modeller och annat när du vet att saker fungerar som det ska.
Det som avgör hur mkt VRAM som behövs är en kombination av antalet parametrar i modellen (e.g. 7B, 12B, osv), hur stor kontext du använder (typ. hur pass långt korttidsminne AI:n får. Mer kontext -> längre konversation innan den glömmer bort de äldsta meddelandena) och vilken kvantiseringsnivå av modellen du laddat hem (typ motsvarande komprimering av film/bilder). Sen tappar du även lite VRAM till operativsystemet ifall du bara har ett grafikkort i datorn. Jag tror Mistral Nemo Instruct med Q4_K_M kvantisering, och kanske 8000 kontext, skulle gå in i VRAM för dig, den går att ladda ner här: https://huggingface.co/bartowski/Mistral-Nemo-Instruct-2407-GGUF/tree/main
De flesta modellerna som tränas är censurerade till någon grad, men det är många privatpersoner som gör sitt bästa för att ta bort det av olika anledningar. Vill du ha en sån modell så har de ofta OAS eller “abliterated” i namnet.
Vill du testa att köra lite större modeller med partial offloading (CPU+GPU) så kolla in CmdR och Mixtral 8x7b. Mixtral börjar bli lite gammal, men den är snabb att köra på CPU tack vare MoE arkitekturen. Du kan även testa 70B modeller som Miqu etc. men då får du nog räkna med max 0.5 ord/sekunden.
Kan även rekommendera TheBloke’s discord server ifall du behöver hjälp med något, eller tips om de senaste modellerna.
Det blev Ollama, fick igång det förut och har provat Llama 3.1 8B, Codegemma 7b och fick precis igång Mistral Nemo Instruct du tipsade om. Var lite pilligt att få den att använda GPUn, 6700XT har inte stöd än av ROCm tydligen men funkar om man lurar den att det är ett 6800 med en miljövariabel. Då gick det genast mycket fortare mot CPUn som det var först. Ja sant med VRAMen det går åt en del, eftersom Plasma med Firefox och lite annat igång vill ha runt 3 GB. Llama 3.1 8B vill ha 7GB VRAM så har 20% ungefär kvar att använda.
Har ju bara doppat tårna precis men kul att vara igång. Skönt att inte mata nån modell i molnet längre den här vägen blir det i fortsättningen. Ska fördjupa mig lite senare när jag får mer tid över. Sparar ditt inlägg, bra info. Tack för hjälpen.
Kör du Wayland, och/eller har flera högupplösta skärmar? Jag kör X11 och har en 1440p skärm och en 1080p, men jag tappar bara 1.15GiB vram till OS:et enligt nvtop. Kör också Plasma och Firefox då. För ett tag sedan så försökte jag få datorn att använda Ryzen APU:n för OS:et, och lämna hela GPU:n ledig för LLM och spel etc. Det svåra var att få GPU forwarding att fungera, så jag inte skulle behöva dubbla uppsättningar skärmkablar, och förstås lite meck med att köra både AMD och Nvidia samtidigt, men det kanske är lättare med ett AMD-kort ifall det är något du är intresserad av att undersöka i framtiden.
Oj det var rimligare, ja jag har misstänkt jag legat lite väl högt i VRAM användning. Yep, jag kör Wayland men är rätt säker på jag låg högt på X11 också. Ska prova X11 imorn för säkerhets skull. Ser inga direkta syndabockar när jag kör nvtop, 2.7 GB idag med min vanliga användning. Firefox vill ha 564 MB och sen 147 MB i nån -contentproc process som jag inte vet vad den gör. Det är väl det enda som sticker ut. Men kör HW acceleration med VAAPI så antar att det är det. Vill nog helst ha det då jag tittar på många streams i webbläsaren. Använda APU samtidigt till sånt är fiffigt men har tyvärr ingen sådan i min dator bara ett 6700XT och en Ryzen 3700x. Har bara en 144hz skärm och en TV inkopplad kan prova dra ur sladden till TVn imorn också, använder bara en skärm åt gången. Jao APU eller en till GPU att avlasta med hade varit något det, får skriva upp det på önskelistan. Med nuvarande bygge blir det nog försöka få ner VRAM användningen en aning på nåt sätt ska pröva lite mer imorn.
För mig så drar Xorg ca 300MB, Firefox 150MB, kwin_x11 100MB, Discord och plasmashell 50MB vardera. Compositing i KDE är på, men VAAPI i Firefox är avstängt. Har för mig jag stängde av det för det var problem när jag skulle streama något, men jag tycker CPU-avkodning har funkat bra så jag hade glömt bort att jag ens ändrade det.
Om du ska försöka få igång GPU passthrough i framtiden så finns det en del resurser för hur laptops gör det, men det verkar som att det endera är Intel CPU + Nvidia GPU, eller AMD + AMD, så ifall du ska uppgradera något så kan det vara värt att ha i åtanke. Jag fick AMD + Nvidia att typ fungera, men jag lyckades inte få den att stänga av GPU:n helt när den inte användes så den låg och drog 30W i onödan.
Själv jag ett begagnat RTX3090 för att få 24GB VRAM. Kollade blocket varje dag tills jag hittade ett för 7300kr med köpskydd, vilket kändes som ett nästan rimligt pris :) Hade dock behövt det dubbla för att kunna köra ännu finare modeller, men då kostar det verkligen skjortan…
Yep. Copilot för att koda. Använder ChatGPT ibland för att få sammanfattningar av en författares verk och tips på var man ska börja.
