OpenAssistant, un bot AI open source

 

Comunitatea LAION (Large-Scale Artificial Intelligence Open Network) a anunțat recent prima lansare a proiectului „OpenAssistant” , care dezvoltă un chatbot de inteligență artificială capabil să înțeleagă și să răspundă la întrebări în limbaj natural, să interacționeze cu sisteme de la terți și să extragă în mod dinamic informatie necesara.

Pentru cei care nu sunt familiarizați cu LAION, ar trebui să știți că dezvoltă instrumente, modele și colecții de date pentru a crea sisteme gratuite de învățare automată (de exemplu, colecția LAION este folosită pentru a antrena modele ale sistemului de sinteză a imaginilor Stable Diffusion).

Pe lângă codul de instruire și organizare a activității botului în echipa dvs., se propune să utilizați o colecție de modele gata pregătite deja antrenate și un model de limbă, instruit pe baza a 600 de mii de exemple de dialoguri sub formă a unei cereri-răspuns (instrucțiune-execuție), pregătită și revizuită cu participarea unei comunități de entuziaști.

A fost lansat și un serviciu online de evaluare a calității chatbot-ului, folosind modelul de cunoștințe OA_SFT_Llama_30B_6, care acoperă 30 de miliarde de parametri.

Echipa noastră a lucrat neobosit în ultimele câteva luni, colectând cantități mari de informații și feedback bazat pe text pentru a crea un set de date incredibil de divers și unic special conceput pentru antrenarea modelelor lingvistice sau a altor aplicații AI.

Cu peste 600.000 de puncte de date generate de oameni care acoperă o gamă largă de subiecte și stiluri de scriere, setul nostru de date se va dovedi a fi un instrument de neprețuit pentru orice dezvoltator care dorește să creeze modele de instruire de ultimă generație.

Pentru a crește eficiența sistemului și a evita necesitatea stocării unor cantități mari de parametri predefiniti , proiectul prevede posibilitatea utilizării unei baze de cunoștințe actualizate dinamic, care să poată prelua informațiile necesare prin motoarele de căutare sau servicii externe.

De exemplu, atunci când generează răspunsuri, botul poate accesa API-uri externe pentru a obține date suplimentare. Dintre funcțiile avansate, se evidențiază și suportul de personalizare, adică capacitatea de a se adapta unui anumit utilizator pe baza frazelor sale anterioare.

Pentru cei interesați să instaleze OpenAssistant, trebuie să știți că îl puteți instala local și că modelele candidate Pythia SFT sunt disponibile de la HuggingFace și pot fi încărcate prin biblioteca HuggingFace Transformers. Ca atare, este posibil ca acestea să poată fi utilizate cu suficient hardware. Există, de asemenea, spații pe HF care pot fi folosite pentru a discuta cu candidatul OA fără hardware propriu. Cu toate acestea, aceste modele nu sunt definitive și pot produce rezultate slabe sau nedorite.

Modelele LLaMa SFT nu pot fi lansate direct din cauza licenței Meta, dar ponderile XOR vor fi lansate în curând.

Este important de menționat că cel mai mic model actual (Pythia) are parametri de 12B și este dificil de rulat pe hardware de consum, dar poate rula pe un singur GPU profesional. Pot exista modele mai mici în viitor și sperăm să avansăm metode precum cuantizarea întregilor care pot ajuta la rularea modelului pe hardware mai mic.

Proiectul nu intenționează să se oprească la repetarea capabilităților ChatGPT. Open-Assistant este de așteptat să stimuleze dezvoltarea dezvoltării deschise în domeniul generării de conținut și al procesării interogărilor în limbaje naturale, la fel cum proiectul open source Stable Diffusion a stimulat dezvoltarea instrumentelor pentru generarea de imagini.

Codul proiectului este scris în Python și este distribuit sub licența Apache 2.0. Dezvoltarile OpenAssistant pot fi folosite pentru a vă crea propriile asistenți inteligenți și sisteme de dialog care nu sunt legate de API-uri și servicii externe. Hardware-ul convențional de consum este suficient pentru a funcționa, de exemplu, este posibil să lucrați pe un smartphone. Datele Open Assistant sunt eliberate sub o licență Creative Commons, care permite o gamă largă de utilizări, inclusiv utilizarea comercială.

În fine, dacă sunteți interesat să puteți afla mai multe despre acesta precum și să puteți consulta codul sursă, puteți consulta detaliile în următorul link.

Sursa: https://www.linuxadictos.com/openassistant-un-bot-de-ia-de-codigo-abierto.html