AI je pročitao celu biblioteku i od nje napravio graf znanja

Najvažnije

1. Rezultat

   Hiljade nepovezanih dokumenata postale su jedna mapa koja se pretražuje po smislu

   Članci, objave i transkripti o bezbednosti AI povezani su u jedan graf.

2. Rešenje

   Svaka ideja vodi do dokumenta iz kog je uzeta

   Svaki čvor grafa ima link na izvor: svaki zaključak može da se proveri.

3. Brzina

   Veći deo biblioteke pročitan je za jedno veče

   Pipeline obrađuje dokumente paralelno, a jedan problematičan dokument ne zaustavlja obradu.

1. 01Okvir

   Zajednički pipeline umesto da svako piše svoj kod

   U projektu je svaki učesnik pisao svoj kod. Napravili smo zajednički okvir: prvi parser dokumenata, vektore za pretragu po smislu i učitavanje u grafovsku bazu.

2. 02Obim

   Dokument po dokument - stotine sati

   Prvi parser je išao dokument po dokument, a merenje je pokazalo: na celu biblioteku otišle bi stotine sati mašinskog vremena. U projektu je obrada prebačena na paketnu, a mi smo prepisali pipeline tako da podnosi veliko opterećenje: stotine paketa paralelno, dnevnik i nastavak posle prekida.

3. 03Obrada

   Jedno veče - veći deo biblioteke

   Pipeline je prošao kroz celu biblioteku: članke, objave, transkripte videa. Dokument koji model nije uspeo da obradi ostavlja se po strani, a obrada ide dalje.

4. 04Graf

   Povezati, a ne spojiti

   Isprva su se slične ideje spajale u jednu, pa je lančano spajanje skupilo hiljade čvorova u lažni centar koji je iskrivljavao zaključke. Provera je to otkrila, pa su u konačnom grafu slične ideje međusobno povezane, a ne spojene.

   Odbacili smospajanje sličnih ideja u jedan čvor.

5. 05Provera

   Svaki zaključak može da se proveri

   Drugi model je proverio uzorak obrade, a svaki čvor čuva link na svoj dokument. Kod je otvoren, a rad o projektu je u pripremi.