Poznaj BLOOMChat: wielojęzyczny i wielojęzyczny model konwersacyjny typu open source (LLM) zbudowany na bazie modelu BLOOM

Wraz z pewnymi wielkimi postępami w dziedzinie sztucznej inteligencji, systemy języka naturalnego szybko się rozwijają. Językowe duże modele (LLM) stają się coraz lepsze i bardziej popularne z każdą aktualizacją i innowacją. Prawie codziennie dodawana jest nowa funkcja lub mod, co pozwala LLM pracować w różnych aplikacjach w prawie każdej dziedzinie. LLM jest wszędzie, od tłumaczenia maszynowego i streszczania tekstu po analizę nastrojów i odpowiadanie na pytania.

Społeczność open source poczyniła znaczne postępy w rozwoju LLM opartych na czacie, ale głównie w języku angielskim. Mniejszy nacisk położono na rozwój podobnego rodzaju możliwości wielojęzycznego czatu w LLM. Aby temu zaradzić, SambaNova, firma programistyczna skupiająca się na generatywnych rozwiązaniach AI, wprowadziła wielojęzyczną konwersację LLM typu open source o nazwie BLOOMChat. Opracowany we współpracy z Together, otwartą, skalowalną i zdecentralizowaną chmurą sztucznej inteligencji, BLOOMChat to wielojęzyczny czat LLM zawierający 176 miliardów zmiennych zbudowany na modelu BLOOM.

Model BLOOM posiada możliwość generowania tekstu w 46 językach naturalnych i 13 językach programowania. W przypadku języków takich jak hiszpański, francuski i arabski BLOOM reprezentuje pierwszy model językowy, jaki kiedykolwiek stworzono, z ponad 100 miliardami parametrów. BLOOM został opracowany przez BigScience, międzynarodową współpracę ponad 1000 naukowców. Dostosowując BLOOM do otwartych zestawów danych konwersacji i wyrównania z projektów, takich jak OpenChatKit, Dolly 2.0 i OASST1, podstawowe możliwości BLOOM zostały rozszerzone na domenę czatu.

Aby opracować wielojęzyczny czat, LLM, BLOOMChat, SambaNova i Together wykorzystały systemy SambaNova DataScale, które wykorzystują unikalną rekonfigurowalną architekturę przepływu danych SambaNova w procesie szkoleniowym. Syntetyczne dane z konwersacji i próbki pisma od ludzi zostały połączone w celu stworzenia BLOOMChat. Jako podstawę dla funkcji czatu wykorzystano duży syntetyczny zestaw danych o nazwie OpenChatKit, a wysokiej jakości zestawy danych wygenerowane przez ludzi, takie jak Dolly 2.0 i OASST1, zostały wykorzystane do znacznego zwiększenia wydajności. Kod i skrypty używane do ustawiania pomocy w zestawach danych OpenChatKit i Dolly-v2 są dostępne na GitHubie SambaNova.

W ocenach ludzi przeprowadzonych w sześciu językach odpowiedzi BLOOMChat były preferowane w stosunku do odpowiedzi GPT-4 w 45,25% przypadków. W porównaniu z czterema innymi modelami dopasowywania czatów open source z tymi samymi sześcioma językami, odpowiedzi BLOOMChat były najlepsze w 65,92% przypadków. To osiągnięcie z powodzeniem wypełnia lukę w możliwościach wielojęzycznego czatu na rynku open source. W teście lokalizacji WMT BLOOMChat wypadł lepiej niż dodatkowe iteracje modelu BLOOM, a także popularne modele czatów open source.

BLOOMChat, podobnie jak inne LLM, ma ograniczenia. Może to skutkować błędnymi lub niezwiązanymi ze stanem faktycznym informacjami lub może przez pomyłkę zmienić język. Potrafi nawet powtarzać frazy, ma ograniczone zdolności kodowania lub matematyki, a czasem tworzy toksyczne treści. Trwają dalsze badania mające na celu sprostanie tym wyzwaniom i zapewnienie lepszej użyteczności.

Podsumowując, BLOOMChat opiera się na rozległej pracy społeczności open source i jest doskonałym dodatkiem do listy bardzo przydatnych wielojęzycznych LLM. Wydane na licencji open source, SambaNova i Together mają na celu rozszerzenie dostępu do zaawansowanych wielojęzycznych funkcji czatu i zachęcenie do dalszych innowacji w społeczności badawczej AI.

zeskanuj projekt I Artykuł referencyjny. Nie zapomnij dołączyć 21 000 + ML Sub RedditI kanał na discordzieI I Biuletyn e-mailowy, gdzie dzielimy się najnowszymi wiadomościami z badań nad sztuczną inteligencją, fajnymi projektami AI i nie tylko. Jeśli masz jakiekolwiek pytania dotyczące powyższego artykułu lub jeśli coś przeoczyliśmy, napisz do nas na adres [email protected]

🚀 Sprawdź 100’s AI Tools w AI Tools Club