Хочу сервер!

[dyvniy]

Нейросетка на 24 гиговой видеокарте
https://github.com/tloen/alpaca-lora

Например на такой
https://aliexpress.ru/item/1005003573435869.html
Но ей нужна продувка воздухом, в ней вентиляторв нет

[dyvniy]

Сам сервак
https://aliexpress.ru/item/1005006153102026.html
на 36 ядер и 72 потока

[dyvniy]

Процессор на уровне моего ноутбучного )))
Но их будет 2, так что сервер получится мощнее.
https://technical.city/ru/cpu/Xeon-E5-2699-v3-protiv-Ryzen-7-5800H


А тут профессиональная видеокарта чуть мощнее геймерской
https://1vs1.site/gpu/compare/GeForce-RTX-2060-Super-vs-Tesla-P40
https://technical.city/ru/video/Tesla-P40-protiv-GeForce-RTX-2060-Super

[dyvniy]

Сервер для обучения нейросеток
https://www.youtube.com/watch?v=piiSHEPzg-Y
типа того, что Паша мне собирает

Из комментариев:

Обожаю когда сравнивают возможности моделей 13B и 175B (GPT 3.5). Аналог чата GPT локально запустить пока что вообще не получится. Во первых из за того что все опенсорсные модели базируются на открытой GPT 2 и слитой версии нейронки от Фейсбука, на основе которой получилась Lama, эти модели просто дообучают для каких-то определённых целей, датасета уровня GPT3 и выше у рукоделов просто нет. Во вторых из за необходимого размера памяти, максимальный размер опенсорсных моделей на данный момент 65B, и для локального запуска таких тебе понадобится от 64Гб памяти. Чтобы запустить это дело на видеокарте, нужен будет целый серверный стенд, так что обычно их грузят в ОЗУ и выполняют на процессоре, оочень медленно. (хотя я бы глянул видос про запуск Альпаки 65В на видеокартах)
Насчёт того почему угабога выдаёт ошибку при загрузке модели 30B, возможно просто не хватает памяти. Попробуй добавить флаги --auto-devices и --gpu-memory 23
Опционально ещё можно --disk
У меня 30B Alpaca занимает где-то 28 Гб оперативки.
Алсо можно попробовать запустить через Kobold.cpp, он сейчас активно развивается и вроде бы даже может в видеокарты, а багов и траблов с запуском там значительно меньше, чем в угабоге.

Mautoz Tech
1. Очевидно, что люди называют опенсорсные модели аналогами ChatGPT, потому что все остальные знают про ChatGPT, а названия опенсорсных моделей видят впервые. Да и в она является аналогом ChatGPT в плане функционала, пусть и не дотягивает по качеству. Тем не менее, многие задачи она решать способна.
2. В угабоге я багов не встретил. Работает адекватно, хотя сам интерфейс мне не сильно нравится.
3. Тут в комментах человек предлагал на видеоядре Райзена запускать модели которые весят больше 24 гб, но мне пока больше интересно автоматизировать перевод видео на англ, да и Ryzen 5600G я продал

Хотелось бы написать по поводу запуска 30b нейросети. Сообщение планирую сделать большим, поэтому если кратко - нужен файл подкачки порядка 100 гб. Теперь подробнее. Сам недавно сталкивался с проблемой запуска 30b нейросети, долго не мог понять, в чем проблема. Как оказалось позже, она все это время была в оперативной памяти. Тут правда многое зависит от того, через какую библиотеку загружать GPTQ модель (лучший, на мой взгляд, способ - ExLLama, там и оперативной памяти задействовалось если не изменяет память 43 гб, и скорость генерации лично у меня выше чем в случае с GPTQ-For-LLama в 2 раза). AutoGPTQ и GPTQ-For-LLama задействовали как раз около 100 гб оперативной памяти. Вообще там история с ошибками и AutoGPTQ довольно интересная - когда оперативной памяти не хватает сильно (16 гб, файл подкачки отсутвовал), практически сразу вылетает Failed To Allocate CPU Memory (помню я тогда еще удивлялся и думал, что это он на CPU запускать планирует). Потом (16 гб RAM + 65 гб файл подкачки) ошибка пропала, но весь скрипт спустя какое-то время загрузки просто вылетал без каких-либо сообщений об ошибке. И наконец когда был выставлен размер файла подкачки 150 гб, нейросеть успешно загрузилась. Использовал я Wizard-Vicuna-30B-gptq, no groupsize (ей вроде бы приписывается 97% качества ChatGPT, хотя думаю квантование до 4 бит эти ее возможности несколько понизило). Она вроде бы сейчас лучшее, что возможно запустить на 24 гб видеопамяти (расход видеопамяти - чуть меньше 20 гб через GPTQ-For-LLama и 20,8 гб через ExLLama). LLaMa-2 34B еще не вышла в открытый доступ, а в возможности LLaMa-2 13B противостоять 30B модели я не особо верю (хотя в два раза увеличенный размер контекста - очень весомый аргумент).

[dyvniy]

про тензорные ядра
https://pc-01.tech/rt-overcl/

И общее про нейросетки
https://www.youtube.com/watch?v=mni7vNe9IxM
интересно

[dyvniy]

Карты, в том числе спутниковые.
Это будет на моём сервере.
https://rutracker.org/forum/viewforum.php?f=1517

Надо это выкачать
https://rutracker.org/forum/viewtopic.php?t=4765456
правда они не спутниковые, но есть инструкции интересные

Спойлер

Подготовка кэша для SAS.Планеты (нарезка карт на тайлы)

Расскажу, как готовилась эта раздача. Возможно, эта информация кому-нибудь пригодится: как в плане работы с картами, так и в плане автоматизации файловых операций.

Если вам нужно оперативно превратить в кэш SAS.Планеты имеющиеся у вас несколько листов карт, то заморачиваться на описанные ниже процедуры не имеет смысла. Для подготовки карт размером менее одного "квадрата" генштаба самым быстрым будет вот этот способ:
Нарезка на тайлы небольшой по размеру карты
Скачиваешь jpg-картинку и map-привязку, кладёшь в одну папку.
Открываешь map-файл в Global Mapper, можно сразу несколько.
Меняем проекцию: Tools -> Configure -> Projection. Выбираем Проекция - Mercator, Datum - WGS84, Scale Factor - 1, остальное можно заполнить нулями. Можно указать центральный меридиан для карты (например, 57) и false easting, хотя работает и без этого.
Нарезаем картинку на тайлы: File -> Export -> Export Web format -> Google Maps Tiles. Level - отличается на 1 от того, который отображается в SAS.Планете. Если тебе нужен 13, то в Global Mapper указываешь 12. Number of zoom - 1, jpg или 8-битный png, остальное по вкусу.
Получили папку с кэшем в GMT (Google Maps Tiles) и html-файлик, открыв который, можно сразу увидеть результат.
Далее можно в SAS.Планете уже указать путь к этой папке с кэшем и тип кэша - GMT и увидеть результат, или сконвертировать кэш в любой другой формат. Это делается в самой SAS.Планете: Операции -> Управление кэшем, указывашь исходную и конечную папки, формат кэша и разрешение тайлов (например, png).

Вот тут похожий алгоритм раписан подробнее - http://nnm.me/blogs/weber2005/karty-gosgiscentra- ... lanet-poshagovaya-instrukciya/
[свернуть]

Основные сложности, возникшие при подготовке раздачи:
- Время. Нарезка карт на тайлы заняла несколько месяцев на Core i7.
- Автоматизация. Вручную можно разложить нужные файлы по 10 папкам, но когда папок-квадратов более 200, то на любое действие приходится писать батник.
- Дискового пространства потребовалось около 1 Тб

Теория:
- Листы карт ГГЦ и Генштаба обычно рисуются в проекции Гаусса-Крюгера. Характерный признак - лист карты мелкого масштаба (10 км) имеет трапецевидную форму. На более крупных масштабах это меньше бросается в глаза.
Перед нарезкой на тайлы карты нужно перевести в проекцию Меркатора, сделать их прямоугольными. Ну и систему координат поменять.
- Для отображения в веб-сервисах типа яндекс-карт и SAS.Планете все карты нарезаются на тайлы - картинки размером 256х256 пикселей.
- При хранении тайлов на жёстком диске возможно несколько вариантов их упорядочивания - формат SAS.Planet, GMT, BerkeleyBD, SQLite и т.д.
Во всех случаях, сами тайлы буду одинаковы, меняется только способ их хранения. SAS.Planet, GMT - раскладывание по папкам по разным алгоритмам; BerkeleyBD, SQLite - базы данных, позволяющие объединить миллионы файлов в несколько больших.
- jpg - формат сжатия изображений с потерями, не может иметь прозрачности. Занимает меньше места.
- png - формат сжатия без потерь, может иметь прозрачный слой. Это важно при склеивании граничных тайлов, именно поэтому использован он. Файлы могут иметь разное число каналов, разную палитру.
- Номенклатуру карт нужно понимать, прочитать можно здесь.
Узнать нужный вам квадрат можно так:
1. Разбивка на квадраты ГШ видна тут.
2. В SAS.Планете можно включить отображение разбивка на квадраты: Вид -> Отображать бланковку карт ГШ -> 10 км
3. Онлайн-сервисом здесь.
- Сокращения: ФШ - фотошоп, GM - Global Mapper, ГШ - генштаб, ГГЦ - карты ГосГицЦентра, батник - bat-файл
- Имена переменных в батнике пишутся в виде %%i, а в командной строке в виде %i.

Основные этапы подготовки кэша:
- Подготовка листов карт и привязок к ним.
- В фотошопе делаем прозрачными белые поля вокруг самих карт в png-файлах.
- Переводим листы карт из родной проекции Transverse Mercator или Гаусса-Крюгера в проекцию Меркатора.
- Нарезаем листы карт на тайлы, это самая времязатратная операция.
- Складываем нарезанные тайлы в одну папку, склеиваем граничные тайлы.
- Настраиваем отображение кэша в SAS.Планете, формируем слои мелкого масштаба, подключаем загрузку карт, экспортируем результаты.

Практическая часть.
Необходимое ПО:
- SAS.Планета
- Global Mapper (платная, есть на трекере)
- Фотошоп
- python-2.6.6.msi
- модуль PIL для питона для нарезки картинок - PIL-1.1.7.win32-py2.6.exe
- tilers-tools. У меня не заработала версия 2.8, но работала 2.3, берём её здесь.
После скачивания tilers-tools откройте гtilers-tools.bat, укажите в нём все необходимые пути. Для запуска tilers-tools запускайте этот батник и выполняйте все дальнейшие команды в открывшемся окне.
- пакет gdal
- утилита proj4combдля склеивания тайлов
- Total Commander
- Notepad ++
- Справочно: координаты квадратов ГШи выделения квадратов ГШ для SAS.Планеты

Ссылки даны на те версии, которыми пользовался я и которые заведомо работают друг с другом. Более поздние версии у меня порой начинали падать в ошибки.

Подготовка кэша
Подготовка карт и привязок:
1.Скачиваем карты из сети, выбираем лучшие, раскладываем по папкам как вам удобно, кладём привязки в те же папки, что и картинки.
Я раскладываю по квадратам ГШ.
2.Снимаем атрибут Read-only со всех карт, если стоял.
3.Если привязки содержат абсолютные пути к файлам, то отредактировать их с помощью программы AutoTrimCut (проще) или Notepad++ (нужно знать регулярные выражения).
4.Удалить easting/wesitng из map-привязок, т.к. он в метрах, а не градусах, и Global Mapper его не понимает - будет зависать при попытке экспорта карты. Для всех map-файлов из папки, через notepad++ делаем замену
Код:
E, grid, , [0-9]*.[0-9]*, [0-9]*.[0-9]*, N
на
Код:
E, grid, , , ,N
5.О map и gmw привязках карт ГГЦ.
map-привязки бывают кривые, с этим столкнулись пользователи моего кэша. При работе с ними потребуется дополнительная прогонка карт через фотошоп, чтобы сделать поля прозрачными. Но зато в картах ГГЦ есть надписи, выходящие за пределы карты на белое поле. При использовании map-привязок они сохраняются.
gmw-привязки "правильнее", в них указаны края полезной области карты на изображении. Плюсы - не потребуется обработка краёв в ФШ, минусы - пропадут надписи, выходящие за края полезной области.
Что использовать - решать вам, ниже скрипты для обоих вариантов.
6.В ФШ делаем прозрачными белые поля карт. Для этого пишем экшн, который делает следующие действия: выбирает волшебную палочку, ставит допуск = 4, кликает на левый верхний пиксель карты, удаляет всё в выделенной области, сохраняет файл, закрывает окно.
Далее Файл->Автоматизация, указываем экшн и папку с картами. На выходе получаем листы карт с прозрачными полями.
Экшн можно скачать здесь.
Несмотря на свою примитивность, этот экшн не дал на выходе ни одной ошибки.

Преобразования в GM.
7.Запускаем в GM нужный вам скрипт (File - Run script...), поправив пути к папке с картами и файлу с описанием проекции.
В результате работы скрипта, в кадой папке с картами будет создана папка wgs, в которой появятся листы карт в проекции меркатора и map-привязки к ним.
Пояснения в комментах, комменты нужно начинать с новой строки.
Скрипты для Global Mapper
Файлы с описанием проекции mercator-wgs.prj и mercator__177.prj брать здесьи здесь. Можно дополнительно вручную в GM указывать центральный меридиан и false easting, я этого не делал.
Оптимизированная палитра не позволит работать с tilers-tools, поэтому её не используем.

В процессе преобразования возможны ошибки из-за некорректных привязок, поэтому в преобразованных картах ищем файлы карт меньше 500 Кб, если есть - разбираемся.
Логи выполнения скрипта читаем на экране или пишем в файл.

8.Переместим карты с проекции меркатора в папку, например h:\!maps_to_tile\200k\.
Получили папки с картами в 4-канальном png, с map-привязками, готовые к нарезке на тайлы.

Если папок с картами много и нужно автоматизировать действие:
Батник для перемещения файлов из вложенных папок

Нарезка карт.
9.Нарежем листы карт на тайлы.
Запускаем tilers-tools, переходим в директорию, где лежат папки с картами. В каждой из вложенных папок нужно по очереди выполнить следующие команды:
Код:
for %%i in (*.map) do map2gdal.py "%%~i"
for %%i in (*.vrt) do gdal_tiler.py --src-nodata=255,255,255,0 --release --profile=zxy --zoom=12 "%%~i"
dir /a:d /b >> filelist.txt
tiles_merge.py --nothreads --src-list=filelist.txt ALL
tiles_convert.py --from=zxy --to=sasplanet --zoom=12 ALL
FOR /F "tokens=*" %%i IN (filelist.txt) do rmdir /s /q "%%i"
rmdir /s /q ALL
Учтите, что при запуске в командной строке, а не батником, имена переменных пишутся с одним символом %.
zoom: 12 для 2-километровок, 13 для километровок, 14 для 500-метровок, 15 для 250-метровок, менять нужно в двух местах.

Если папок с картами много и нужно автоматизировать действие:
Выполнение батника в нескольких папках
В результате листы карт будут нарезаны на тайлы, объеденины в одной папке, переведены в формат кэша SAS.Planet (в папках ALL.Sasplanet), лишнее будет удалено.
Обращайте внимание за текущий каталог при запуске команд: при запуске в неверном каталоге можете лишиться всех вложенных в него папок.
Multithreading в данной версии tilers-tools выдавал ошибки, поэтому он принудительно выключен. Я запускал несколько окон, добиваясь максимальной загрузки процессора.

10. Копируем или перемещаем содержимое папок ALL.Sasplanet в отдельную папку с помощью Total Commander, для файлов с одинаковыми именами выбираем "auto rename copied". Это граничные тайлы: в одном файле левая половина тайла это карта, а правая - прозрачная, а в другом наоборот. Например, конечно.
Запускаем proj4comb, указываем папку, она склеивает граничные тайлы.
Получили кэш в формате SASPlanet пригодный для использования! Аналогичными действиями получаем карты разных масштабов.

11.Запускаем SAS.Планету, Параметры - Параметры карты, папка в кэше - указываем абсолютный путь к папке с кэшем, тип кэша - SAS.Планета.
Ищем нужное место, скроллим до нужного масштаба (который делали) и должны увидеть карту. Если не видим - проверяем пути, тип кэша и т.д.
Наводим марафет: формируем все вышележащие слои из существующего в SAS.Планете (операции с областью - сформировать), при необходимости формируем промежуточные отсутствующие масштабы.

12.Экспортируем карту в нужный формат или просто юзаем в SAS.Планете!