Ускоряем разработку с помощью Make Real от tldraw

Недавно открылся доступ к нейронке GPT-4V, которая "видит" визуальные данные, которые вы ей посылаете, а также может сама генерить картинки через DALLE 3.

Следом появился проект Make Real на основе доски для скетчей tldraw. Он работает как через сайт, так и локально: вот гитхаб, плюс шаблон начального проекта. Можно даже гонять в коллабе с коллегами через Yjs в P2P режиме.

Суть: делаешь набросок прототипа с описанием --> выделяешь мышкой и жмёшь в углу Make Real --> GPT-4V сгенерит в новом фрейме прототип, который по двойному нажатию становится интерактивным. В углу этого фрейма есть кнопка для копирования кода и ссылки, чтобы потестить в новом окне или поделиться с кем. Нужно внести правки? Прерисовываешь/пишешь что нужно изменить + выделяешь ранее сгенерённый фрейм = по нажатию Make Real получишь новую версию с правками. По факту можно быстро собрать MVP и легко делиться им.

Важное: для работы с апой нужен API ключ OpenAI с доступом к GPT4-Vision. Так что с бесплатным акком генерить не прокатит — нужно минимум на $5 закупиться кредитами.

Одного какого-то варианта как работать здесь нет, но как обычно с нейронками: чем детальнее описание, тем лучше. Причём установка рассуждать по шагам как с ChatGPT (в данном случае разбивка дизайна на фигуры) приводит к годным результатам. Вот некоторые подходы:

Тут пожно покликать iPod, а здесь доска на которой он рисовался (можно форкнуть).

Умельцы уже привязали к этому управление голосом, а также чат в боковой панели.

Полученный код можно дропнуть ChatGPT или скажем нейронке натренированной на коде, чтобы она переписала его нужным образом если что.

Однако для упрощения кто-то уже запилил плагин для VS Code: рисуешь прототип и тебе генерится код в нужном языке

С блок-схемами тоже работает.

Можно пойти ещё проще: на Excalidraw описать текстом, что ты хочешь получить и тебе сгенерится схема, которую можно заскриншотить --> вбросить в tldraw --> получить рабочий прототип.

Можно и простенькие игры забабахать

Так как код Tldraw открыт сообщество уже прицепило модель LCM для генерации в реальном времени, и это открыло интересные возможности. Эта версия называется Drawfast и доступна на сайте, а также на гитхабе. Для дополнительного ускорения генерации используется API от Fal.ai. Сейчас когда зарелизился SDXL Turbo быть может генерации будут ещё шустрее.

Работает так: делаешь два и более фрейма --> соединяешь их стрелочками --> на начальном врейме рисуешь основу, а на сстрелочке пишешь промт, что должно измениться.