Project description:
Целевая аудитория продукта: Средние и крупные компании, имеющие в штате специалитов Data Scientists и первичные данные для исследований.
Технологии и подходы: Многопользовательское серверное решение по модели SaaS с использованием Python, Jupyter Lab, Jupyter Notebook, Jupyter Hub, ML-библиотек из пакетов Anaconda Distribution и Nvidia, GitLab, VMware, Kubernetes, Docker.
Степень готовности: Выпущен технический релиз и начаты продажи.
Проблематика: Мы с командой увидели растущую потребность в Data Scientists в России и в мире. В банках, телекоме и даже в производственных компаниях создавались отделы и направления DS. В то же время, им требовались свои инструменты и фреймворки для работы,которым владели не все DevOps спецы, а ещё мощное оборудование для исследований и обучения моделей. Компании также теряли наработки и знания из-за частого перехода DS с одного место на другое.
Суть сервиса: Предоставить компании удобный инструмент совместной работы команды DS на базе Jupyter Lab/Notebook с единой сетевой папкой для работы с общими данными, репозиторием GitLab для сохранения версий исследований, лучшими преднастроенными библиотеками и фреймворками машинного обучения от сборок Anaconda Distributiion и Nvidia, и, конечно, мониторингом и управлением общими вычислительными ресурсами.
Что получает компания: Контроль, прозрачность, возможность мониторить эффективность работы команды и сохранять полученные знания.
Что получают специалисты: Удобные инструменты для работы, гарантированные вычислительные мощности и возможность покарать того, кто “отжирает” ресурсы, легко обмениваться результатами исследований и работать с общим массивом данных.
Этапы развития сервиса: После анализа рынка и защиты бюджета провёл более 15 глубинных интервью с сотрудниками и руководителями известных компаниямй, у которых уже есть штат спецов и с потребностями которых позже столкнётся остальной рынок. По результатам кастдева, разработал и приоритезировал продуктовые фичи с оценкой приоритетов от бизнеса, от технических специалистов и первичной оценкой сложности реализации от нашего архитектора. Всего фичей получилось около 26. После чего с командой выбрали базовые фичи и занялись разработкой MVP. Первая демо-версия MVP была готова через месяц, а на второй месяц мы представили свой стенд на одной из AI-конференций в Москве.
Для интегратора мы смогли развить темп, близкий к стартапам. За это хочу сказать спасибо каждому участнику нашей команды!
В данный момент наша команда выпустила технический релиз. В нём:
- Решили вопросы безопасности и привели в порядок архитектуру.
- Данные клиентов изолировали друг от друга и от команды разработки (полноценная поддержка multitenancy).
- Реализовали полноценный мониторинг и управление доступами к данным и к вычислительным ресурсам.
- Сервис подготовили к первым продажам из нашего защищенного облака.
Параллельно, решил вопросы построения тех. поддержки и интеграции с 1-й линией облачного провайдера. Подготовил sales-kit и записал демонстрационное видео. После занялся обучением команды продаж и проведением первых пресейлов вместе.
Продукт получился технологически сложным. Команде потребовалось дорабатывать Kubernetes, решать вопросы безопасности GitLab. Зато теперь можно без труда разработать промежуточные PaaS сервисы c тем же Kubernetes & Docker.
Новый сегмент клиентов: После выступления на одной из конференций, ко мне подошло порядка 5 человек с предложениями применить наш сервис в направлении обучения аналитиков данных и Data Science специалистов. В эту группу входят и организаторы хакатонов для крупных компаний — теперь у них появляется возможность организовывать работы на крупных дата-сетах, дающих более высокую точность моделей и простор для исследований.
Сервис DSW практически завершил этап Product Discovery: От поиска и валидации гипотез до MVP и первых продаж. По результатам кастедва DSW, выявил потребность в специализации сервиса под конкретную индустрию с готовыми моделями машинного обучения — так родилась ветка MiGA.