реклама на сайте
подробности

 
 
> FPGA + NOSQL
Jumboframe
сообщение Mar 5 2012, 09:47
Сообщение #1





Группа: Новичок
Сообщений: 5
Регистрация: 4-03-12
Пользователь №: 70 602



Добрый день, коллеги

Помогите, пожалуйста, внести ясность в вопрос, хотя бы на концептуальном уровне - насколько это реально и вобще целесообразно.
Итак, имеется сеть с нескольками тысяч устройств, все эти устройства, постоянно обращаются по протоколу TCP/IP к комплексу серверов БД с простыми nosql запросами типа "хеш=значение". Этот комплекс работает софтово на интеловских CPU, на каждый запрос отдается ответ размером от нескольких Кб до нескольких МБ информации. По сути это некий большооой и мощный NoSQL сервер. Данный в таком NoSQL сервере практически статичны и меняются всего несколько раз в час. Все вроде бы работает прекрасно. Однако такое решение тяжело и дорого масштабировать с учетом роста количства назгрузки. Поэтому пришла идея как-то все соптимизировать, например на FPGA.
В интернете удалось найти решения алалогичные вот этому http://netfpga.org/foswiki/NetFPGA/TenGig/...10gInitInfoSite , обеспечивающие огромную пропускную способность. Идея в том, что бы заставить плис помимо аппаратной обработки сетвого стека, еще и работать в качестве простейшего nosql сервера на скоростях близких к 10Gbit/s, для этого достаточно брать прилетевший пакет, находить по в нем самый хэш nosql-запроса, и выдергивать напрямую значение хэша из оперативной памяти, обходя при этом центральный процессор сервера. В оперативную память данные будут заранее загружены силами сервера.
У меня пока первым вопросом является насколько стек lwIP virtex'a подходит для десятков (а в перспективе и под сотню) тысяч одновременных tcp соединений и больших нагрузок? Насколько вообще описанная мною схема имеет право на существование? Быть может стоит взглянуть в какую-то другую сторону?

Спасибо.
Go to the top of the page
 
+Quote Post
 
Start new topic
Ответов
SFx
сообщение Mar 5 2012, 15:27
Сообщение #2


Знающий
****

Группа: Свой
Сообщений: 758
Регистрация: 11-07-05
Из: Понаехал (Мск)
Пользователь №: 6 688



Цитата(Jumboframe @ Mar 5 2012, 13:47) *
насколько стек lwIP virtex'a подходит для десятков (а в перспективе и под сотню) тысяч одновременных tcp соединений и больших нагрузок?

1. LwIP это стек для Микропроцессоров, а не FPGA. Для FPGA его можно использовать только предвариетельно реализовав на FPGA Soft CPU Core.
2. чтобы оценить масштаб бедствия, возьмите размер TCB структуры того же LwIP и умножьте на вашу сотню тысяч соединений. это будет ооооочень грубо. потому что та структура чрезвычайно неудобна для размещения ее в FPGA (блочной\дистибутивной памяти FPGA) и это будет размер необходимый только для структуры, не считая буферов для принятых\переданных данных, которые могут быть судя по Вашему сообщению от нескольких КБ. Однозначно тут будет Внешняя память использоваться.

Цитата(Jumboframe @ Mar 5 2012, 13:47) *
Насколько вообще описанная мною схема имеет право на существование? Быть может стоит взглянуть в какую-то другую сторону?

Если вложить в разработку пару-тройку десятков миллионов рублей и пару лет работы нормального коллектива, то возможно что то и получится sm.gif
Плата которую Вы увидели стоит около 10K$ без SFP+ трансиверов, и она уже в данный момент устарела технически. Кстати IP Core Ten Gigabit TCP тоже стоит денег сравнимых или больше.
Конечное устройство-прототип, может быть и будет в 1U formfactor, но цена 1 шт. будет близка к стоимости маленького кластера.
Вы готовы на такое капиталовложение? (если нет - то глядите в сторону ARM серверов, подключенных к балансировщикам нагрузки, возможно что то и выдет )
Что касается Баз данных на FPGA, у меня есть некоторые умозаключения по теме, но делится ими без четко описанной внятной задачи я врятли готов. Sorry.
Go to the top of the page
 
+Quote Post



Reply to this topicStart new topic
1 чел. читают эту тему (гостей: 1, скрытых пользователей: 0)
Пользователей: 0

 


RSS Текстовая версия Сейчас: 19th July 2025 - 14:10
Рейтинг@Mail.ru


Страница сгенерированна за 0.01409 секунд с 7
ELECTRONIX ©2004-2016