Спасибо всем и особенно blackfin.
Ваше решение оказалось самым простым в реализации.
Мне даже не понадобился массив - получившиеся индексы однозначно идентифицируют координаты треугольника - это даже еще лучше. Более того сумма индексов, а именно четность или нечетность определяют куда направлен конкретный треугольник - вверх или вниз - мне это тоже нужно было знать.

Решение, на самом деле, предложил ReAl:

Но поскольку народ, и Вы в частности, принялись активно забалтывать предложенное решение, я взял на себя смелость записать предложенный им алгоритм на Си, внеся по ходу дела небольшое изменение в алгоритм вычисления одного из идексов.

Заранее извиняюсь за оффтопик.
Просто грустно стало: решаем тут задачки уровня 8-го класса средней школы.
Неужели масштаб деградации так велик?
:-(

Возможно. Просто у меня мозг так устроен - информация которая долго не используется и не нужна по профессии - забывается.
А Вы, наверное, помните всю биологию за 8 класс?

+ Деградация в этой области мне не мешает решать все поставленные задачи. А для этого случая и есть Форум.

Да, помню - с помощью гугла и Википедии :-)

Пардон, я не хотел, чтобы звучало, как личный наезд. Мысль была типа" "Вот раньше - огого! А вот сейчас - не очень..." Про общий упадок в наши времена...

Сорри. Еще раз я.
Вот теперь другой вопрс назрел - а что делать, если исходная точка и соответственно вектор находятся за пределами гексагона? Конкретно как найти координаты x',y' точки которая лежит на заданной прямой в пределах гексагона?
В данный момент я делаю просто ограничение по координате y, а затем вычисляю максимальное значение координаты x по формуле xmax=a - y*(1/sqrt(3)).
Проблема в том, что если координата y обрезается, то я всегда попадаю в точку 1 независимо от того насколько большая координата x, что мне совсем не нравится. Хотелось бы, чтобы алгоритм также выдавал точки 2 и 3 если x намного больше y.
Пардон - последний абзац я и сам вычислю, надо бы точные координаты.

Дык просто же пересечение 2 прямых на плоскости
(0,0) - (x,y) и
точка1 - точка3

Это то легко. Только формула для нахождения координат этой точки не очень легкая:

Тут как раз есть деление, которое я делать не могу.

А Вы думаете, что существует чудесная альтернативная формула, дающая тот же ответ, но без деления?
Если же интересует только с какой стороной пересекается прямая, то это возможно. Вариант - рассмотрите векторные произведения...

Ага. Надеюсь, что что-то проспал по геометрии. Но похоже, что нет.

Ок. Спасибо, посмотрю.

Блин, единственное что придумал - в цикле уменьшать координаты x,y каждый раз в 2 раза и вычислять попадают они в гексагон или еще нет.
Но, елки-палки, тогда количество итераций неопределенная величина.
По векторным произведениям не нашел применения в моем случае.

Для тех, кто "забыл биологию за 8 класс":

Под словом "вычислять" я понимал именно это. Нужна конкретная точка, желательно на границе, а не условие принадлежности к гексагону.

Сформулируйте точнее, что "дано", а что нужно "вычислить"..

В этом сообщении я написал, что нужно вычислить.
Даны координаты точки X,Y, которая лежит где-то за пределами гексагона. Надо найти координаты точки X',Y', которая должна находиться в гексагоне, желательно, на границе и которая должна быть как можно ближе или лежать на прямой 0,0 - X,Y.
Пока я пользуюсь обрезками, но они дают совсем искаженный результат.
Я уже думаю, бог с ним - с делением, можно попробовать использовать. То есть если обрезаю одну координату, то скалирую другую, но все равно получается фигня с косыми сторонами, тогда происходит передоз и точка получается внутри гексагона далеко от внешних сторон.